EC2 y git (bitbucket) y múltiples usuarios: permissions

Tengo una instancia de Amazon EC2 a la que comparto el acceso (con la misma key ssh) con un colega. Él tiene esta key ssh agregada a su count de Bitbucket. Le he dado acceso completo a mi repository Bitbucket.

Cuando lo hace, todo funciona bien. Cuando lo hago, obtengo un Permission denied (publickey) .

¿Cuál puede ser el problema aquí?