¿Cómo muevo correctamente un submodule de git?

Tengo un git repo en github que contiene un submodule. Me gustaría mover el submodule a un nuevo directory. Lo más cercano que he conseguido es:

git submodule add --name new git://github.com/a/b new git rm -r --cached old git add .gitmodules new git commit -m "move submodule from old to new" 

Esto funciona bien pero imprime

 warning: unable to rmdir old: Directory not empty 

cada vez que alguien revisa mi repository y había ejecutado previamente la git submodule update --init .

¿Cómo puedo hacer una confirmación que instruya al git del cliente para que elimine ese directory?