¿Por qué el directory .git no tiene un tamaño de file grande?

Si Git puede restaurar los files eliminados volviendo a una confirmación anterior, ¿no debería el directory .git tener un tamaño de file muy grande ya que contiene todos los datos que se eliminaron?

Estoy borrando imágenes grandes, etc. y mi directory .git no parece contener datos suficientes para restaurar files tan grandes.

Supongo que una buena cantidad de compression está involucrada?

Sí, hay una gran cantidad de compression, así como la encoding delta involucrada.

Más detalles aquí: http://git-scm.com/book/en/v2/Git-Internals-Packfiles