¿Cómo pones una aplicación ASP.Net MVC 4 en control de fuente?

Entonces, creé una nueva aplicación ASP.Net MVC 4 de Visual Studio. Para mi sorpresa, un proyecto "vacío" pesó 54 MB después de instalar y comstackr todos los packages. Obviamente, no quiero include cosas innecesarias en el control de la fuente, especialmente los binarys.

Pensé que el file packages.config controlaría los packages para que se volvieran a download cuando faltaran y podría eliminar el directory de packages , pero eso no funcionó. Después de eliminar packages , recibo errores como: " BundleCollection no se pudo encontrar". Revisé las references del proyecto y parece que no hay problemas para resolver ninguno de ellos. ¿De donde viene esto? También me faltan espacios de nombres aparentemente comunes como System.Web.Optimization . Tengo una reference en mi proyecto y Visual Studio informa que la reference está "resuelta", pero apunta al directory del package (eliminado), que supongo que es por lo que se está extrayendo.

¿Cuál es el método idiomático de poner una aplicación ASP.Net MVC 4 en control de fuente, especialmente con la administración de packages NuGet?

Este es un excelente artículo sobre el uso de NuGet sin agregar los packages al control de fuente. El artículo es para VS 2010, pero estoy haciendo lo mismo en VS 2012

Usando NuGet sin agregar packages al control de fuente