git ignora toda la carpeta excepto algunas con un prefijo común

Quiero ignorar todos los files y carpetas, excepto cinco carpetas que comienzan con un cierto prefijo. Por ejemplo

  1. Carpeta uno
  2. Carpeta dos
  3. prefix_folder_one
  4. prefix_folder_two

Quiero ignorar todo excepto las carpetas 3 y 4 y su contenido

Intenté esto pero no funcionó

* !.gitignore !/prefix_* 

También intenté escribir los nombres completos de la carpeta 3 y 4, pero tampoco funcionó. git status me dice que no hay files para confirmar.

Esto ignorará todos los files raíz y subdirectorys raíz, excluyendo el file .gitignore y los directorys con el prefijo prefix_

 /* /*/ !.gitignore !/prefix_* 

Git ahora debería rastrear los files en los directorys con prefix_ e ignorar el rest.