Après ce renvoi du personnel blanc, les employés blancs et noirs prenaient leur repas dans différentes pièces. Quand les domestiques noirs accompagnaient le Président chez lui, à Hyde Park, dans l'Etat de New York, ils n'étaient pas autorisés à déjeuner ou dîner dans la salle réservée au personnel, à en croire Alonzo Fields, majordome afro-américain à cette époque. On leur ordonnait de s'installer dans la cuisine. C'est pour cela que Fields écrivit, dans sa biographie: "j'éprouvais quelques réserves sur le fait que la Maison Blanche soit un exemple pour tout le pays".