Titulaire d'une maîtrise en droit, diplômé de l'HEC, Gérard Rouyer a occupé de 1971 à 1990 différents postes au CIC Paris, au sein de la direction de l'exploitation, notamment ceux de responsable de secteur à la direction des grandes entreprises, de directeur régional et de directeur du marché des entreprises.
Ayant rejoint fin 1990 la Banque de l'entreprise comme directeur général adjoint, il était depuis juin 1991 directeur général de cet établissement. En 1997, il a été nommé directeur général de la Banque pour l'Industrie Française, filiale du GAN.