Membre du Conseil d'État, Olivier Schrameck a été secrétaire général du Conseil constitutionnel du 1er janvier 1993 au 18 juin 1997. Durant cette période, il est nommé conseiller d'État en juin 1995.
Il devient le 2 juin 1997 directeur de cabinet du Premier ministre Lionel Jospin. Il est maintenu à ce poste à Matignon jusqu'en 2002. Il est alors nommé ambassadeur de France en Espagne de 2002 à 2004.
A compter du 1er janvier 2005, il réintègre ses fonctions de membre du Conseil d'Etat. Depuis le 1er septembre 2006, il est président de la 6e sous-section de la section du contentieux.
Par ailleurs, il devient, à partir de l'année universitaire 2005/2006, professeur des universités associé à l'Université Paris I.
En juillet 2007, il est nommé au Comité de réflexion sur la modernisation et le rééquilibrage des institutions mis en place par Nicolas Sarkozy.
En juin 2009, il est nommé président du jury des trois concours de l'ENA.
Il est le petit neveu d'Abraham Schrameck qui fut ministre de l'Intérieur du Cartel des gauches et sénateur des Bouches-du-Rhône, déchu de son mandat parlementaire par décret du gouvernement de Vichy du 19 novembre 1941 en application du statut des juifs.