Diplômé de l’IEP de Paris et de l’Ecole nationale d’administration, Serge Grzybowski a débuté sa carrière comme administrateur civil de la Caisse des Dépôts de 1983 à 1987, puis à la direction du Trésor (de 1987 à 1989) avant de rejoindre, notamment, le groupe Bourdais (Conseil en immobilier d’entreprise) dont il deviendra directeur général adjoint.

En septembre 1992, il rejoint la Banque la Henin (groupe SUEZ) comme Directeur général adjoint puis Directeur général et de 1997 à 2000, prend la direction de la Banque du développement des PME (BDPME), du Crédit d’Equipement des petites et moyennes entreprises (CEPME) et de la Sofaris. Il est ensuite nommé Vice président-directeur général puis président-directeur général (2000- 2001) de la Banque Worms.
En 2001, Serge Grzybowski devient directeur général de GECINA jusqu'à janvier 2006 où il entre chez HSBC en tant que Conseiller pour l’immobilier et directeur institutions financières.
Il est depuis le 1er août 2007 président-directeur général d’Icade.