Après avoir été préposé à La Poste, Jean-Jacques Zilbermann décide de vivre de sa passion : le cinéma. D'abord projectionniste, il se lance au début des années 70 dans la réalisation de documentaires ("Faites chauffer l'école", 1971; "Vivre heureux en Ardèche", 1974; "La Cigogne en rogne", 1974). Il participe ensuite, avec quelques amis cinéphiles, au rachat et à la relance de deux grandes salles de cinéma : l'Escurial, au début des années 80, et surtout le Max Linder, rebaptisé Max Linder Panorama en 1987.

En 1993, Jean-Jacques Zilbermann réalise son premier long-métrage, Tout le monde n'a pas eu la chance d'avoir des parents communistes, dans laquelle il dirige Josiane Balasko. Quatre ans plus tard, il récidive dans la comédie avec L' Homme est une femme comme les autres, porté par Antoine de Caunes et Elsa Zylberstein. En 2003, il nuance son cinéma d'une touche dramatique avec Les Fautes d'orthographe, dirigeant pour l'occasion Carole Bouquet et Olivier Gourmet.

Puis, après six ans d'absence, il revient au cinéma avec une nouvelle comédie La Folle histoire d'amour de Simon Eskenazy, la suite de "L'Homme est une femme comme les autres", dans lequel il retrouve donc Antoine de Caunes et Elsa Zylberstein. Toujours avec un temps de pause, c’est en 2014 qu’il reprend la caméra et réalise A la vie, dans lequel trois femmes, anciennes déportées d’Auschwitz qui ne s’étaient pas revues depuis la guerre, se retrouvent dans les années 1960.