Entré à la Comédie-Française en 1835 ; sociétaire en 1839.

Sur les conseils du tragédien Larive, il se présente au Conservatoire, où il sera successivement élève, répétiteur et professeur. Après son second prix de Tragédie, obtenu en 1818, il est engagé à l'Odéon, alors baptisé Second Théâtre-Français, comme « jeune premier », mais son physique sévère le condamne aux traîtres et aux confidents. Persévérant et travailleur, il aborde avec succès les emplois comiques dans lesquels il hérite des rôles de Samson lorsque celui-ci passe à la Comédie-Française. L'Odéon ferme en 1829. Provost passe à la Porte-Saint-Martin, où il se fait une spécialité des traîtres du mélodrame et du drame romantique, de La Tour de Nesle à Lucrèce Borgia, en passant par Marion Delorme et Marie Tudor.

En 1835, il débute à la Comédie-Française dans Orgon de Tartuffe, enfin mûr pour les rôles à manteaux, les grimes et les financiers, où il va se montrer inimitable. Dès lors, sa carrière est tracée. Il joue avec un énorme succès les Chrysale, Argan et surtout Arnolphe de Molière et crée soixante-deux rôles nouveaux, parmi lesquels ceux de Van Buck (Il ne faut jurer de rien), Claudio (Les Caprices de Marianne), le Baron (On ne badine pas avec l'amour) dans les comédies de Musset. Il est aussi de la création des principales pièces à succès d'Émile Augier : Diane, Les Effrontés, Le Fils de Giboyer, Le Gendre de Monsieur Poirier...
Professeur au Conservatoire dès 1836, il a formé Beauvallet, Madame Allan-Despréaux, Berton, Got, Delaunay, Mademoiselle Ponsin (qui fut sa bru), Laroche, Thiron, Sarah Bernhardt, etc.

Il meurt en 1865, non sans avoir réussi à faire nommer sociétaire son fils Eugène.