Très jeune, il part pour Marseille, pour fuir l'éducation religieuse que sa famille voulait l'obliger à entreprendre. Il intègre d'ailleurs la section rugby mais jouera aussi au football avec de l'Olympique de Marseille

Il y suivit des études d'hydrographie, puis se dirige vers le théâtre, mais se voit refusé au Conservatoire d'Art Dramatique de Paris. Il suit donc des cours privés et sa carrière théâtrale démarre avant la Première Guerre mondiale.

Il épouse en 1910, Rose Cremer, avec laquelle il a trois enfants. Elle décèdera lors d'un voyage en Algérie. Il se remaria plus tard avec Radifé Behar, elle-même actrice de théâtre.

De tous les grands acteurs dramatiques du cinéma français d'avant la Seconde Guerre mondiale, Harry Baur est sans nul doute celui dont on se souvient le moins. Sa carrière décolle avec la rencontre de Julien Duvivier, en 1930. À partir de ce moment, il tournera trente films jusqu'en 1942.

Faussement dénoncé comme juif, il est arrêté par la Gestapo en 1942. Ses tortionnaires ayant finalement conclu qu'il ne l'était pas, il est libéré quatre mois plus tard, ne pesant plus qu'une quarantaine de kilos. Il ne se remettra jamais des tortures subies lors de son emprisonnement. Il repose au Cimetière Saint-Vincent à Montmartre, où sa tombe est encore parfois fleurie.