Dopo alcuni anni, a cavallo tra gli anni Quaranta e i Cinquanta, passati in televisione, ottiene il primo importante ruolo in Mister Roberts, del 1955, con il quale vince il suo primo Oscar, come migliore attore non protagonista: il secondo lo otterrà 18 anni dopo, stavolta come attore protagonista, per Salvate la tigre. Lemmon fu uno dei favoriti del regista Billy Wilder, col quale girò diversi film, compreso A qualcuno piace caldo, 1959, L'appartamento, 1960, e Irma la dolce, 1963.