Był synem generała majora Henry'ego "Light Horse Harry" Lee, weterana wojny o niepodległość Stanów Zjednoczonych. Naukę pobierał w akademii wojskowej. Ukończył ją z drugim najlepszym wynikiem na roku. Następnie otrzymał stopień młodszego porucznika w wojskach inżynieryjnych. Będąc w stopniu podporucznika, otrzymał nadzór nad budową Fortu Pułaski w Savannah, funkcję tę sprawował przez 17 miesięcy. Pełny stopień porucznika otrzymał w 1836. Na kapitana awansował w 1838. Odznaczył się w wojnie amerykańsko-meksykańskiej. Został ranny przy szturmie twierdzy w Chapultepec w 1847. Za swoją służbę otrzymał kolejny awans na superintendenta akademii wojskowej a następnie na pułkownika kawalerii. Zarządzał wydziałem ds. Teksasu w 1860. Na początku kolejnego roku został wezwany do Waszyngtonu w obliczu zbliżającej się wojny. Prezydent Abraham Lincoln zaproponował mu dowództwo sił Unii, ale Lee odmówił. 20 kwietnia, a więc 3 dni po wystąpieniu jego rodzinnego stanu (Wirginii) z Unii, wystąpił również z armii Stanów Zjednoczonych (Unii). Był przeciwnikiem niewolnictwa, jednak uważał, że prawo poszczególnych stanów do samostanowienia w tej kwestii jest ważniejsze.