Miután Robert E. Lee 1865. április 9-én megadta magát az Appomattox-i bíróságon, Lincoln elnök kegyelmet adott a tábornoknak. A virginiai Arlingtonban lévő birtokára azonban nem térhetett vissza, mert az most egy nemzeti temető közepén feküdt, és több ezer uniós katona sírjára nézett.
Lee és családja ehelyett a virginiai Lexingtonba költözött, ahol a Washington College elnöke lett. Úgy tartják, hogy azért fogadta el ezt az alacsony presztízsű, mindössze évi 1500 dolláros fizetéssel járó posztot, mert úgy érezte, hogy egy ilyen véres és megosztó konfliktus után nem illendő nyereséget termelni. 1865-ben Lee aláírta az amnesztiára vonatkozó esküt, amelyben még egyszer kérte, hogy az Egyesült Államok állampolgára lehessen. Ezzel aktívan bátorította a konföderációs katonákat, hogy csatlakozzanak újra az Egyesült Államokhoz.
Lee saját vágya, hogy amerikai állampolgárrá váljon, a sors áldozatául esett. Hűségesküjét tévesen tette le, és még mindig vendégnek számított saját hazájában, amikor 1870. október 12-én szívelégtelenségben meghalt. Lee esküjét csak 100 évvel később fedezték fel a Nemzeti Levéltárban.
1975. augusztus 5-én, az Arlington-házban tartott ünnepségen Gerald Ford elnök Lee-t példaképnek nevezte a következő nemzedékek számára, és visszaállíttatta az állampolgárságát. Az egykori Washington College, a mai Washington és Lee Egyetem területén temették el.
Kép: Robert E. Lee tábornok, Library of Congress Prints and Photographs Division