Elfrethova ulička je pojmenována podle Jeremiáše Elfretha, kováře a majitele nemovitostí z 18. století. Mezi obyvateli uličky byli řemeslníci a jejich rodiny, včetně loďařů, kovářů stříbra a cínu, sklářů a stavitelů nábytku. V 70. letech 19. století vedly třetinu domácností ženy. Domy v georgiánském a federálním stylu a dlážděná dlažba v uličce byly v této době ve Filadelfii běžné. Domy jsou typicky malé a mnohé z nich jsou jedinečné filadelfské trojdomky.
Na konci 19. a počátku 20. století začal ulici měnit průmysl. Snad první změnou byla továrna na kamna, která v roce 1868 zaujala místo v řadě obytných domů. Nakonec továrny Elfrethovu uličku obklopily. Městské nábřeží bylo vzdáleno jen několik bloků. Průmysl změnil více než architektura; do ulice se stěhovaly další vlny přistěhovalců, které lákala nedaleká pracovní místa. V roce 1900 byla čtvrť převážně irská.
V roce 1934 byla založena asociace Elfreth’s Alley Association (EAA), jejímž cílem bylo zachovat historické stavby v uličce a zároveň interpretovat její historii. EAA pomohla zachránit ulici před demolicí a také lobbovala u města za obnovení názvu uličky na „Elfreth’s Alley“; před lety byla v rámci programu zjednodušování názvů ulic označena jako blok 100 Cherry Street.
Elfreth’s Alley je dnes výsledkem cyklů obnovy a úpadku města a snah o zachování historických památek. Ulička je turistickou atrakcí a vzácným dochovaným příkladem dělnického bytového fondu z 18. století. Místo ostře kontrastuje s častěji dochovanými velkolepými panskými domy ve filadelfské čtvrti Society Hill.
Pozoruhodné je, že vzhledem k významu uličky pro dějiny koloniální architektury v Americe je velmi obtížné najít přesné informace o datování. Nyní však existuje webová stránka financovaná National Endowment for the Humanities, která poskytuje přesné datování budov s novými barevnými ilustracemi jednotlivých domů, a to jak staveb z koloniální éry, tak staveb z období nezávislosti.