1. Neměly se konat v St. Louis
Po zvážení Filadelfie a New Yorku začínající Mezinárodní olympijský výbor původně přidělil letní hry v roce 1904 městu Chicagu. Krátce po jejich vyhlášení však výbor narazil na problém v podobě St. Louis, které již v létě téhož roku plánovalo uspořádat světovou výstavu s názvem Louisiana Purchase Exposition. Dobře financovaní organizátoři výstavy toužili také po pořádání olympijských her, a aby donutili MOV, snažili se uzavřít dohodu s Amatérskou atletickou unií o uspořádání mistrovství v lehké atletice v roce 1904 jako součásti světové výstavy. Tváří v tvář možnosti kolidujících atletických soutěží se zakladatel olympijských her Pierre de Coubertin neochotně vzdal plánů na Chicago a přesunul hry v roce 1904 do St. Coubertin, který zřejmě nebyl velkým fanouškem „Brány Západu“, zanedbal účast na hrách a později napsal: „Měl jsem jakési tušení, že olympiáda bude odpovídat průměrnosti města.“
2. Účastnilo se jen několik zemí.
V porovnání s moderními protějšky byly hry v roce 1904 sotva mezinárodní záležitostí. Evropské národy se ohrazovaly proti nákladům a pomalé rychlosti cesty do St. Louis, a když hry konečně začaly, obtěžovalo se na ně dostavit pouze 12 zemí. Z celkového počtu 630 sportovců bylo 523 Američanů a více než polovina disciplín byla obsazena výhradně domácími závodníky. Díky výrazné početní převaze získaly Spojené státy celkem 239 medailí – nejvíce v historii jedné olympiády. Téměř vítězství se neobešlo bez kontroverzí. Spojené státy byly kritizovány za nasazení několika evropských přistěhovalců, kteří ještě neměli občanství, a ještě v roce 2012 Norsko vyzývalo Mezinárodní olympijský výbor, aby oficiálně změnil státní příslušnost dvou zápasníků, kteří získali zlatou medaili.
3. Hry trvaly téměř pět měsíců.
Současné olympiády obvykle trvají něco málo přes dva týdny, ale hry v roce 1904 trvaly vyčerpávajících 146 dní. Zatímco většina lehkoatletických soutěží se konala v malém časovém okně od 29. srpna do 3. září (původně plánovaný termín her), ostatní soutěže byly rozptýleny mezi několikaměsíční sportovní přehlídky Světové výstavy, včetně vojenského atletického karnevalu, irského sportovního festivalu a dokonce i basketbalového mistrovství YMCA. Aby toho nebylo málo, organizátoři veletrhu začali pro všechny atletické soutěže používat souhrnný termín „olympijské“, což později vedlo k nejasnostem ohledně toho, které sporty jsou oficiálními událostmi. Pozdější revize dospěla k závěru, že hry v roce 1904 oficiálně probíhaly od 1. července do 23. listopadu a zahrnovaly 94 soutěží. Olympijské hry v Londýně v roce 1908 měly trvat ještě déle – od dubna do října se protáhly na neuvěřitelných 188 dní.
4. Velký rozruch vyvolal maraton.
Hry v St. Louis jsou známé tím, že jejich součástí byl jeden z nejskandálnějších maratonů v olympijské historii. Závod se konal za 90stupňového počasí na prašné silnici a nehostinné podmínky se postaraly o to, že 18 z 32 závodníků odstoupilo z důvodu vyčerpání. Jeden z nich dokonce utrpěl krvácení do žaludku a málem zemřel, než se mu dostalo lékařské pomoci. Vítěz závodu Thomas Hicks dopadl jen o něco lépe. Běžec strávil posledních 10 mil závodu v naprosté agónii a dostal několik vajec, dávky jedovatého strychninu a dokonce i zátky brandy, aby se udržel na nohou. Jeho asistenti ho prakticky přenesli přes cílovou čáru, kde dosáhl výsledného času 3 hodiny, 28 minut a 53 sekund. Ostatní závodníci se potýkali s ještě podivnějšími problémy. Kubánský běžec Felix Carbajal se na trati zastavil, aby se občerstvil jablky, a pak ho přepadly žaludeční křeče, a jihoafrického běžce Lena Taua vyhnala z trati smečka divokých psů. Po závodě mnozí tvrdili, že maraton je pro závodníky příliš nebezpečný a měl by být zrušen. Dokonce i James Sullivan, ředitel her v roce 1904, připustil, že se závod v roce 1908 pravděpodobně nevrátí. „Já osobně jsem proti,“ řekl. „Je to neobhajitelné z jakéhokoli důvodu, kromě historického.“
Maratonec Fred Lorz
5. Všichni účastníci se zúčastnili závodů, které se konaly v roce 1952. Objevilo se několik obvinění z podvádění.
Jedna z nejneobvyklejších kontroverzí olympijských her v roce 1904 se odehrála během soutěže v boxu, kdy zápasník jménem James Bollinger nastoupil pod jménem populárního místního boxera Carrolla Burtona v naději, že si získá přízeň rozhodčích. Podvodníkovi se podařilo vyhrát jeden zápas, než byl odhalen a diskvalifikován. Přesto nic nezastínilo rozruch, který vyvolal Fred Lorz během olympijského maratonu. Lorz běžel na slušném čtvrtém místě až do cíle závodu na devět mil, kdy dostal silné křeče a musel vyčerpáním odstoupit. Na stadion se vrátil stopem, ale po deseti kilometrech se vozidlo náhle porouchalo. Když Lorz popadl dech, rozhodl se pokračovat v běhu na posledních několik kilometrů a nakonec protnul cílovou čáru jako první. Diváci ho oslavovali jako vítěze závodu a téměř převzal zlatou medaili, než se někdo zmínil o jeho několikakilometrové jízdě autem. Lorz tvrdil, že šlo o promyšlený vtip, ale Amatérskou atletickou unii to nepobavilo a okamžitě mu udělila doživotní zákaz činnosti. Později byl Lorzovi trest zrušen s odůvodněním, že byl „dočasně nepříčetný“. V roce 1905 pak vyhrál Bostonský maraton.
6. Přetahování lanem bylo zařazeno jako součást atletických soutěží.
Přetahování lanem se může zdát spíše doma na dětském letním táboře než na olympijských hrách, ale na letních hrách bylo oblíbenou disciplínou od roku 1900 do roku 1920. V roce 1904 se provazů chopilo šest pětičlenných družstev – jedno z Řecka, jedno z Jihoafrické republiky a čtyři ze Spojených států – a soutěž se započítávala do celkového hodnocení týmových atletických šampionátů. Řekové i Jihoafričané prohráli hned první den soutěže, a tak se o medaile utkali pouze Američané. Dne 1. září získali zlato muži z Milwaukee Athletic Club po tvrdém boji proti New York Athletic Club. New York se nedostavil ke kolu útěchy, což znamenalo, že stříbro a bronz získaly dva místní týmy ze St. Kromě toho, že se zde konala jedna z mála soutěží v přetahování lanem, jsou hry v roce 1904 známé také tím, že se zde naposledy objevil golf jako olympijský sport, a také tím, že se zde poprvé a naposledy soutěžilo v obskurní disciplíně „skok do vody na dálku“.
7. Součástí her byla vedlejší soutěž pro příslušníky kmenů třetího světa.
Kromě tradičních olympijských sportů se na hrách v roce 1904 konala také bizarní a velmi kontroverzní akce známá jako „Antropologické dny“. V rámci této dvoudenní soutěže se z exponátů „lidské zoo“ Světové výstavy rekrutovaly takzvané „necivilizované kmeny“, které byly vyzvány, aby si vyzkoušely olympijské sporty. Ainové, Patagonci, Pygmejové, Filipínci Igorotové a Siouxové dostali zaplaceno za účast v tradičních olympijských disciplínách, jako je skok do dálky, lukostřelba a hod oštěpem, a také ve speciálně vytvořených soutěžích, jako je šplh na tyči a hod blátem. Akce byla inzerována jako přehlídka přirozených atletických schopností domorodců, ale účastníci nedostali téměř žádné instrukce a většina z nich podávala poměrně špatné výkony. Organizátor Dnů antropologie James Sullivan samolibě usoudil, že tyto závody jsou důkazem toho, že „divoch byl z atletického hlediska velmi přeceňován“, jiní je však označovali za ponižující a rasistickou estrádu. Zakladatel olympijských her Pierre de Coubertin zase označil Antropologické dny za „nehoráznou šarádu“ a poznamenal, že „samozřejmě ztratí svou přitažlivost, až se černí, rudí a žlutí muži naučí běhat, skákat a házet a nechají bílé muže za sebou.“
8. Ženy soutěžily pouze v jedné oficiální disciplíně.
Z téměř 100 sportů na olympijských hrách v roce 1904 byla lukostřelba jedinou disciplínou, ve které mohly ženy soutěžit. Soutěž se konala 19. a 20. září a zúčastnilo se jí šest soutěžících, z nichž pět patřilo k ohijskému klubu Cincinnati Archers. Pětačtyřicetiletá Lida Howellová, nesporně nejlepší lukostřelkyně v zemi, si došla pro zlatou medaili v obou kolech Double Columbia a Double National. V rámci olympijského boxu nastoupily do ringu také ženy, ale jejich zápasy byly považovány za exhibiční a medaile se neudělovaly. Je překvapivé, že exhibice v St. Louis v roce 1904 byla na 108 let posledním ženským boxem na olympijských hrách, protože soutěž byla obnovena až na letních hrách v Londýně v roce 2012.
.