1. Nie miały się one odbyć w St. Louis.
Po rozważeniu Filadelfii i Nowego Jorku, raczkujący Międzynarodowy Komitet Olimpijski pierwotnie przyznał organizację Letnich Igrzysk Olimpijskich w 1904 roku miastu Chicago. Louis, które już tego samego lata planowało zorganizować światowe targi pod nazwą Louisiana Purchase Exposition. Dobrze finansowani organizatorzy Wystawy byli zdesperowani, by również gościć Olimpiadę, i aby zmusić MKOl do działania, starali się zawrzeć umowę z Amatorskim Związkiem Lekkoatletycznym (Amateur Athletic Union), by w ramach Wystawy Światowej zorganizować w 1904 roku mistrzostwa w lekkoatletyce. W obliczu możliwości konfliktu zawodów lekkoatletycznych, założyciel Olimpiady Pierre de Coubertin niechętnie porzucił plany dotyczące Chicago i przeniósł Igrzyska w 1904 roku do St. Najwyraźniej nie był wielkim fanem „Bramy Zachodu”, Coubertin zaniedbał udział w igrzyskach i napisał później: „Miałem przeczucie, że olimpiada dorówna przeciętności tego miasta”
2. Tylko kilka krajów wzięło w nich udział.
W porównaniu z ich współczesnymi odpowiednikami, igrzyska 1904 roku nie były prawie międzynarodowym wydarzeniem. Narody europejskie wzbraniały się przed kosztami i powolnym tempem podróży do St. Louis, a kiedy igrzyska w końcu się rozpoczęły, tylko 12 krajów pofatygowało się, by się na nich pojawić. Amerykanie stanowili 523 z 630 wszystkich sportowców, a ponad połowa zawodów była rozgrywana w całości przez rodzimych zawodników. Dzięki znaczącej przewadze liczebnej, Stany Zjednoczone zdobyły w sumie 239 medali – najwięcej w historii jednej olimpiady. Nie obyło się bez kontrowersji. Stany Zjednoczone zostały skrytykowane za wystawienie kilku europejskich imigrantów, którzy wciąż nie byli obywatelami, a jeszcze w 2012 roku Norwegia wciąż wzywała Międzynarodowy Komitet Olimpijski do oficjalnej zmiany narodowości dwóch zapaśników, którzy zdobyli złoty medal.
3. Igrzyska trwały prawie pięć miesięcy.
Nowoczesne olimpiady trwają zazwyczaj nieco ponad dwa tygodnie, ale igrzyska w 1904 roku trwały wyczerpujące 146 dni. Podczas gdy większość zawodów torowych i terenowych odbywała się w niewielkim okienku od 29 sierpnia do 3 września (pierwotnie zaplanowane daty igrzysk), reszta wydarzeń została rozrzucona po kilku miesiącach pokazów sportowych Targów Światowych, w tym wojskowego karnawału lekkoatletycznego, irlandzkiego festiwalu sportowego, a nawet mistrzostw YMCA w koszykówce. Co gorsza, organizatorzy targów zaczęli używać terminu „olimpijskie” w odniesieniu do wszystkich zawodów sportowych, co później doprowadziło do nieporozumień co do tego, które sporty były oficjalnymi wydarzeniami. W wyniku przeglądu stwierdzono później, że igrzyska w 1904 roku oficjalnie trwały od 1 lipca do 23 listopada i składały się z 94 wydarzeń. Olimpiada w Londynie w 1908 roku trwała jeszcze dłużej, przeciągając się do zdumiewających 188 dni od kwietnia do października.
4. Maraton wywołał wielkie poruszenie.
Igrzyska w St. Louis słynęły z jednego z najbardziej skandalicznych maratonów w historii Olimpiady. Wyścig odbył się w 90-stopniowej pogodzie na pokrytej kurzem drodze, a niegościnne warunki sprzysięgły się, by zmusić 18 z 32 zawodników do wycofania się z wyczerpania. Jeden z nich doznał nawet krwotoku żołądkowego i prawie zmarł, zanim otrzymał pomoc medyczną. Zwycięzca wyścigu Thomas Hicks poradził sobie tylko trochę lepiej. Biegacz spędził ostatnie 10 mil zawodów w kompletnej agonii, a żeby utrzymać go na nogach, podano mu kilka jajek, dawki toksycznej strychniny, a nawet korki brandy. Jego asystenci praktycznie przenieśli go przez linię mety, osiągając ostateczny czas 3 godzin, 28 minut i 53 sekund. Inni zawodnicy borykali się z jeszcze dziwniejszymi problemami. Kubański biegacz Felix Carbajal zatrzymał się na trasie, aby zjeść kilka jabłek, po czym dopadły go skurcze żołądka, a biegacz z RPA o imieniu Len Tau został przegoniony z trasy przez stado dzikich psów. Po wyścigu wielu twierdziło, że maraton jest zbyt niebezpieczny dla zawodników i powinien zostać zlikwidowany. Nawet James Sullivan, dyrektor igrzysk w 1904 roku, przyznał, że impreza prawdopodobnie nie powróci w 1908 roku. „Osobiście jestem temu przeciwny,” powiedział. „To jest nie do obrony na jakimkolwiek gruncie, ale historycznym.”
Maratończyk Fred Lorz
5. Było kilka zarzutów o oszukiwanie.
Jedna z najbardziej niezwykłych kontrowersji Olimpiady 1904 roku pojawiła się podczas zawodów bokserskich, kiedy to zawodnik o nazwisku James Bollinger zgłosił się pod nazwiskiem popularnego miejscowego boksera Carrolla Burtona w nadziei na zyskanie przychylności sędziów. Oszustowi udało się wygrać jedną walkę, zanim został zdemaskowany i zdyskwalifikowany. Nic jednak nie mogło przyćmić zamieszania, jakie wywołał Fred Lorz podczas olimpijskiego maratonu. Lorz biegł na przyzwoitym czwartym miejscu aż do dziewiątej mili, kiedy to złapały go silne skurcze i musiał zrezygnować z biegu z powodu wyczerpania. Zahaczył się o powrót samochodem na stadion, ale po 10 milach pojazd nagle się zepsuł. Po złapaniu oddechu Lorz postanowił wznowić bieg na ostatnich kilometrach i ostatecznie przekroczył linię mety jako pierwszy. Został okrzyknięty przez widzów zwycięzcą wyścigu i prawie odebrał złoty medal, zanim ktoś wspomniał o jego wielokilometrowej podróży samochodem. Lorz twierdził, że to wszystko było wymyślonym żartem, ale Amatorski Związek Lekkoatletyczny nie był rozbawiony i natychmiast wymierzył mu dożywotni zakaz startów. Lorz później unieważnił karę, twierdząc, że był „chwilowo niepoczytalny”. Udało mu się wygrać maraton bostoński w 1905 roku.
6. Przeciąganie liny zostało włączone jako część zawodów torowych i terenowych.
Przeciąganie liny może wydawać się bardziej w domu na obozie letnim dla dzieci niż na Olimpiadzie, ale było to popularne wydarzenie na Letnich Igrzyskach od 1900 do 1920 roku. Sześć pięcioosobowych drużyn chwyciło za liny w 1904 roku – jedna z Grecji, jedna z RPA i cztery ze Stanów Zjednoczonych. Grecy i Południowoafrykańczycy przegrali w pierwszym dniu zawodów, co sprawiło, że rywalizacja o medale stała się sprawą amerykańską. 1 września mężczyźni z Milwaukee Athletic Club zdobyli złoto po ciężkim meczu z New York Athletic Club. Nowy Jork nie stawił się na rundę pocieszenia, co oznaczało, że srebro i brąz przypadły dwóm lokalnym drużynom z St. Wraz z organizacją jednych z niewielu zawodów w przeciąganiu liny, igrzyska w 1904 roku są również znane z tego, że po raz ostatni golf pojawił się jako sport olimpijski, a także z tego, że po raz pierwszy i jedyny odbył się konkurs nurkowania na odległość.
7. Igrzyska obejmowały konkurencję poboczną dla plemion trzeciego świata.
Oprócz tradycyjnych sportów olimpijskich, igrzyska w 1904 roku obejmowały również dziwaczne i wysoce kontrowersyjne wydarzenie znane jako „Dni Antropologii”. W ramach dwudniowych zawodów, tak zwane „niecywilizowane plemiona” były rekrutowane z eksponatów „ludzkiego zoo” na Targach Światowych i zachęcane do spróbowania swoich sił w sportach olimpijskich. Ainusom, Patagończykom, Pigmejom, Filipińczykom Igorotom i Siuksom płacono za udział w tradycyjnych zawodach olimpijskich, takich jak skok w dal, strzelanie z łuku i rzut oszczepem, a także w specjalnie przygotowanych konkurencjach, takich jak wspinaczka o tyczce i rzucanie błotem. Wydarzenie to było reklamowane jako pokaz naturalnych zdolności atletycznych plemion, ale uczestnicy nie otrzymali prawie żadnych instrukcji i większość z nich wypadła dość słabo. Organizator Dni Antropologii James Sullivan z satysfakcją stwierdził, że zawody były dowodem na to, że „dzikus był bardzo przecenianym człowiekiem z atletycznego punktu widzenia”, ale inni nazwali je poniżającym i rasistowskim widowiskiem. Ze swojej strony założyciel Olimpiady Pierre de Coubertin nazwał Dni Antropologii „skandaliczną szaradą” i zauważył, że „oczywiście stracą one swój urok, kiedy czarni, czerwoni i żółci nauczą się biegać, skakać i rzucać, a białych zostawią za sobą.”
8. Kobiety rywalizowały tylko w jednym oficjalnym wydarzeniu.
Z prawie 100 dyscyplin sportowych na Olimpiadzie 1904 roku, łucznictwo było jedynym wydarzeniem, w którym kobiety mogły rywalizować. Zawody odbyły się 19 i 20 września i wzięło w nich udział sześć zawodniczek, z których pięć należało do klubu Cincinnati Archers z Ohio. 45-letnia Lida Howell, niekwestionowana najlepsza łuczniczka w kraju, sięgnęła po złoty medal zarówno w podwójnej rundzie Columbia, jak i podwójnej rundzie krajowej. Kobiety wyszły również na ring jako część olimpijskiej karty bokserskiej, ale ich walki zostały uznane za pokazowe i nie przyznano im żadnych medali. Louis w 1904 roku był ostatnim występem kobiet w boksie na Olimpiadzie przez 108 lat, ponieważ zawody nie zostały wznowione aż do Letnich Igrzysk Olimpijskich w Londynie w 2012 roku.