Ang Olimpikong 1906, na ginanap sa Athens, ay naging pambihirang sapagkat ang mga tagapag-ayos nito ay hindi sumunod sa hinihiling para sa tradisyunal na apat na taong pahinga sa pagitan ng mga laro. Sa kadahilanang ito, ang Olimpiko ay hindi man opisyal na kinilala ng Komite ng Olimpiko sa Pandaigdig.
Ang Mga Palarong 1906 ay ginanap upang gunitain ang ikasampung anibersaryo ng unang Olimpyad, na ginanap din sa Athens. Upang higit na bigyang diin ang koneksyon sa pagitan ng dalawang mga kaganapan, ang mga tagapag-ayos ng Olimpiko ay pumili ng parehong pamamaraan ng kumpetisyon noong 1896. Para sa pinaka-bahagi, ang mga kumpetisyon ay ginanap sa Marble Stadium.
Noong una, nang matanggap ang isang panukala mula sa Greece na gaganapin ang Olimpiko noong 1906, ang IOC ay hindi nagbigay ng isang kategoryang pagtanggi. Ang katotohanan ay sa oras na iyon ang prestihiyo ng Palarong Olimpiko ay bumagsak, at hindi na ipinakita ng publiko ang dating interes sa kanila. Upang maiwasan ang huling pagbagsak ng kilusang Olimpiko, kinakailangang gumawa ng mga hakbang, at wala nang pagkakataon na maghintay hanggang 1908. At bagaman tumanggi ang IOC na makilala ang Olimpiko noong 1906, tatawagin itong kaligtasan ng mga laro, na pinapayagan ang publiko at lalo na ang mga atleta na bumalik sa kaganapan, upang suportahan ang kilusan at mismong ideya nito.
Ang hirap din ay sa katotohanan na, ayon sa tradisyon, ang Olimpiko ay gaganapin sa iba't ibang mga bansa sa mundo, ngunit noong 1906 ang kaganapan ay pinlano na gaganapin sa Greece, na naging sanhi ng hindi kasiyahan sa mga miyembro ng IOC. Isang paraan o iba pa, ngunit noong Abril 22, ginanap ang engrandeng pagbubukas ng mga laro. Habang nakatuon ang media sa Olimpikong 1906, maraming mga atleta at panauhin ang dumating sa Athens.
Ang kaganapan ay dinaluhan ng halos 900 mga atleta mula sa 20 mga bansa, bukod dito, kasama sa mga ito ay mayroong pitong mga kababaihan. Bilang bahagi ng Olimpiko noong 1906, ginanap ang mga kumpetisyon sa mga sumusunod na palakasan: pag-angat ng timbang, pakikipagbuno sa Greco-Roman, eskrima, paggaod, paglalayag, paglangoy, diving, atletiko, bitag at pagbaril ng bala, pagbibisikleta at tennis. Sa kasamaang palad, dahil hindi kinilala ng IOC ang Olimpikong 1906, lahat ng mga parangal na natanggap ng mga kalahok nito ay hindi wasto at hindi isinasaalang-alang sa hinaharap.
Ang pagsasara ng seremonya ng Olimpiko ay naganap noong Mayo 2. Matapos ang pagtatapos ng kaganapan, ang mga resulta nito ay tinalakay nang mahabang panahon sa iba't ibang mga bansa, na makabuluhang nagpataas ng interes ng publiko sa mga laro. Lalo na itong napansin sa panahon ng 1908 London Olympics, kung saan higit sa 2,000 mga atleta ang nakilahok.