A Magyar Olimpiai és Sportmúzeum születésének gyakorlati kezdete 1954-re tehető, amikor az Országos Testnevelési és Sportbizottság által létrehozott Testnevelési Tudományos Tanács feladatául kapta egy majdani sportmúzeum törzsgyűjteményének felkutatását, összeállítását és az ehhez szükséges apparátus felállítását. Ebben a munkában tudományos szakemberek mellett a magyar sport legendája, Hajós Alfréd is részt vett. Az előkészítő munka olyannyira jól haladt, hogy a hivatalosan még nem létező Sportmúzeum gyűjteményéből 1958 januárjában már egy sportkarikatúra kiállítást szerveztek az új városháza (V. kerület, Váci utca 62.) épületébe. Az intézmény valódi megalapítására azonban csak a következő évtized folyamán került sor. A múzeum egyik első otthona Hajós Alfréd hajdani lakása lett a Báthory utca 5. szám alatt.

Az ország egyetlen teljes jogkörű sportmúzeumaként küldetése nemcsak a magyarországi, hanem a magyar nyelvterület sporttörténetéhez kapcsolódó tárgyi anyag gyűjtése és feldolgozása, valamint annak ismeretterjesztő bemutatása. Gyűjteménye az olimpiai aranyérmektől, trófeáktól a plakát, fotó- és kézirattári iratokon át a kiadványokig felölel valamennyi dokumentum- és tárgytípust. Története során az itthon megvalósult tárlatokon túl számos vándorkiállítást eljuttatott a határon túli magyar közösségekhez is, támogatva a nemzeti összetartozás eszméjét.

A múzeum jelenleg két kiállítótérrel rendelkezik: a margitszigeti Holdudvarban, ahol időszaki tárlatok kapnak helyet, valamint a Dobogókőn található báró Eötvös Loránd menedékházzal, amelyben a magyar turistaság történetét bemutató kiállítás látható.