奥林匹克博物馆外观为白色，线条简洁明快，正面有两层白色大理石贴面护墙，正前方竖立着两排大理石圆柱，是希腊政府所赠，据说是世界上最白的纹理最少的大理石。大理石的纯白象征着和平和“费厄泼来”体育精神。该博物馆一共有5层，但为了与洛桑的田园风光协调，博物馆将3层在地下，地面只留两层。馆内陈列着从公元前776年举办首届古代奥运会的奥林匹亚山的模型，首届现代奥运会纪念金币，以及1936年后历届奥运会使用过的火炬等等与奥运会有关的实物、纪念品。