Этот фразеологический оборот отсылает к древнегреческим мифам, в которых на горе Олимп помещается обитель богов. Гомер в «Одиссее» пишет о ней так:
Ветры ее никогда не колеблют, не мочат водою
Струи дождя, не бывает там снега. Широкое небо
Вечно безоблачно, вечно сиянием светится ясным.
Вот там и царит олимпийское спокойствие.
Но спортсменам на Олимпиадах о спокойствии, разумеется, остается только мечтать.