Käsipalloa pelattiin olympiakisoissa ensi kerran Berliinissä 1936. Kyseessä oli tuolloin lajin ulkopeliversio, jota nähtiin myös näytösotteluna Helsingissä 1952. Sisäpelinä käsipallo palasi olympiaohjelmaan Münchenissä 1972. Naisten käsipallomitaleista pelattiin ensi kerran Montrealissa 1976.
Suomi on ainoa pohjoismaa, joka ei ole voittanut käsipallossa olympiamitalia. Ruotsi pelasi vuosina 1992–2000 kolmesti peräkkäin miesten olympiafinaalissa, häviten tosin joka kerta: 1992 IVY:lle kahdella, 1996 Kroatialle yhdellä ja 2000 Venäjälle kahdella maalilla. Tanska voitti puolestaan kolme peräkkäistä kultamitalia naisten käsipallossa vuosina 1996, 2000 ja 2004. Pekingissä 2008 Norja voitti kultamitalin naisten turnauksessa ja Islanti yllättäen hopean miesten kilpailussa.