Hareide był selekcjonerem Duńczyków w latach 2016-20. W eliminacjach mistrzostw świata 2018 rywalizował z Polską - jego zespół przegrał 2:3 w Warszawie i zwyciężył 4:0 w Kopenhadze. Na mundialu w Rosji doprowadził reprezentację Danii do 1/8 finału - tam lepsza w rzutach karnych okazała się Chorwacja.
Wcześniej, w latach 2003-08, Norweg prowadził kadrę narodową swojego kraju, a w okresie 2023-24 pełnił funkcję selekcjonera Islandczyków. W listopadzie ubiegłego roku przeszedł na sportową emeryturę.
Odnosił również trenerskie sukcesy klubowe - z duńskim Brondby, szwedzkimi Malmoe i Helsingborgs IF oraz norweskim Rosenborgiem, zdobywając trofea we wszystkich trzech krajach.
Jako piłkarz wystąpił 50 razy w reprezentacji narodowej (pięć goli) - w latach 1976-86. Grał w Molde FK, Manchesterze City i Norwich City.