Wraz ze śmiercią Michała IV Paflagończyka w grudniu 1041 roku i wstąpieniem na tron Michała V, Harald stracił względy, którymi cieszył na cesarskim dworze. Nie wiadomo, co było główną przyczyną złych relacji między dowódcą gwardii a nowym cesarzem. Według sag powodem było uczucie, jakie narodziło się między Haraldem a siostrzenicą cesarzowej Zoe, Marią. Gwardzista miał poprosić nawet o rękę wybranki, lecz cesarzowa nie wyraziła zgody, gdyż sama chciała poślubić Haralda. Według Saxo Gramatyka, Harald miał dopuścić się morderstwa, zaś zdaniem Wilhelma z Malmesbury zbezcześcić godność szlachcianki. Prawdopodobne wydaje się, że Michał V po prostu obawiał się owianego wojenną sławą dowódcy gwardii i jego braku lojalności. Niezależnie od przyczyn skutkiem konfliktu było aresztowanie i uwięzienie Norwega.
Równie zagadkowa jest ucieczka Haralda z niewoli. Jedyną próbę jej wytłumaczenia podjęto w Heimskringli, według której uwięzionemu przyrodniemu bratu pomógł zmarły król i późniejszy święty, Olaf.
„[…] błogosławiony król ukazał mu się i powiedział, że go uwolni […] Następnej nocy bogata kobieta zeszła do lochu wraz z dwoma służącymi. Opuścili oni linę do celi i wyciągnęli ich. Kobieta została wcześniej obdarowana lekarstwem przez króla Olafa, a ten pojawił się potem w jej śnie prosząc, by uwolniła jego brata z więzienia.” (Snorri Sturluson, Heimskringla, t. III, tłum. A. Finlay, A. Faulkers, London 2015.)
Odzyskawszy wolność, Harald stanął na czele wiernych mu gwardzistów i ruszył na Michała V Kalafatesa, przeciwko któremu wybuchł wówczas regularny bunt. Harald dopadł ukrywającego się w klasztorze cesarza, oślepił go i ponownie umieścił w przybytku.