Po przewrocie Harald zdecydował się opuścić cesarstwo, lecz cesarzowa Zoe i jej nowy mąż Konstantyn IX nie wyrazili na to zgody. Ignorując zakaz, były gwardzista wymknął się statkiem wraz kilkoma ludźmi, pokonując Bosfor i wypływając na Morze Czarne. Stamtąd udał się na Ruś, gdzie ożenił się z córką Jarosława Mądrego – Elżbietą, zwaną w sagach Ellisif.
W czasie swojej służby dla cesarstwa i licznych wypraw wojennych Harald zgromadził pokaźną fortunę, którą przezornie wysyłał do Kijowa Jarosławowi na przechowanie. Wiking nie zamierzał jednak osiąść na Rusi. Będąc zamożnym i doświadczonym wodzem, Harald zaczął snuć plany powrotu do Norwegii i odzyskania królestwa swojego przyrodniego brata. Z początkiem 1045 roku pretendent wyruszył z Nowogrodu w drogę do domu, gdzie przybył na początku przyszłego roku. Od 1035 roku królem Norwegii był Magnus Dobry, nieślubny syn Olafa II, w którego rękach od 1042 roku znajdowała się również korona Danii.
Harald sprzymierzył się z władcą Szwecji, Anundem Jakubem oraz pretendentem do duńskiego tronu Swenem Estrydsenem, z którymi najeżdżał duńskie wybrzeże, chcąc pokazać bezradność Magnusa i nakłonić ludność do przejścia na ich stronę. Tubylcy nie dali się przekonać, a Magnus nie chcąc walczyć z wujem, zawarł z nim porozumienie, według którego od 1046 roku Harald został współrządcą Norwegii, w zamian oddając bliskiemu bankructwa Magnusowi połowę majątku.