Urodził się na Górnym Śląsku, we wsi Zabełków  koło Raciborza. W wieku 16 lat wyemigrował „za chlebem” do Westfalii, gdzie pracował jako górnik. Działał tam w takich organizacjach jak: Polskie Towarzystwo Gimnastyczne „Sokół”, Towarzystwo Czytelni Ludowych.

Gdy w 1902 powstało w Westfalii Zjednoczenie Zawodowe Polskie, Józef Rymer został prezesem utworzonej przez siebie filii ZZP w Dellwig. W 1907 został pracownikiem Zarządu Głównego ZZP w Bochum. W 1909 mianowano go sekretarzem generalnym ZZP i objął naczelną redakcję organów prasowych ZZP. Reprezentował polskich robotników na międzynarodowych kongresach (na kongresie górników w Paryżu, w Herne, podczas zjazdu hutników w Bochum).

W 1913 przyjechał do Katowic, kontynuując działalność społeczną i patriotyczną, jako prezes Centralnego Zarządu Zjednoczenia Zawodowego Polskiego, którego siedziba znajdowała się już w Katowicach. Delegat na Polski Sejm Dzielnicowy w Poznaniu w 1918roku^[1]. Od 1918 był działaczem Naczelnej Rady Ludowej w Poznaniu, w tym roku został także wiceprezesem Narodowego Stronnictwa Robotniczego. Współuczestniczył w powołaniu do życia Naczelnej Rady Ludowej Górnego Śląska, której został przewodniczącym.

Z ramienia Komisariatu Naczelnej Rady Ludowej, dwa razy reprezentował Polskę na konferencji pokojowej w Paryżu (w sprawach dotyczących Górnego Śląska). Zdecydowanie opowiedział się przeciwko przewidywanemu na tym terenie plebiscytowi ludności.

W 1919 został posłem na Sejm RP, pracował nad projektem przyszłej administracji ziemiami śląskimi (Statut organiczny województwa śląskiego). Gdy konferencja paryska zdecydowała jednak o przeprowadzeniu na Górnym Śląsku plebiscytu, wszedł w skład Polskiego Komisariatu Plebiscytowego jako zastępca jego przewodniczącego, Wojciecha Korfantego. Przed wybuchem II powstania śląskiego został dotkliwie pobity przez niemieckich bojówkarzy. Jeszcze przed przyłączeniem wschodniej części Górnego Śląska do Polski, dokonano na niego nieudanego zamachu w jego biurze w Katowicach przy ul. Warszawskiej (w tym samym budynku − tzw. willi Grundmanna − na rogu ul. Warszawskiej i ul. Bankowej rezydował później jako wojewoda).

Brał też udział w III powstaniu śląskim jako członek Naczelnej Władzy Cywilnej.

W czerwcu 1922 został pierwszym wojewodąautonomii śląskiej w odrodzonej Polsce. Zrzekł się wtedy mandatu do Sejmu Ustawodawczego. Po rozkuciu symbolicznego łańcucha na moście granicznym na Brynicy, między Sosnowcem a Szopienicami, witał w imieniu Ślązaków wojska gen. Stanisława Szeptyckiegowkraczające na Górny Śląsk. Jego podpis figuruje na dokumentach przyłączenia Górnego Śląska do Rzeczypospolitej. Jako wojewoda był człowiekiem pracy organicznej, sprawnym administratorem, realistą twardo stąpającym po ziemi i politykiem rozsądnego kompromisu, do którego nawet Niemcy pozostali na Górnym Śląsku nie mieli poważniejszych zastrzeżeń. Funkcję wojewody pełnił krótko, do swej śmierci na udar mózgu 5 grudnia 1922. Pochowany został na katowickim cmentarzu przy ul. Francuskiej.

Źródło: Wikipedia.pl