Otto Wilhelm Rudolf Caracciola se narodil předposlední den roku 1901 v Remagenu na západě Německa. Po ukončení střední školy ho chtěl otec Maximilian poslat na univerzitu, ale brzy zemřel a Rudolf, který chtěl být od dětství závodníkem, se stal učedníkem u společnosti Fafnir. Ta byla výrobcem automobilů a mladý jezdec jel svůj první závod v lednu 1922 na okruhu Avus právě s jedním z jejích aut. A nevedlo se mu špatně, dojel čtvrtý. Později byl pozván na pohovor do sídla Mercedesu-Benz ve Stuttgartu a podařilo se mu získat místo. Ne však za volantem, ale místo prodejce. K závodění se ale nakonec o rok později dostal. Startoval v menších regionálních závodech a závodech do vrchu, kde na sebe výrazně upozornil třinácti výhrami. Tak to pokračovalo další dvě sezony, ve kterých si připsal celkem 37 výher.
Pak přišel rok 1926, který byl pro něj zlomový. V historicky první Velké ceně Německa skoro nestartoval, protože termín závodu se kryl s jinou akcí a Mercedes se rozhodl pro závod ve Španělsku. Caracciola si však u vedení vyžádal auto a na Avus startoval s dvoulitrovým osmiválcem jako nezávislý jezdec. Na startu závodu měl problémy a ztratil kontakt se špičkou, ale později začalo pršet a Rudolf předjížděl jedno auto za druhým. Když dorazil do cíle, s překvapením zjistil, že je první. Tehdy vznikla jeho přezdívka Regenmeister.
V roce 1927 vyhrál se sedmilitrovým Mercedesem závod sportovních aut na Nürburgringu, kde měl v budoucnu triumfovat ještě mnohokrát. Ve VC Německa se tentokrát do cíle nepodíval a vítězství se mu obhájit nepodařilo. O dvanáct měsíců později si ale spravil chuť a s modelem SSK si dojel pro druhé prvenství. V dubnu 1929 startoval v premiérové VC Monaka, ale SSK po zdržení v boxech nedokázal dostat výš, než na třetí pozici. Vyhrál však deštivou Tourist Trophy a upevnil si svou reputaci.
V následující sezoně poprvé startoval v Mille Miglia, kde s Christianem Wernerem dojeli šestí. Dařilo se mu zejména v závodech do vrchu. kde získal svůj první evropský titul. Ten se mu navíc povedlo v následujících dvou letech obhájit. O rok později se stal prvním cizincem, který dokázal slavnou Mille Miglia vyhrát, když ve svém SSKL nenašli s kolegou Wilhelmem Sebastianem přemožitele.
Na začátku roku 1932 Mercedes od závodů odešel a Rudolf se stal jezdcem Alfy Romeo, kde se potkal s Nuvolarim, Camparim a Borzacchinim. Prvním závodem pro něj byla Mille Miglia, ale tu nedokončil. V Monaku se mu již dařilo lépe – jen těsně nestačil na vítěze Tazia Nuvolariho. Alfy naprosto dominovaly a ve většině závodů jim patřila první tři místa, Caracciola si pro prvenství dojel v Monze a Německu.
Na začátku příští sezony však v závodech přestala působit i Alfa a Caracciola byl opět bez práce. Dohodl se s Louisem Chironem a založili vlastní tým Scuredia CC. Pořídili si tři Alfy 8C a chystali se na závod v Monaku. Caracciola měl však při tréninku nehodu v zatáčce Tabac a projekt byl u konce. Němec utrpěl mnohočetné zlomeniny pravé stehenní kosti a dával se dohromady celý rok. K tomu ho potkala další rána, když v únoru příštího roku jeho žena Charlotte zemřela při lyžování ve švýcarských Alpách. Stáhl se do ústraní a uvažoval o konci kariéry, ale Chiron ho přesvědčil k návratu.
V květnu 1934 na Avus testoval nový Mercedes W25 a později startoval v Montlhéry, kde ho však zradil motor a prvenství získal L0uis Chiron. Rudolfova kariéra byla zpět na vrcholu v roce 1935, ve kterém vyhrál pět Velký cen a stal se mistrem Evropy. Příští rok stihl vyhrát závody v Monaku a Tunisu, pak ale Mercedes tým stáhl a připravoval auto pro rok 1937. Výsledkem byl 5.6 litrový W125 a Caracciola s ním po výhrách v Německu, Švýcarsku, Itálii a Československu získal další evropský titul, který dokázal v příští sezoně obhájit. Rok 1939 pro něj tak úspěšný nebyl, přestože opět vyhrál v domácí VC na Nürburgringu. Titul ale získal Hermann Lang. Pak přišla válka.
V roce 1945 se Rudolf vydal do USA na závod Indianapolis 500, kde však s vozem Thorne Engineering Special z nevysvětlitelných důvodů narazil do zdi. Při nehodě utrpěl vážná zranění hlavy a strávil několik dní v kómatu. Jeho posledním závodem bylo klání sportovních aut v Bernu v roce 1952, jeho Mercedesu 300SL ale selhaly brzdy a on narazil do stromu. Tentokrát si zlomil levou stehenní kost a rozhodl se ukončit kariéru.
Caracciola zemřel ve svém domě ve Švýcarsku 28. září 1959.
