Narodil se 16. září 1910 v Giessenu a automobily byl fascinován v podstatě odjakživa. V roce 1936 získal inženýrský titul a dostal práci v sídle Mercedesu ve Stuttgartu jako inženýr zákaznického servisu. Ještě před začátkem války začal závodit v kategorii cestovních vozů a byl v tom tak dobrý, že byl v roce 1939 pozván do Monzy k testování nových Mercedesů pro Velké ceny, připravovaných pro následující sezonu.
Během válečných let se Kling staral o servis letadel Luftwaffe a po ukončení bojů se vrátil k Mercedesu, kde začal pracovat se svým bratrem Hansem na výrobní lince. Začal také spolupracovat s bývalým motocyklovým závodníkem Ernstem Loofem, který se chtěl pustit do konstrukce závodních aut a Kling mu pomáhal shánět potřebný materiál. Loof svá auta nazval Veritas RS a Karl s nimi v letech 1948-49 vyhrál německé mistrovství sportovních aut.
Na začátku 50. let se výrazně zasloužil o návrat stáje Mercedes-Benz k závodění. Za volantem 170S v roce 1950 vyhrál šestihodinový závod na Nürburgringu a o rok později dostal od šéfa týmu Alfreda Neubauera šanci vedle Hermanna Langa a Juana Manuela Fangia ve dvou Velkých cenách v Argentině. Mercedes upravil předválečný dvanáctiválec W163, ale tahle trojice to s ním proti novějším autům neměla jednoduché. Nejlepší výsledek obstaral druhým místem Kling a stal se plnohodnotným členem týmu.
V roce 1952 poprvé startoval v Mille Miglia. S 300 SL to pro něj vše vypadalo skvěle – ještě v Římě vedl s náskokem osmi minut, ale při zastávce v Sienně ho zdrželo zaseknuté kolo a musel se spokojit s druhým místem.
Karl Mercedesu zajistil také první poválečné vítězství, když vyhrál Velkou cenu v Bremgartenu ve Švýcarsku. Tým přidal další skvělý výsledek v Le Mans, kde zvítězila posádka Lang-Fritz Riess, zatímco Kling musel po problémech s autem z prvního místa odstoupit.
Pokud o něm v té době ještě někdo pochyboval, po téměř 2000 mil dlouhém závodě Carrera Panamericana v roce 1952 na to už neměl právo. Karl Kling s navigátorem Hansem Klenkem na trati zažili neuvěřitelnou příhodu, když do předního skla jejich 300 SL v rychlosti téměř 200 km/h narazil sup. Klenka pořezalo rozbité sklo a byl celý od krve, ale trval na pokračování v závodě. Dvojice závod s náskokem 25 minut vyhrála. Kling na posledním úseku trati navíc stanovil nový rekord 225 km/h. Najednou ho znalo celé Německo a byl vyhlášen národním sportovcem roku.
V roce 1953 se Mercedes na nějakou dobu stáhl a připravoval auto na příští sezonu. Karl tak v několika případech “hostoval” v Alfě Romeo. V Mille Miglia neměl štěstí ani v jejích barvách a musel odstoupit z prvního místa, když jeho Disco Volante selhala převodovka. Na Nürburgringu měl navíc nehodu a zlomil si několik žeber. Stihl se dát do pořádku na Carrera Panamericana, kde startoval s Porsche, ale bez úspěchu.
V roce 1954 se vrátil k Mercedesu, který nové W196 poprvé představil v červenci při Velké ceně Francie v Remeši. Dlouho očekávaná auta naprosto excelovala. Pro vítězství si dojel na titul útočící Fangio a Kling na druhém místě zaostal o pouhou desetinu vteřiny. Argentinec ovládl další tři závody a podruhé se stal mistrem světa. V té době již čtyřiačtyřicetiletý Kling si připsal ještě čtvrté místo v Německu a páté ve Španělsku – celkově mu patřila pátá pozice.
V sezoně se jela také řada nemistrovských závodů a Karl zvítězil před Fangiem a Hermannem v zářijovém klání na okruhu Avus a další prvenství přidal ve Švédsku.
Jeho pozice v týmu se však zhoršila s příchodem mladého Stirlinga Mosse v roce 1955. Brit vytvořil silnou dvojici s Fangiem a Kling se pohyboval trochu v pozadí. Jeho nejlepším výsledkem v seriálu MS bylo třetí místo v Aintree právě za oběma týmovými kolegy.
Na konci sezony Mercedes ohlásil odchod ze závodů a Karlova kariéra tak prakticky skončila, jelikož tým nechtěl, aby jezdil za někoho jiného. V roce 1958 převzal po Neubauerovi pozici týmového manažera a několikrát se ještě vrátil za volant. S dieselovým Mercedesem 190 vyhrál v roce 1959 Algiers-Cape Rally a o dva roky později Algiers-Central Africa Rally. Ve funkci manažera vydržel až do roku 1968 a dalších sedm let působil jako poradce týmu.
Karl Kling zemřel 18. března 2003 ve věku 92 let.
