Jednou dokonce fyzicky napadl řidiče jménem Dave Morgan poté co se do sebe navzájem zapletli při závodě Formule 3 v Crystal Palace. O několik let později, v roce 1975 v Monaku, natlačil Patrick Depailler v Tyrellu Huntův Hesketh do bariér. Hunt okamžitě vyskočil ze svého vozu a strávil několik následujících kol závodu postávánim na okraji trati, přičemž hrozil pěstí a ječel na Depaillera pokaždé, co projel kolem. Více méně stejná záležitost se opakovala o rok později při Velké Ceně na Long Beach v Californii. Hlavní hrdinové události byli stejní, ten samý zkrat a to stejné nadávání a vyhrožování pěstmi.
Niki Lauda, Huntův přítel i velký rival, byl méně kritický: „Hunt byl otevřený a do hloubi duše upřímný kámoš a také zatraceně dobrý řidič.“ Mnoho ostatních lidí si o něm naopak myslelo, že byl rozmařilec, neřízená střela. Sám James Hunt sám sebe popsal jako ´štěkajícího šílence´. Za normálních okolností by takové osobnostní rysy odsoudily Hunta k rychlému vyhoření.
Ale i šílenci občas mají štěstí. A Huntovo přišlo ve chvíli, kdy se excentrický britský šlechtic Thomas Alexander Femour-Hesketh – Baron Hesketh Třetí, galantně rozhodl vytvořit kolem Hunta nový, zábavu milující, tým. Hunt tehdy otevřeně přiznal, že nikdo jiný nebyl na začátku roku 1973 připravený si na něj vsadit. Za svůj úspéch a titul tedy Hunt vděčil Lordu Heskethovi, vychytralému obchodníkovi jménem „Bubbles Horsley“ a doktoru Harveymu Postlethwaitemu, přirozeně talentovanému konstruktérovi, který později zazářil i ve Ferrari.
