Na nejvyšší úrovni začal Jean-Pierre závodit v roce 1930. 21. září startoval ve Velké ceně Francie v Pau z pátého místa, ale závod, který vyhrál Philippe Étancelin, nakonec po problémech s motorem nedokončil.
V následující sezoně vyhrál závod do vrchu La Turbie a v Monte Carlo Rally dojel druhý. Prvního větších úspěchů se dočkal v roce 1932. Nejprve na konci dubna zvítězil v Oran Grand Prix na okruhu Arcole a v červnu nenašel přemožitele v Lorraine Grand Prix v Nancy. Auta Bugatti postupně ztrácela konkurenceschopnost, což Francouze značně limitovalo.
Rok 1933 podle toho vypadal a žádný výraznější úspěch nepřišel, ale v říjnu příštího roku Jean-Pierre za volantem T59 vyhrál Velkou cenu v Algiers. Během těchto let se Wimille často potkával s téměř o třináct let starším Robertem Benoistem a vedle soupeřů se z nich stali blízcí přátelé.
Vzhledem k dominanci německých týmů Mercedes a Auto Union ve druhé polovině 30. let se Wimille soustředil na závody sportovních aut a první opravdu velké vítězství získal v roce 1936 v Montlhéry, kde za volantem T57G ovládl společně s Raymondem Sommerem místní Grand Prix. V sezoně přidal ještě výhry v menších závodech v Deauville, Comminges, Pau a Coupe de Paris. Startoval také v americkém Vanderbilt Cupu, kde získal skvělé druhé místo za vítězným Italem Taziem Nuvolarim.
Se svým přítelem a mentorem Benoistem Wimille dosáhl velkého úspěchu v červnu 1937, když společně triumfovali v závodě 24 hodin Le Mans. S Bugatti T57G vyhráli s náskokem sedmi kol před krajany Josephem Paulem a Marcelem Monginem v Delahayi 135CS. Po závodě Benoist ukončil kariéru, stáhl se do ústraní a jejich cesty se rozešly. Ve sledu událostí nadcházejících let se však měly opět brzy spojit, i když oba nakonec potkal úplně jiný osud.
Mezitím Jean-Pierre rezignoval na Bugatti, které pořád za německými týmy značně ztrácely, a toužil po autě, se kterým by mohl zaútočit v evropském mistrovství F1. Zaujaly ho zejména vozy Auto Union. Z Německa údajně přišla nabídka, ale Wimille se ji rozhodl z politických důvodů odmítnout.
Válka v Evropě byla na spadnutí, přesto si před ní stihl připsat ještě jeden fantastický úspěch-v červnu 1939 se stal již dvojnásobným vítězem maratonu v Le Mans. Tentokrát s Pierrem Veyronem zvítězili za volantem Bugatti T57C o tři kola před dvojicí Louis Gérard – Georges Monneret.
Za války se Wimille společně s Robertem Benoistem a Williamem Grover-Williamsem stal členem britského oddělení zvláštních operací. Společně v Paříži pracovali v odboji a snažili se připravit půdu před plánovanou spojeneckou invazí. V červnu 1943 ale byli prozrazeni, SS vtrhli do Robertova bytu u Paříže, kde schovávali zbraně, a zanedlouho byl zadržen první z trojice, kterým byl Grover-Williams. Nejprve byl vyslýchán a mučen v ústředí Gestapa na Avenue Foch a následně převezen do koncentračního tábora v Sachsenhausenu, kde byl údajně pár týdnů před koncem války popraven. Jeho smrt ovšem prokázána nebyla a mnozí věřili, že přežil a po válce žil v utajení.
Robert Benoist byl dopaden o něco později, ale podařilo se mu uprchnout zpět do Anglie. Do Paříže se však vracel na další mise, kde byl v červnu 1944 zadržen podruhé. Následně byl poslán do tábora v Buchenwaldu, kde byl v září toho roku popraven.
Wimille byl jediný z trojice hrdinů, který válku přežil. Po Robertově smrti byl se zbytkem týmu v Sermaise obklíčen Gestapem a SS, ale podařilo se mu uniknout oknem. Jean-Pierrova žena byla později zatčena a měla být poslána do ženského tábora Ravensbrück, což by pro ni znamenalo jistou smrt, ale těsně před transportem ji zachránil příbuzný, který pracoval pro Červený Kříž.
Po válce se Jean-Pierre vrátil k závodění a 9. září 1945 se v Bois de Boulogne v Paříži zúčastnil tří závodů na oslavu konce války, které zároveň byly poctou všem jejím obětem: Coupe Robert Benoist vyhrál Amédée Gordini, Coupe de la Liberation Henri Louveau a třetí z nich, Coupe des Prisonniers nevyhrál nikdo jiný, než právě Wimille s Bugatti T59. Následně se stal prvním jezdcem Alfy Romeo a v červenci 1948 podruhé vyhrál Velkou cenu Francie v Remeši.
Jean-Pierre zemřel za volantem Simca-Gordini při tréninku na Velkou cenu Argentiny 28. ledna 1949. Pohřben byl v Paříži, kde byl na jeho počest na kraji parku Bois de Boulognes vztyčen památník.
