Jeho kariéra za volantem začala naplno v roce 1955. Vytvořil úspěšnou dvojici se svým přítelem Charlesem Fraikinem a s Olivierovým Mercedesem 300 SL společně vyhráli zrádnou Rallye Lutych-Řím-Lutych a závod Coppa d’Oro Dolomiti. Gendebien toho roku také zaznamenal svou premiérovou účast v Le Mans, kde s Wolfgangem Seidelem dojeli v Porsche 550 Spyder pátí. Tyto výkony přitáhly pozornost Enza Ferrariho a Olivier se stal v roce 1956 jezdcem Ferrari.
Ani sám Ferrari nemohl tušit, jak skvěle bude tato spolupráce fungovat. Gendebien, který byl během své krátké pětileté kariéry věrný Ferrari a pouze několikrát jel s jiným autem, čtyřikrát vyhrál 24 hodin Le Mans, poprvé v roce 1958 ve Ferrari Testa Rossa s Američanem Philem Hillem. Jen v roce 1959 tady Belgičan na úspěch nedosáhl, ale v letech 1960-62 přišel vítězný hattrick. V roce 1960 vyhrál s Paulem Frérem opět za volantem Testa Rossy a následující dva ročníky s Philem Hillem. V prvním případě to bylo třetí vítězství s Testa Rossou a ve druhém jeli s 330 LM.
Gendebien exceloval také na Sebringu, kde poprvé zvítězil v roce 1959 s Danem Gurneym, Philem Hillem a Chuckem Daighem, o rok později vyhráli s Hansem Hermannem v Porsche 718 RS60 a třetím vítězstvím v řadě bylo to s Philem Hillem a Ferrari 250 TR v roce 1961. S Hillem tvořili obávanou dvojici a další ceněné vítězství si připsali v roce 1962 v 1000km na Nürburgringu.
Hattrick si Olivier připsal také v nevyzpytatelném závodě Targa Florio. Zapomeňte na skvěle připravenou hladkou trať, Targa vedla po úzkých silnicích, kde povrch nebyl zdaleka ideální a každý hrbol vám mohl ukončit závod. Gendebien ale předváděl skvělou kontrolu auta a první výhru si tady připsal v roce 1958 s Luigi Mussem v Testa Rosse, s Wolfgangem von Tripsem vyhráli v roce 1961 s Dinem 246 a rok později Olivier triumfoval se stejným autem, tentokrát s Willym Mairessem a Ricardem Rodriguesem. V letech 1957 a 58 také zvítězil ve 12 hodin v Reims a v roce 1960 ovládl 1000km v Paříži.
Během své kariéry Gendebien startoval jen v patnácti závodech v F1, většinou zastával pozici náhradního jezdce. Přesto dokázal pětkrát dojet na bodech. První závod jel v roce 1956 v Argentině a dojel na velmi dobrém pátém místě. Nejlepší výsledky si připsal s Cooperem-TR51 Climax v roce 1960, když krátce jezdil v britském týmu Yeoman. Před domácím publikem na Spa získal třetí místo a o dva týdny později fantastické druhé ve Francii v Reims, kde nestačil pouze na Jacka Brabhama. Na to, že v této sezoně startoval jen v pěti závodech z deseti, skončil celkově na skvělém šestém místě. Posledním závodem v F1 pro něj byla VC USA v roce 1961. Phil Hill dokonce v této sezoně získal titul mistra světa.
Olivier po naléhání své ženy ukončil kariéru v roce 1962 po svém čtvrtém vítězství v Le Mans. Po ní se věnoval svým obchodům, ale také lyžování, tenisu a jízdě na koni. V roce 1998 mu belgický král Albert II. udělil vyznamenání Řád koruny.
Gendebien zemřel ve stejném roce 2. října ve svém domě v Jižní Francii ve věku 74 let.
