Narodil se 12. října 1906 v Albano Laziale a začínal v závodech motocyklů. K závodním autům se dostal v roce 1923 ve Fiatu, ale většinu 20. let pokračoval na dvou kolech, kde se Taruffimu dařilo a výrazně na sebe upozorňoval. Všiml si ho také Enzo Ferrari a v roce 1931 z něj udělal jezdce svého týmu. Scuderia Ferrari v letech 1931–34 startovala i v závodech motorek a Piero zpravidla řídil stroje značek Rudge a Norton do 500 cc. Výrazný úspěch zaznamenal v roce 1932 – vyhrál Velkou cenu Evropy v Římě a mezitím sbíral zkušenosti v menších podnicích závodních aut. Z těch povýšil v roce 1933 k Velkým cenám a v letech 1933–49 se zúčastnil celkem třinácti závodů, ale vítězství se mu získat nepodařilo. Ke cti mu sloužilo, že se v květnu 1933 nenechal zatáhnout do sázkařského skandálu při Velké ceně Tripolisu na okruhu Mellaha. Tazio Nuvolari, Achille Varzi a Baconin Borzacchini se dohodli se třemi držiteli tiketů, že jeden z nich závod vyhraje a následně si rozdělí výhru na šest dílů. Tak se také stalo, první cílovou čáru protnul Varzi a každý ze zúčastněných si přišel asi na 60 tisíc dolarů. Piero dojel s Alfou 2 300 pátý, což také bylo jeho nejlepší umístění.
Daleko více však vynikal ve vytrvalostních závodech a závodech sportovních aut. V Mille Miglia to poprvé zkoušel již v roce 1930, ale s Bugatti T23 dojel až čtyřicátý a lepší to nebylo ani v následujících dvou letech, kdy řídil vozy Itala Tipo 61 a Alfa 8C. V roce 1933 však jeho čtvrtý pokus dopadl o poznání lépe. S Carlem Castelbarcem si za volantem 8C Monzy dojeli pro celkové třetí místo. Slušný výsledek přidal i v následujícím ročníku, s Guerinem Bertocchim vyhráli s Maserati 4CS třídu do 1 100 cc a celkově skončili na páté pozici.
Taruffi se dále věnoval i motorkám a v roce 1937 na silnici z Brescie do Bergama překonal se strojem značky Gilera světový rekord, který měl nyní hodnotu 274,2 km/h. Vydržel však jen několik měsíců, než ho překonal Němec Ernst Jakob Henne s BMW.
V Mille Miglia na Taruffiho v následujících letech čekala předlouhá série mechanických selhání a nehod. Zkoušel to se všemi možnými auty – Delage, Cistalia, Ferrari, Alfa Romeo i Maserati, ale nedařilo se mu s žádným z nich. Na okruzích to bylo o něco lepší, sezónu 1951 začal za volantem Ferrari 373 skvělým druhým místem za Juanem Manuelem Fangiem v prvním mistrovském závodě roku v Bremgatrenu ve Švýcarsku. Ital ale zazářil zejména v Carrera Panamericana, když s Luigim Chinettim tento šílený maraton ve střední Americe vyhráli. Trať dlouhou téměř 3 100 km zvládli s Ferrari 212 Inter za dvaadvacet hodin.
Nejlepší sezónou v mistrovství světa byl pro Taruffiho rok 1952. Nejprve s Ferrari 500 F2 vyhrál Velkou cenu Švýcarska v Bernu, ve stejném autě ovládl i nemistrovský závod v Montlhéry a prvenství získal také v Ulster Trophy v Dundrodu, kde řídil 375 Thinwall Special. Co se týče dalších mistrovských Velkých cen, ve Francii dojel třetí za Ascarim a Farinou, v Silverstone druhý za Ascarim, v Německu čtvrtý a v posledním závodě seriálu v Holandsku sedmý. Tyto výsledky ho vynesly na třetí místo celkového pořadí za druhého Giuseppe Farinu a nového mistra světa Alberta Ascariho, což byl Pierův nejlepší výsledek v kariéře.
V roce 1954 Taruffi startoval v Targa Florio s novou Lancií D24 skvělého designéra Vittoria Jana a tato kombinace se ukázala být vítěznou. Nejvíce ho proháněl Luigi Musso za volantem Maserati A6GCS, ale nyní již velezkušený Taruffi, přezdívaný díky své šedivé kštici “Stříbrný lišák”, si pohlídal vítězství.
Prolomit smůlu v Mille Miglia se mu podařilo až s Ferrari Tipo 335 v roce 1957, kdy se konečně dočkal. Jeho největšími soupeři byli Wolfgang von Trips a Peter Collins, ale Angličan musel po cestě do Říma z první pozice odstoupit. Vedení převzal Taruffi a von Tripse si dovezl na zádech až do cíle v Brescii. Poslední ročník Mille Miglia byl zároveň úplně posledním závodem Taruffiovy kariéry, kterou tak zakončil nejlepším možným způsobem. Jeho vítězství však bylo zastíněno nehodou v Guidizzolu, kde Španěl Alfonso de Portago se spolujezdcem Edmundem Nelsonem havarovali do diváků a vedle obou jezdců zemřelo ještě devět lidí.
V roce 1958 Piero vydal skvěle hodnocenou knihu The Technique of Motor Racing. Dožil se 81 let, zemřel 12. ledna 1988 v Římě.
