Efter att ha tagit examen från Yale flyttade Phillips till Atlanta, Georgia, där han arbetade som lärare i läs- och matematikundervisning vid Fulton County Juvenile Detention Center. Han kompletterade sin lön genom att svartjobba som servitör när han fick en nyhetstjänst på WXIA-TV, det lokala NBC-bolaget. Efter mindre än två år som reporter, skribent och producent i Atlanta anställdes Phillips 1980 av ABC News som redaktör för deras nyhetsbyrå i Washington DC. År 1982 började han skriva artiklar som korrespondent för ABC och bevakade stora händelser som kriget i Libanon, utvandringen av vietnamesiska båtflyktingar i mitten av 1980-talet och Rajiv Gandhis valkampanj efter mordet på hans mor, Indira Gandhi. År 1986 befordrades Phillips till en ordinarie roll i ABC:s nyhetsmagasin 20/20. Från och med samma år tjänstgjorde han också som vikarierande värd för Good Morning America och sportankare för ABC:s World News Sunday.
Phillips avslutade sitt tolvåriga förhållande med ABC 1992 och gick över till NBC News för att vara medankare tillsammans med Jane Pauley på Dateline NBC. Under sin tid på NBC News var Phillips också värd för Weekend Magazine with Stone Phillips. Han genomförde en lång rad anmärkningsvärda intervjuer under sin tid på NBC. Bland dem fanns den första nätverksintervjun med Lynndie England, soldaten från den amerikanska armén, om hennes roll i Abu Ghraib-fängelseskandalen. Andra var den ökände seriemördaren Jeffrey Dahmer, Rysslands president Boris Jeltsin och Bernhard Goetz (en man som sköt fyra svarta tonåringar i New Yorks tunnelbana). Det sistnämnda gav Phillips en Emmy Award för en enastående intervju. Phillips var medansvarig för Dateline NBC från starten till den 2 juli 2007, då NBC inte förnyade hans kontrakt på 7 miljoner dollar.
Den 17 oktober 2005 var Phillips gäst i premiäravsnittet av The Colbert Report. Phillips leverans var en del av inspirationen till komikern Stephen Colberts persona i The Daily Show with Jon Stewart. Den 18 december 2014 skulle Phillips återigen dyka upp i det sista avsnittet av The Colbert Report.
Från och med 2012 bidrog Phillips med rapporter till PBS NewsHour. Under 2013 rapporterade han om vattenanvändning på golfbanor för The Golf Channel.
I maj 2013 producerade och var Phillips värd för Moving with Grace, en dokumentär som sänds på PBS-stationer och som beskriver hans och hans syskons ansträngningar att ta hand om sina åldrande föräldrar. Den utforskade också olika problem som andra baby boomers i liknande situation ställs inför.