Après avoir obtenu son diplôme à Yale, Phillips s’est installé à Atlanta, en Géorgie, où il a travaillé comme professeur de rattrapage en lecture et en mathématiques au centre de détention pour mineurs du comté de Fulton. Il complétait son salaire en travaillant au noir comme serveur lorsqu’il a décroché un poste de journaliste débutant à WXIA-TV, la chaîne locale affiliée à NBC. En 1980, après moins de deux ans en tant que reporter, rédacteur et producteur à Atlanta, Phillips a été embauché par ABC News en tant que rédacteur en chef pour son bureau d’information de Washington. En 1982, il a commencé à faire des reportages en tant que correspondant à l’antenne pour ABC, couvrant des événements majeurs tels que la guerre au Liban, l’exode des boat people vietnamiens au milieu des années 80 et la campagne électorale de Rajiv Gandhi après l’assassinat de sa mère, Indira Gandhi. En 1986, Phillips a été promu à un rôle régulier dans le magazine d’information 20/20 d’ABC. À partir de cette année-là, il a également été présentateur remplaçant sur Good Morning America et présentateur sportif pour World News Sunday d’ABC.
Phillips a mis fin à sa relation de douze ans avec ABC en 1992, rejoignant NBC News pour servir de co-présentateur avec Jane Pauley sur Dateline NBC. Pendant son séjour à NBC News, Phillips a également présenté Weekend Magazine with Stone Phillips. Il a réalisé une longue liste d’interviews remarquables pendant son séjour à NBC. Parmi elles, la première interview sur le réseau de Lynndie England, soldat de l’armée américaine, sur son rôle dans le scandale de la prison d’Abu Ghraib. D’autres interviews ont été réalisées avec le tueur en série notoire Jeffrey Dahmer, le président russe Boris Eltsine et Bernhard Goetz (un homme qui a abattu quatre adolescents noirs dans le métro de New York). Ce dernier a valu à Phillips un Emmy Award pour une interview exceptionnelle. Phillips a co-présenté Dateline NBC depuis sa création jusqu’au 2 juillet 2007, date à laquelle NBC n’a pas renouvelé son contrat de 7 millions de dollars.
Le 17 octobre 2005, Phillips était l’invité du premier épisode de The Colbert Report. La prestation de Phillips a en partie inspiré le personnage de l’humoriste Stephen Colbert dans The Daily Show with Jon Stewart. Le 18 décembre 2014, Phillips apparaissait à nouveau dans le dernier épisode de The Colbert Report.
À partir de 2012, Phillips a contribué à des reportages pour le PBS NewsHour. En 2013, il a fait un reportage sur l’utilisation de l’eau sur les terrains de golf pour The Golf Channel.
En mai 2013, Phillips a produit et animé Moving with Grace, un documentaire diffusé sur les stations PBS qui relatait ses efforts et ceux de ses frères et sœurs pour prendre soin de leurs parents vieillissants. Il a également exploré divers problèmes rencontrés par d’autres baby-boomers dans une circonstance similaire.