Después de graduarse en Yale, Phillips se trasladó a Atlanta, Georgia, donde trabajó como profesor de refuerzo de lectura y matemáticas en el Centro de Detención Juvenil del Condado de Fulton. Se complementaba su sueldo con el pluriempleo como camarero cuando consiguió un puesto de periodista en WXIA-TV, la filial local de la NBC. En 1980, tras menos de dos años como reportero, redactor y productor de televisión en Atlanta, Phillips fue contratado por ABC News como redactor de la oficina de noticias de Washington, D.C. En 1982, empezó a presentar reportajes como corresponsal de ABC, cubriendo acontecimientos importantes como la guerra del Líbano, el éxodo de los boat people vietnamitas a mediados de la década de 1980 y la campaña electoral de Rajiv Gandhi tras el asesinato de su madre, Indira Gandhi. En 1986, Phillips fue ascendido a un puesto fijo en el informativo 20/20 de la ABC. A partir de ese año, también fue presentador suplente en Good Morning America y presentador de deportes en el programa World News Sunday de la ABC.
Phillips puso fin a su relación de doce años con la ABC en 1992, incorporándose a NBC News para ser copresentador con Jane Pauley en Dateline NBC. Durante su estancia en NBC News, Phillips también presentó Weekend Magazine with Stone Phillips. Realizó una larga lista de entrevistas notables durante su estancia en la NBC. Entre ellas, la primera entrevista de la cadena con Lynndie England, la soldado del ejército estadounidense, sobre su papel en el escándalo de la prisión de Abu Ghraib. Otras fueron el famoso asesino en serie Jeffrey Dahmer, el presidente ruso Boris Yeltsin y Bernhard Goetz (un hombre que disparó a cuatro adolescentes negros en el metro de Nueva York). Este último le valió a Phillips un premio Emmy a la mejor entrevista. Phillips fue copresentador de Dateline NBC desde su creación hasta el 2 de julio de 2007, cuando la NBC no renovó su contrato de 7 millones de dólares.
El 17 de octubre de 2005, Phillips fue el invitado en el episodio de estreno de The Colbert Report. La entrega de Phillips fue parte de la inspiración para el personaje del comediante Stephen Colbert en The Daily Show con Jon Stewart. El 18 de diciembre de 2014, Phillips volvería a aparecer en el último episodio de The Colbert Report.
A partir de 2012, Phillips contribuyó con reportajes al PBS NewsHour. En 2013, hizo un reportaje sobre el uso del agua en los campos de golf para The Golf Channel.
En mayo de 2013, Phillips produjo y presentó Moving with Grace, un documental que se emite en las emisoras de PBS y que relata sus esfuerzos y los de sus hermanos para cuidar a sus padres ancianos. También explora varios problemas a los que se enfrentan otros baby boomers en circunstancias similares.