Após graduar-se de Yale, Phillips mudou-se para Atlanta, Geórgia, onde trabalhou como professor de leitura e matemática no Fulton County Juvenile Detention Center. Ele estava complementando seu salário com o trabalho de garçom como garçom quando ele conseguiu uma vaga para a WXIA-TV, a afiliada local da NBC. Em 1980, depois de menos de dois anos como repórter, escritor e produtor de televisão em Atlanta, a Phillips foi contratada pela ABC News como editor de missão para sua agência de notícias de Washington, D.C. Em 1982, ele começou a arquivar histórias como correspondente no ar para a ABC, cobrindo eventos tão importantes como a guerra no Líbano, o êxodo dos barcos vietnamitas em meados dos anos 80, e a campanha eleitoral de Rajiv Gandhi após o assassinato de sua mãe, Indira Gandhi. Em 1986, Phillips foi promovido a um papel regular na revista ABC 20/20. A partir desse ano, ele também serviu como apresentador substituto no Good Morning America e âncora esportiva do ABC’s World News Sunday.
Phillips terminou seu relacionamento de doze anos com o ABC em 1992, juntando-se à NBC News para servir como co-âncora com Jane Pauley no Dateline NBC. Enquanto estava na NBC News, Phillips também hospedou a Weekend Magazine com Stone Phillips. Ele conduziu uma longa lista de entrevistas notáveis durante seu tempo com a NBC. Entre elas estava a primeira entrevista da rede com Lynndie England, a soldado do Exército dos EUA, sobre seu papel no escândalo da prisão de Abu Ghraib. Outras incluem o notório assassino em série Jeffrey Dahmer, o presidente russo Boris Yeltsin e Bernhard Goetz (um homem que matou quatro adolescentes negros no metrô da cidade de Nova York). Este último ganhou Phillips um prêmio Emmy por uma Entrevista Excepcional. Phillips co-anfitriou a Dateline NBC desde seu início até 2 de julho de 2007, quando a NBC não renovou seu contrato de US$ 7 milhões.
Em 17 de outubro de 2005, Phillips foi o convidado no episódio de estréia do The Colbert Report. A entrega de Phillips foi parte da inspiração para a persona do comediante Stephen Colbert no The Daily Show com Jon Stewart. Em 18 de dezembro de 2014, Phillips apareceria novamente no episódio final de The Colbert Report.
As de 2012, Phillips estava contribuindo com reportagens para a PBS NewsHour. Em 2013, ele relatou sobre o uso da água do campo de golfe para o The Golf Channel.
Em maio de 2013, Phillips produziu e hospedou Moving with Grace, um documentário exibido nas estações da PBS que relatou seus esforços e os de seus irmãos para cuidar de seus pais idosos. Também explorou várias questões enfrentadas por outros baby boomers em circunstâncias semelhantes.