Tony Joe White a commencé sa carrière musicale au Texas. Il enregistre son premier album "Black and White" en 1969. Sa chanson "Polk Salad Annie", qu'il a composée lui-même, connaît un succès immédiat, qui devient vite international. Ce titre sera repris plus tard par Elvis Presley.
Ses disques popularisent le « swamp rock », un style musical qui mélange le rock et la tradition louisianaise.
Il a écrit pour Brook Benton Rainy "Night in Georgia", qui en a fait un succès. Il a également composé pour de nombreux autres artistes (Tina Turner).
Tony Joe White s'est produit en France à Magny-Cours (Nièvre) le 14 juillet 2006. Il a fait une tournée en France en 2008. On a pu ainsi l'entendre et le voir à Abbeville le 21 mars, à Paris, à l'Olympia, le 24 mars, à Massy le 27 mars, à Saint-Étienne le 28 mars, à Arles le 29 mars, à Compiègne le 30 mars, et de nouveau à Paris, au Bataclan, le 11 avril.