Nachdem Motown seine Hitsville-Studios in Detroit aufgelöst hatte, wollte Gaye dem Label zunächst nicht nach Los Angeles folgen, aber er konnte der Aussicht, in Hollywood zu arbeiten, nicht widerstehen. So zog er 1973 endgültig nach L.A.. Auf Trouble Man zeigte Gaye seine Fähigkeiten als Komponist im Jazz und Blues sowie als Soul-Aushängeschild.