Fat Joe was 19 toen de arts hen allemaal bij elkaar riep met slecht nieuws: zijn zoon Joey was geboren met het syndroom van Down, en hem opvoeden zou een grote uitdaging zijn.
In de podcast Club Shay Shay met Shannon Sharpe zei de rapper uit de Bronx dat hij, zijn ouders en de moeder van de baby allemaal in die kamer waren. Volgens hem zei zij dat ze het niet aankon en dat hij ter adoptie moest worden afgestaan. Zijn moeder overwoog dat niet eens, en daar kwam een zinnetje van vier woorden vandaan dat alles samenvat: “Wij hebben hem opgevoed”. Ze hebben hem opgevoed.
Fat Joe zegt dat hij Joey’s moeder nooit meer heeft gezien, dat ze “het kind in de steek liet” en dat hij de deur nooit voor haar heeft gesloten: ze kon haar zoon altijd zien. Joey is nu 33, heeft ook autisme en is de “Don” van het huis. “Hij doet wat hij wil en krijgt wat hij wil”, zegt zijn vader, die hem zijn grootste zegen noemt omdat ze hem nooit hebben opgegeven.