Вдова Энтони — Берри Беренсон (Berry Berenson) — погибла во время террористических актов 11.09.2001 года, она была пассажиром самолета рейса AAL11 авиакомпании «American Airlines» из Бостона в Лос-Анджелес, который первым врезался в северную башню Всемирного торгового центра в Нью-Йорке.
Отец Осгуда Перкинса и Элвиса Перкинса.
У Энтони в браке с американской актрисой, моделью и фотографом Берри Беренсон (Berry Berenson) родились два сына: актер Оз Перкинс (Oz Perkins) 02.02.1974 года и музыкант Элвис Перкинс (Elvis Perkins) 09.02.1976 года.
Энтони окончил частную начальную школу Buckingham Browne & Nichols в Кембридже (Массачусетс), частную среднюю школу-интернат Brooks School в Норт-Андовере (Массачусетс), частный Колумбийский университет в Нью-Йорке, учился в частном Колледже Роллинс в Уинтер Парке (Флорида).
Энтони родился в семье Джанет Эсселстин (Janet Esselstyn) и Осгуда Перкинс (Osgood Perkins), единственный ребенок в семье. Отец — известнейший кино и бродвейский актер, умер, когда Энтони было пять лет. Его прадед по отцовской линии — известный американский гравер по дереву Эндрю Варик Стаут Энтони (Andrew Varick Stout Anthony).