Младший брат писателя и продюсера Херберта Сарджента.
Бабушка и дедушка Элвина Сарджента были русскими евреями-иммигрантами.
