Его родители — известный политик Джозеф Патрик Кеннеди ст. (Joseph Patrick Kennedy, Sr.) и Роуз Элизабет Кеннеди (Rose Elizabeth Kennedy).
У него восемь братьев и сестёр — Джозеф Патрик Кеннеди мл. (Joseph Patrick Kennedy, Jr.), 53ий президент США Джон Фиджеральд Кеннеди (John Fitzgerald Kennedy), Роуз Мэри Кеннеди (Rose Marie Kennedy), Кэтлин Энжел Кеннеди (Kathleen Agnes Kennedy), Юнис Мэри Кеннеди (Eunice Mary Kennedy), Патриция Хэлэн Кеннеди (Patricia Helen Kennedy), политик Роберт Френсис Кеннеди (Robert Francis Kennedy), посол США в Ирландии Жан Энн Кеннди (Jean Ann Kennedy).
