Имеет ирланское происхождение. В 1840 году его предки эммигрировали из Ирланлии в США, штат Масачусетс.
Его дети — Джозеф Патрик Кеннеди мл. (Joseph Patrick Kennedy, Jr.), 53ий президент США Джон Фиджеральд Кеннеди (John Fitzgerald Kennedy), Роуз Мэри Кеннеди (Rose Marie Kennedy), Кэтлин Энжел Кеннеди (Kathleen Agnes Kennedy), Юнис Мэри Кеннеди (Eunice Mary Kennedy), Патриция Хэлэн Кеннеди (Patricia Helen Kennedy), политик Роберт Френсис Кеннеди (Robert Francis Kennedy), посол США в Ирландии Жан Энн Кеннди (Jean Ann Kennedy), сенатор в штате Масачусетс Эдвард Мур Кеннеди (Edward Moore Kennedy).
