У Филлис Диллер было шестеро детей от первого брака с Шервудом Андерсоном Диллер: сын Питер Диллер (род.1940-ум.1998 от рака), дочь Салли Диллер (род.1944), сын (род.1945-ум.1945 в 2-х недельном возрасте), дочь Сюзанна Диллер (род.1946), дочь Стефани Диллер (род.1948-ум.2002 от инсульта) и сын Перри Диллер (род.1950).