У Бриннера трое родных детей и двое усыновлённых. От первого брака — сын Юл Бриннер II (23 -12 — 1946), отец называл его Рок, он историк и писатель. От второго брака — дочь Виктория Бриннер (ноября 1962), её крёстная актриса Одри Хепберн. Есть внебрачная дочь Ларк Бриннер (1958). От третьего брака — две приёмные дочери, Миа (1974) и Мелоди (1975).
Его дедом был выходец из Швейцарии, в 16 лет бежавший из дома в поисках приключений — Жюль Бринер.
Юл родился под именем Юлий Борисович Бринер (позже к фамилии была добавлена вторая «н»).
Окончил Сорбонну (отделение философии). С 1940 года в США, куда приехал в составе труппы Михаила Чехова.
Был певцом в цыганском ансамбле в Париже, затем акробатом и воздушным гимнастом в цирке. Из-за полученной во время выступления травмы был вынужден бросить цирк.