Его отец — актёр Лоуренс Оливье (Laurence Olivier), его мать — актриса Джилл Эсмонд (Jill Esmond).
Есть сводные брат режиссёр, сценарист Ричард Керр Оливье (Richard Kerr Olivier), и сёстры — актрисаТамсин Агнес Маргарет Оливье (Tamsin Agnes Margaret Olivier) и актриса Джули-Кейт Оливье (Julie-Kate Olivier).
