В 1940 Оливье женился на актрисе Вивьен Ли. Они часто играли в одних спектаклях и снялись в фильме «Леди Гамильтон».
Его отец, Жерар Керр Оливье, был английским священником, его мать, Агнес-Луис Оливье, умерла когда Лоуренсу было 12 лет.
Карьеру начинал в качестве актера театра.
Полное имя — барон Лоуренс Керр Оливье.
В 17 лет бросил занятия в Оксфорде и поступил в Школу дикции и драмы Элси Фогерти.