У Тоби Стивенса есть трое детей от брака с Анной-Луизой Плауман: сын Эли Алистер Стивенс (род. в мае 2007), дочь Таллула Стивенс (род. в мае 2009) и дочь Кура (род. в сентябре 2010).
Родители Тоби — Мэгги Смит и Роберт Стивенс.
У него есть старший брат Крис Ларкин, тоже актер.