Родители Руфуса, Уилльям — аниматор и Джо — артистка и официантка, развелись, когда ребенку было 5 лет. А через 5 лет умер его отец.
У Руфуса австралийские и валлийские корни.
Полное имя — Руфус Фредерик Сьюэлл (Rufus Frederik Sewell).
Есть сын — Уилльям Дуглас (родился 18 марта 2002 г.)