В 2007 журнал «People Magazine» включил его в список «100 самых красивых людей».
У него была возможность изучать медицину в Мельбурнском Университете, но он отказался ради актерской карьеры.
23 декабря 2006 Спенсер обручился с Дженнифер Моррисон, партнером по сериалу «Доктор Хаус» (2004−2012), после того как сделал ей предложение в Париже, однако в августе 2007-го пара заявила об отмене их помолвки.
С десяти лет Спенсер играл на скрипке, также он играет на гитаре и пианино.
В 2010 году снялся в клипе «Say goodbye» певицы и актрисы Кэтрин Макфи.