4 ноября 2014 года у Роберта родилась дочь Эйври Роэль Дауни.
У отца Дауни наполовину литовско-еврейское происхождение, на четверть венгерско-еврейское и на четверть ирландское, а у матери — шотландское, немецкое и швейцарское происхождение.
В 2004 году Роберт выпустил альбом «The Futurist» с песнями собственного сочинения и исполнения, который заслужил тёплые отзывы критиков. Также он записал несколько песен для рождественского альбома «For Once In My Life» (вышел в 2007) совместно с Вондой Шепард.
На протяжении многих лет Дауни-младший практикует боевой стиль ушу Вин-Чунь.
Женился на первой жене, Деборе Фалконер, после 42-дневных отношений.