Джеймс Дафф является открытым геем, осенью 2013 года он заключил брак с актером Филлипом П. Кином (Phillip P. Keene), они вместе более двадцати лет.
Настоящее имя — Дэрил Уэйн Роджерс (Daryl Wayne Rogers).
