Происходил из знатного дворянского рода.
Отец операторов Йенса Фишера (род. 1946) и Петера Фишера (род. 1942).
Супруга Гуннара Фишера, и мать его двоих сыновей, Гулль Седерблум (1912−2005) была младшей сестрой шведского актера Аке Сёдерблума (1910−1965). С Гуннаром Фишером они прожили в браке 67 лет.
Полное имя — Эрлинг Гуннар Эмиль Фишер.
Гуннар Фишер учился на художника в Копенгагене, но бросил это занятие и ушел в торговый флот шеф-поваром.