Отец Энди, Скотт Фишер (Scott Fischer), погиб в трагедии на Джомолунгме в мае 1996 года, в которой кроме него погибли еще семь альпинистов.
Энди родился в семье американского альпиниста и гида Скотта Фишера (Scott Fischer) и Джинни Прайс (Jeannie Price), у него есть родная сестра Кэти Роуз Фишер (Katie Rose Fischer).