У Хлои была сестра, которая родилась задолго до её рождения, — Кэтлин Джанет Морец. Она умерла спустя два дня после рождения (1−2 февраля, 1988).
Хлоя имеет немецкие и английские корни.
Её старший брат, Тревор, тоже актёр.
Двое из четырёх братьев Хлои — гомосексуалы.
Всего у Хлои четыре брата.