До того, как бабушка Сэма иммигрировала в США, их фамилия была Рейнгеверц.
Отец — Леонард Рональд Рэйми и мать — Селия Барбара Рэйми, были приверженцами Консервативной ветви иудаизма.
Полное имя режиссера — Сэмюэл Маршалл Рэйми.
Старшая сестра Рэйми Андреа работает юристом и не принимает участия в кинопроектах братьев.
Родился в консервативной еврейской семье выходцев из Венгрии и Российской Империи.