Спектор родился в Бронксе в семье евреев, чьи предки эмигрировали в США из Российской империи.
В 2009 году был приговорён к заключению от 19 лет до пожизненного за убийство актрисы Ланы Кларксон. В 2012 году вышел телефильм «Фил Спектор», рассказывающий о взаимоотношениях Спектора и Кенни Баден — его адвоката.