Его отец — Рэй Уэст — состоял в «Партии черных пантер» и был одним из первых фотожурналистов-афроамериканцев в ежедневной газете The Atlanta Journal-Constitution.
В 10 лет он переехал с матерью в Китай. Канье легко выучил китайский язык, но по возвращении в США он его забыл.
В октябре 2021 года официально сменил имя на Йе (Ye), а также отказался от среднего имени Омари и фамилии.
Мать Канье — Донда Уэст, профессор английского языка в университете Clark Atlanta University, бывший декан факультета английского языка в государственном университете Чикаго (Chicago State University).
Когда ему было 3 года, его семья переехала в Чикаго, а вскоре его родители развелись.