Военной коллегией Верховного Суда СССР он был приговорён к высшей мере наказания и был расстрелян 27 января 1940 года.
15 мая 1939 Бабель был арестован на даче в Переделкино по обвинению в «антисоветской заговорщической террористической деятельности» и шпионаже (дело № 419). При аресте у него изъяли несколько рукописей, которые оказались навсегда утраченными (15 папок, 11 записных книжек, 7 блокнотов с записями). На допросах Бабеля подвергали пыткам, его вынудили признать связь с троцкистами, а также их тлетворное влияние на его творчество.