Иван был вторым сыном в семье. Мать будущего писателя, Варвара Петровна, происходила из богатой дворянской семьи. Её брак с Сергеем Николаевичем не был счастливым. Отец умер в 1834 году, оставив троих сыновей — Николая, Ивана и рано умершего от эпилепсии Сергея. Мать была властной и деспотичной женщиной. Она сама рано лишилась отца, страдала от жестокого отношения своей матери (которую внук позднее изобразил в образе старухи в очерке «Смерть»), и от буйного, пьющего отчима, который нередко её бил. Из-за постоянных побоев и унижений она позже переехала к своему дяде, после смерти которого стала владелицей великолепного имения и 5000 душ
