Происходил из дворянского рода Толстых, известного с 1351 года. Черты деда Ильи Андреевича даны в «Войне и мире» добродушному, непрактичному старому графу Ростову. Сын Ильи Андреевича, Николай Ильич Толстой (1794–1837), был отцом Льва Николаевича. Некоторыми свойствами характера и фактами биографии он был похож на отца Николеньки в «Детстве» и «Отрочестве» и отчасти на Николая Ростова в «Войне и мире». Однако в реальной жизни Николай Ильич отличался от Николая Ростова не только хорошим образованием, но и убеждениями, которые не позволяли служить при Николае I.