Василий Дмитриевич и его сестра-близнец Вера были первыми детьми в многодетной семье. Отец еще тогда будущего художника Дмитрий Васильевич Поленов, приходился сыном академика русской словесности Василия Алексеевича Поленова, внук Алексея Яковлевича Поленова. .