Дом был построен по заказу жены дворянина Варвары Копыловой. Через 14 лет Тверская городская управа управилась с ним по-своему – выкупила здание за 20 000 рублей, завещанных купцом Василием Аваевым. Так возникла «Аваевская богадельня», где за счет государства и меценатов содержалось около ста сирот, престарелых людей и инвалидов.
Сразу после революции стариков и сирот выгнали из замка и сделали в нем склад. Во времена НЭПа здесь был кабак «с нумерами», по слухам того времени, больше известный в качестве публичного дома. Потом опять склад. С 50-х по 70-е годы в доме в так называемых «кооперативных» квартирах без особых удобств жили люди. Здание ветшало и разрушалось. С башенки замка сняли сгнивший шатер, отчего сходство с крымским «Ласточкиным гнездом» только усилилось.
В последние лет двадцать уникальный дом, признанный памятником архитектуры, несколько раз переходил из рук в руки. Его перекупали друг у друга известные тверские предприниматели, включая одного из губернаторов. Но то ли объем реставрационных работ пугал новых хозяев замка, то ли закон об охране памятников исторического наследия был строже нынешнего… В общем, собственники менялись очень часто.
