你好,男方和女方离婚后,男方答应净身出户,(离婚协议书上写有)但一直以来他都不肯将房产证上自己的名字撤销,女方不想将事情闹大,也懒得管,时间长了,房子会再次属于男方吗?法律会不会因为女方没有在一定的年限内要求男方撤销名字而将房子再次判男方有份。