我家的后面有2间小屋,想改成楼房,可是突然有人说,这里面有一间不是我们家的,是不能改的,那间是以前的主人家的,后来他们逃到香港,而且小屋曾经倒塌过,是我们家重新盖起来的,以后才可以住的,时过60年多了,想请教专业的人士,请问香港人还有权利拿回这土地和房屋吗?