我家的后面有2间小屋,想改成楼房,可是突然有人说,这里面有一间不是我们家的,是不能改的,那间是以前的主人家的,后来他们逃到香港,而且小屋曾经倒塌过,是我们家重新盖起来的,以后才可以住的,时过60年多了,请问到底那小屋该是谁的?