我们家从别人手上买了套房子(农村自建房),有买卖合同,并且合同上注明房屋前后土地归我们所有,但这块土地是卖方从别人手上转换过来的,现在原土地的主人要建厂房,他说土地是他的,要把我们的房子拆了,请问该怎么处理?