我的父亲在五六十年代时同邻村村民自愿交换了自留土,由于那个时候缺少法律意意识,没有签订任何书面依据,现在经济发展了这块自留土有了一定的经济价值,现邻村村干部借故说是这块土地在他村的地界上土地要收回,来方便他家修建房屋.因为2004年底我的父亲病故,现在也成了死无对证,即便有的村民知道实情碍于他家的权势也不敢出来作证,而且这位村支书还煸动部份村民到我家闹事,且损坏了我家的农作物.
请问这种行为是否合法,他是否有权利收回这块土地,我们将如何保护合法权益