农村2004年两家互换了土地,由于另一家己无能力更种土地,就由他儿子更种,他儿子要强行要回和他父亲换的地,请问这样合法吗,怕发生纠纷,已和他父亲补办了互换协议,村里干部并签字,画了押,请问我有法律依据不返他吗?