几年前我用属于我的房子跟别人交换(价值差不多),但是对方还要我再加一栋我现在住的房子交换,这明显的不平等,妻子不同意,我背着妻子跟他签了合同,内容是我用两处房子跟他交换,我现在住的这处房子,先让我住着,以后也归他,有两个见证人在场,请问这合同有法律效力吗?我现在住的房子可以不给他吗?