您好,我买本村村民平房五间已经七年了,我有两个儿子,大儿子户口不在家,小儿子户口在家已经结婚,在我名下还有一处房产,现在卖方想要回两间,但这五间房子没有过户,税我已经交纳,当时买的时候也办了房屋买卖契约,当时卖房的妻子没签字,现在对方已经起诉,我想问问对方能要回去吗?