2010年9月4日,我购买了一处平房,购买时甲方(卖方)女方不在,但回来后,也没说什么,三天前,我们商谈过户事宜,也都同意,但当我交完地税后,女方在过户时拒不签字,我与男方商量准备撤消合约,但对方只答应给我退回房款和一半的税款(地税我交的),我没同意,我想知道下一步该怎么办对我有益,我的损失最小?此合同有效吗?