我于2013年12月将大武口的一套住房出售给对方,因为当时房子尚未交工,说好交工后由对方缴纳房款,我只收户头费4万元(单位分房),并与对方签订了合同。
对方当时给了我1万元,并说因存折未到期,剩下的3万于2014年2月给清(合同上也注明)。
2月份因房子未交工,我也没有催要,5月份房子交工后我通知对方,对方却说房子不要了。
现在对方要求退还1万元,我没有答应,对方说要到法院去解决。
请问我不退还那1万元是否合法?