我买一套房子,合同上写所交易日期到8月31日,今天9月6日了,向银行申请贷款,同贷书还没出,给了26万首付业主,业主要求把首付退给我,只退回20万,说合同期过了,房子不卖给我,也不跟我去过户,6万元就这样没了,请问我可以追讨吗?