2017年5月15日通过中介与卖方签订卖房合同,5月底双方就去银行面签,申请了贷款,可是卖方一直拖到8月10号才说他不卖了,想问一下,卖方会不会按照合同上面写的赔房款的20%的违约金?中介收的贷款佣金会不会退还给我们?