我这个月经过中介撮合和人签订了一份二手房协议,签完后买方天天都有要求,还迟迟不打款,最后在我的再三催促无果的情况下,我不想买了,谁知他们在第二天把首付打入我帐号,顺便给了我500违约金,合同约定的一天100,可我真的不想卖了我应当怎么办。