我们几个星期前去一家中介签了一份房屋买卖合同,合同里中介老板定了一个价格区域,但我们执意要下压价钱,中介的人就让我们先交2万意向金,并保证他们只是这样写但一定会帮我们去跟卖方谈帮我们下压价钱,但一天过后他们未经我们同意私自将意向金转成了定金,现在不肯退定金还让我们付给中介2%的中介费,我们有理由解除合同吗?是不是必须交违约金?