我们欲购买一套二手房,办理了公积金贷款初审后,由于房主的原因,交易无法进行下去,双方协商终止了交易,但我们开始就缴了近7万元的中介费,这种情况下,中介费是否应该返还一部分,(房屋交易只进行到公积金贷款初审,以后的流程都没走就终止了),但中介拒绝退还中介费。