我单位为一小企业,因生产经营需要贷款,元旦前通过别人认识了李某,李某自称他和某银行行长熟,他能跑下来贷款,于是给了他6万元,他打了条子(写的是1月20日款贷不下来无息全额退还),但到目前为止贷款手续还没走,约定的日期马上到了,我们也不想让他办了,如果李某不退钱我给怎么办,如果他只答应退一半我该怎么办(说自己跑贷款花了一半)。