2011年11月买了一套房,交了全款的50%,剩下的办理了贷款,但是没有按时办理贷款手续,到13年6月底承诺交房,但是晚交了一年半的房子,现在想申请退房,双方都有违约,这个应该怎么办,如果坚决退款,能拿回钱么?