我家出租1套房子,当时我公公签了4年合同,因与房客认识,没收押金,租金也低,口头双方承诺如市面房价上涨,那租金也上涨,合同上没有文字注明,现在房客拒绝上涨合理的租金,外加房屋漏水到楼下,我们决定终止合同,收回房屋,但是房客拒绝退房,耍无赖,请问,现在我们要怎么处理这个问题呢,谢谢。