事情是这样的:我所住的房子是通过中间人租的,而没有通过房东,我所租的房子也没有和中间人签订房屋租赁合同,因为之前是熟人,在这期间发生了矛盾,中间人要求我搬出房子,我的房子还没到期,并说把我剩下的房租退还与我,如果不搬就把东西扔出去,中间人有没有这个权利?像这种以第二种方式转赁给其他人,是不是违反了房屋租赁合同法?