我从9岁父亲去世,母亲和同村的一男子搭伙过日子,未领结婚证,总是找母亲事吵架,吵了20几年,我孩子上学需要母亲接送,他也要过来,我和我爱人也没意见,可是他来了后还是总找事,还给我爱人找事吵架,弄得家里生活环境超级差,天天生活在这种环境严重不利于孩子的成长,我目前房子是两居室,孩子现在7岁了,需要分房间住,我也没有说不管他,想给他和母亲出去租房住改善一下目前这种生活环境,他不同意,不管怎么说就是不同意,请问我该怎么办?