我和一个已婚男人两年前发生过关系,后来他老婆觉察了,掌握了一些求求和通话记录,我就和他分手了,前几天他突然和我说,他老婆这几年老拿这事说他,并以此为由老吵架,他现在想和他老婆离婚,提醒我小心他老婆找我闹,我该如何应对呢?