我与他闪婚后随他离开自己的家乡到南京在同一个单位打工,但渐渐的我发现他的神经有点问题,每天要钱,整天找事,打架,对 公司影响很坏,经他家人调解,现我一把他的工资卡还给了他,个人挣钱个人花,他对我们的婚姻不付一分钱的责任,我想离婚,但又怕他讹我,我该怎么办?