我与前夫在2010年10月在民政局协议离婚,小孩由他抚养,我每月给小孩500元生活费,现在他对小孩不闻不问,平时小孩寄宿老师家里,礼拜天就把小孩送到我娘家,他对小孩的生活起居疏于照顾,现在我想要回小孩的抚养权,问我该怎么要回。