两方已离婚半年了,4岁半女儿一岀生就跟着我,甚至分居女儿都是跟着我,但经法院调解后,我才同意女儿跟他,他不用我给抚养费,但我没想到半个月,他又带女儿来给我了,我叫他给钱来养女儿,拿户口本来给女儿读书,他又不肯给,女儿在我这已经半年了,他都不问不理,现在我想变更抚养权,我应该怎样做,才能拿回抚养权,一般会判给谁?