1、《婚姻法》第32条规定:“男女一方要求离婚的,可由有关部门进行调解或直接向人民法院提出离婚诉讼。”法律并未禁止与服刑人员离婚,你可以直接到法院起诉离婚。根据《中华人民共和国民事诉讼法》第二十三条、最高人民法院《关于适用〈中华人民共和国民事诉讼法〉若干问题的意见》第8条规定,对被监禁或被劳动教养的人提起的诉讼,原告没有被监禁或被劳动教养的,由原告住所地人民法院管辖。原告也被监禁或被劳动教养的,由被告原住所地人民法院管辖;被告被监禁或被劳动教养一年以上的,由被告被监禁地或被劳动教养地人民法院管辖。
2、《婚姻法》第32条第三款第五项规定“其他导致夫妻感情破裂的情形”在调解无效的情况下应准予离婚,《最高人民法院关于人民法院审理离婚案件如何认定夫妻感情确已破裂的若干具体意见》第11条规定“一方被依法判处长期徒刑,或其违法、犯罪行为严重伤害夫妻感情的。”属于夫妻感情破裂的情形之一,对方不同意也可以离婚。
3、最高院《关于人民法院审理离婚案件处理子女抚养问题的若干具体意见》规定:“人民法院审理离婚案件,对子女抚养问题,应当依照《中华人民共和国婚姻法》第二十九条、第三十条及有关法律规定,从有利于子女身心健康,保障子女的合法权益出发,结合父母双方的抚养能力和抚养条件等具体情况妥善解决。”你丈夫在监狱服刑,并无抚养条件,加上孩子为女性且年龄较小,由女方抚养的可能性较大。