我于2006年9月生一女儿,于2012年生一男孩,妻子户口迁到男方处,娘家户口和男方户口不在一个县,妻子在生玩儿子后到她娘家做月子,在娘家所在地被当地计生委按流动人口罚款了,做完月子后回到男方家,可男方所在地计生委说不行,要再罚,请问这合法吗,我该如何处理。