男方出轨和女方已经协议离婚,小孩抚养权归女方,男方净身出户,房子过给小孩,房贷由男方继续还,男方每月给小孩抚养费,小孩平时由男方父母照顾,在男方父母家附近上幼儿园,周末才接走,现在女方仍想小孩继续在男方父母这边上幼儿园,并计划小学也在这边读,她和男方一个星期轮流来接一次小孩,男方出于愧疚答应了女方的要求,请问男方父母有权提出不再照顾小孩,要求女方把小孩接走,让她履行抚养权吗?如果女方不同意该怎么办?