签署男到女家落户协议之后,女方死亡,男方不履行赡养义务,按照协议,男方需要照顾老人衣食住行,生养死葬,百年之后继承老人财产,现在老人得了癌症,男方不闻不问,咨询律师,说是男方在女方家已经分有农村土地,而且有户口,要想解除关系是不现实的,请问这样的情况还能解除这个协议的双方关系吗?