我借了两万元给我的姨父盖房子,当时没有要他写借据,但当时有很多人在场,过了几个月,房子还没有盖完,我的姨父却突然发病身亡了,等到两年后,我向他的女儿要求还钱的时候,对方不还,我的姨父有三个女儿,大都24岁左右都没有结婚,对方说当事人死了,你找当事人,当时借钱的时候几个见证人,都是我姨父的人邻居,现在他们都不愿做证,她的几个女儿又不给我该怎么办呀。