在淘宝上买了个浴桶,前提是免邮,然后在旺旺聊天中对方补充了一句货到物流通知取货!当时没有在意,认为只要是同一个区的无所谓,后来对方一直没有发货,我就用手机淘宝催了对方,后来没见回复,就睡觉去了,等我再次上淘宝看货到哪里的时候,看见他回我消息中说货到宝山区之后自己取货,我就不知所措了!协商之后对方说我自己不好,不肯退货!请问这个责任真在我这里吗?我有办法维权吗?