你好!是这样的,我家隔壁的房子因违章建造被社区居委会拆迁,在拆迁过程中我家的房子被损毁,当时我在外地出差,于是写了一份委托书委托我一个朋友帮我和居委会交涉赔偿事宜,但是半年过去我回来了他还没有处理妥当,现在我不想委托他想自己去办理,但是朋友却不肯把委托书交还给我,我该怎样才能撤销他的委托资格?谢谢。