我曾欲从一个单位调离，被勒索10万元，请了一个律师，是别人介绍的，在县城，他还在劳动部门工作，说是非常熟悉相关的法规。第一次过去，他说要5000元，另加交通费500元，我说考虑一下，后来想自己联系人事处，没有联系上，加之想到新单位上班，还是找他办理了委托书，写的是先调解，调解费3000元，加交了500元交通费，说是如果调解不成，可以转入仲裁阶段，2000元。委托后，该律师除了发律师函与我联系过外，之后一直未与我主动联系，而且将我的调档函丢给原单位了。我联系过一次，说是调解了一个小时，让我发信给人事处，不行就仲裁。我申明了不仲裁(其实对他的责任心有疑问)。他说这律师代理费是不能退的。现在我该怎么办？如何再与律师联系？
查找当地律师协会的电话，进行举报，律师协会可以吊销其律师资格证。还可以直接进行民事诉讼，告律师。