ヘッドホンアンプの自作、改造スレ part8

ちょっとボリュームについて質問なのですが
Muvo2のヘッドフォン端子→50ｋミニデテント→Cmoy→ヘッドフォン
と繋いでるのだがアンプ側のボリュームで音量を調整すると

小→-----------------------------------→大
　　　↑　　　　　　　　　　　　⇔　　　　　　　　　　↑　　
音が鳴る　　　　　最初の音量と一定　　　　突然大きくなる　

てな具合であんまりボリュームの意味をなしてない
プレイヤー自体のボリュームで音量を調整すればちゃんと段階的に変化する

ボリュームが壊れてる感じもないし
ちゃんと段階的に音量を調整できるようにするにはどうしたらいいでしょうか？