【人生】誰かがあなたの悩みに答えます【相談】

22歳 男です。
昔から女性と会話すること、女性と仲良くなることが大の苦手です。
小学校の時は何故か話せてましたが
中学〜現在に至るまで女性が苦手で仕方ありません。
そのため、高1から携帯電話を持ち始めましたが
当然、現在までのアドレス帳の中身は同性だけで、女性は１人もいません。
同性ならけっこう幅広く仲良くなれるのですが
女性相手だとダメダメです。
女性でも、40代とか50代とかなら普通に話せるのですが
女子中？〜30代は無理です。
何を話せば良いのかも、どう話しかければいいのかもわからないし
自分なんかが話しかけていいのかなぁとか思ってしまってるんだと思います。
若い女性とは本当は関わりたいけど、実際になると女性から逃げたくて仕方ないです。
また、この性格に追い討ちをかけるように、高校時代にちょっとしたことから
ある女子に嫌われてしまい、その女子から友達の女子へと悪い噂が広まり
気づけば同学年の女子ほぼ全員から嫌われ、毎日悪口を言われる高校生活でした…
これで、また女性に話しかけることに躊躇う気持ちに輪をかけた感じです。
女の子はもちろん大好きですが、この性格は何とかしなければと思うのですが
どうすればいいでしょうか(´・ω・)？
アドバイスなどあればお願いします、長文すいません。