相手の気持ちを即答します（男のみ）

ありがとうございます。
数日前、元上司に仕事の相談に行ったんですがそういう関係になってしまいました。
お互い新しい仕事を始めるにあたり、慣れない環境のせいで今回だけの事と初めから
思っていましたが、帰った直後に電話が来ていきなり「もうこういうのはやめてくれ、
お前の会社のヤツらも俺のところに相談に来たの知っててよく思ってないぞ」
というような事を言われました。ところが次の日聞くと私の会社の人は誰もそんな話知りませんでした。
そういう人じゃないと信じてたのに、ショックでここ数日寝れません。
取引先で働いているので、これから会うことがないとも言えないし、
まだどこかで尊敬できるいい人だと信じている気持ちもあって･･･。
今後絶対彼とは無理にでもさけて連絡取らないほうがいいんでしょうか？