相手の奥さんから電話！

２８歳独身です。
会社の不倫相手（４６歳）とはもう３年。
今までは、ばれずにうまくやってたのだけど、
最近相手の奥様にばれたようで私のいない時に電話があったみたい。
別に、不倫相手とは結婚とか考えてないし、今のままの関係が楽しかったのに。。。
この関係を続けたまま、いざこざにも巻き込めれない良い方法ないですか？