不倫のセックスは何故淫乱になるの？４

こんばんは。２８歳の会社員です。僕は結婚しているのですが、妻が僕と結婚する前に、妻子ある男と社内不倫していたのです。
その不倫相手は僕も知っており（上司でした）、僕と付き合いながら不倫を続けていたようです。
僕も不倫しているのは、知っていましたが、その後僕は退職してしまい、現在妻だけが残っています。
疑いを持ったまま、現在結婚しましたが、妻の帰りが遅かったり、休日出勤や飲み会等があると心配になります。何故心配になるかと言うと、以前（結婚する前）友人と飲みに行って、妻が一人暮らししていたマンションに友人を連れて来ていました。