継母（父）になってしまった人

私もまだ結婚してないんですけど…いいでしょうか？

41歳の人とつきあってる24歳です。大学生の頃から不倫の関係でした。
その後いったん別れましたが、今年の6月に2年ぶりくらいに彼から連絡があり、
離婚したと言われました。奥さんはずっとうつ病をわずらっており、
彼も大変苦労していました。以前から夫婦仲は壊れていました。
子供が高校生になったのをきっかけに、奥さんは実家に帰ったそうです。
一人息子は彼と二人で今までの家に住んでいます。

そして昨日、初めて3人で会いました。正直、軽くショックを受けました。
やはり母親の影響がもろに出てしまったなと思わずにはいられませんでした。
この家で母親をしていく自信がなくなりました。
彼はマリッジ・ブルーのようなものだと言いますが、
私はこのまま結婚しても幸せになれないような気がします。