結婚式の子連れ参加について

義弟の結婚式が10月にあって、親族として出席するのだけれど
うちの息子はまだほんの赤ん坊…
絶対泣いたり、大声出すに決まっているから
「私と息子は欠席or息子は実家に預ける」と言ったら
甥っ子命の義弟は「叔父の結婚式に甥っ子が出ないなんて！」とか言うし。
「騒いだら迷惑でしょ」と言っても「可愛いからいいんだ！」とか言うし…
義弟はよくても、新婦さんとその親御さんに失礼だよねえ。
どうすればいいんでしょ。