夫が名前を間違えて呼んで・・・・

子どもアリの４０代夫婦です。結婚１０年目です。
今までそれなりに平穏に、やってきたつもりでしたが
ここ半年くらい、うわの空だったり、私を見る目が違ったり
様子がおかしいので、仕事で平日は毎日帰宅が夜中２時３時で
疲れからきているのかと　たまには夫婦でブランチでもと
出かけた車中で　何気ない会話の中、私のなまえを間違えて
呼んだのです。（私が佐和子だとしたら由香里とかって感じで）
私は聞かなかったものとその場は黙っていようかと思いましたが
夫はごまかそうとすぐばれる言い訳をしてきたので、掘り下げる
ことにしました。何でもここ一ヶ月くらいで知り合った飲み屋の女性で
年齢な同じく４０代で既婚者で夫からDｖを受けていてそのことで
店が終わってから喫茶店で相談にのったりしていると、肉体関係が
あるわけではないけれど、話しているだけで安らげて魅力を感じていて
好きといえばそうかもしれないと言うのです。
半年くらい前からおかしかったので一ヶ月ではなく半年前に知り合ったでしょ
と尋ねると一ヶ月だと言いますが、喫茶店で話をするだけの飲み屋の女性を
呼び捨てで呼ぶでしょうか？
問題は肉体関係の有無ではなく、私は知ってしまった以上はお店にはもう
行って欲しくないし、それだけでは安心できないから、女性に連絡をして私から、
もう会わない欲しいと言いたいと　そうしないと平日の夜中に帰宅するたびに
疑ってしまうし苦しいとお願いすると　ゴメンそれはできない、彼女に
これ以上負担はかけられないし、今　彼女の存在がなくなったら気が狂うと
思う。もしどうしてもと言うのなら別れて欲しいと言うのです。肉体関係は最後まで
否定してました。絶対にないし、もしかしたら夫の一方的な思いだと・・
驚きました。ショックでした。確かに出会ったころの男女の愛情的なものは
薄れ、家族愛に変わってきていたかもしれませんが、喧嘩は三ヶ月に一回
夫婦生活は月１．２回と少なくなっていましたが子どもありの普通の夫婦と
思っていたのに　私の愛情が感じられないしSEXもつきあってあげています的な
感じが見え見えで子どもはかわいいけれど　たまに家族で過ごすのも辛いときが
あると・・・驚きました　本当にショックで涙が止まりませんでした。
離婚はできればしたくないです。夫の気持ちを取り戻したいというか、はじめての
夫婦の危機をどう乗り越えれはよいでしょうか？アドバイスいただけたら
幸いです。