職場での不倫

現在35歳、結婚して5年になり子供も居ますが、先日、初めて不倫をしてしまいました。
相手は職場のパートタイマーの独身女性です。
一年ほど前に入社し、私の管轄の部署で働いていたかたなのですが、部内の飲み会で
一緒になり、共通の趣味(音楽)の話題で意気投合し、私用のメールを交わすような仲になりました。
CDの貸し借りなどをしながら、仲良くなっていたのですが、ある日、また飲み会で、かなり酔った状態の
彼女から好きだと告白されました。
普段であれば聞き流してなかったことにしてしまうところなのですが、私のほうも彼女に引かれていた
部分があり、はっきりと断りきれず、結局その日に関係を持ってしまいました。
関係は現在も続いており、2週に1回は二人きりで会っています。
妻には仕事で遅くなっていることにしています。普段から深夜になることが多いので疑っていない様子です。
でもやはり、後悔でいっぱいです。
もしバレて、離婚になるようなことになれば、この先わたしはやっていけないと思います。
家族とは非常に仲良くやっているのです。こどももかわいくて仕方ありません。
彼女は別に割り切った関係でいい、と言っていますが、一刻もはやく別れなければと思いつつ、
なかなか踏み切れない状態です。