彼氏もいる昼職先で広められた

ヘルスで働いています。
前のバイト先(昼職)に
とても仲のいい歳上の女の人がいました。
当時私はまだ夜職をしておらず、その世界に踏み出すか迷っていました。
その仲のいい女の方に相談したところ、その方の友達が昔、夜の仕事をしていたということで話を聞いてもらったりしていました。
実際に面接に行った、合格した等とは言っていません。
その昼職先で現在の彼氏とも出会いました。
彼氏は私が夜職をしていることを知っているし、認めてくれています。
ですが、最近彼氏の様子がおかしく、
電話をしてみると
彼の職場で私が風俗をしていることが広まっているようでした。
更に彼は職場内で「若い彼女を風俗で働かせて貢いでもらっている」と認識されており、彼はパートの奥様方から嫌悪の目で見られ、冷たい態度を取られているようです。
店長からも毎日のように嫌味を言われるそうです。
仲のいい同僚からも「そんな女……」というニュアンス的なことを言われたそうです。
わたしは自分の整形のために働いており
確かにたまに彼氏に援助することもありましたが
必ず後から返してもらい、貢いでいるという認識はありません。
私のせいで大切な彼を傷付けてしまったこと、本当に辛いです。
彼もバイトなので、今すぐにでも辞めて欲しいのですが
次の仕事が見つからない為、難しいようです。
この件もあり、私は夜の仕事を辞めるか考えています。
何より仲の良かった方に裏切られ、悪く言われてしまい心の整理がつかない状況です。
簡単に話してしまった私の責任ですが、、
皆さんならどうしますか？
また、このような理由で仕事を辞めるのは許されるのでしょうか？