陰口を聞いてしまった

30歳(店年齢は26歳)、集団待機のピンサロ勤務です
この仕事に限らず私はなるべく学生時代のバイトの頃から周りとは距離感を保って必要以上にプライベートな話をしないようにしてきました。もちろん挨拶はしっかりします。

風俗に足を踏み入れてからもそんな感じで、今のお店でもそんな風にしていたらある日、接客が終わったらほかの女の子たちが私の事を話してるのが聞こえてしまいました
「あの人全然輪に入ってこないよね〜」
「なにさま！？って感じ。ずーっとスマホいじりか本読んでて気取っててさあ」
「ネットに悪口書き込んだりしてんじゃね？」
「裏でなにしてるかわかったもんじゃないよね」

正直、話さないだけでこんなこと言われたの初めてでかなりショックでした。挨拶はしてるのに会話しないだけでここまで言われる筋合いはないかと

元々待機場ではその場にいない女の子達はもちろん、とっくに辞めた女の子の悪口もザラだしそんなの聞きたくも話したくもないし、親しい友達でもないのにペラペラと旦那さんや子供の話、昼職の話も苦痛だし、余計な詮索したりされたりも嫌なので私は無言を貫いてただけなのですが、今さら会話の輪に入ったり、お菓子の差し入れなんかしても逆に
「何か企んでる」
「裏があるはず」
「いきなりなんなの？」
って思われるのは目に見えてます。けど、空気を悪くしないためにも積極的にコミュニケーション取った方がいいのか、このままの距離感を保つべきか気の持ちようが分からなくなっています…
同じような体験をした方がいらしたら、乗り越え方を教えてくれたらなと思います。