客に今まで貢いだ金を返せと言われています。

こんにちは。以前(昨年の6月頃〜)に金銭面で苦しくなりデリヘルを始めたものになります。昨年の9月にはやめていたのですが、その中ですごく素敵なお客様だと思っていた人と出会ったことがきっかけです。店外で会うようなことはしませんでしたが店を辞めると伝えた時に交流や資金援助を続けたいと言って頂き、使ってない携帯のLINEを交換して店を辞めたあとも食事に行ったりドライブに行ったりしておりました。
店をやめて10月頃に家族間の問題で纏まったお金が必要になり、8万円ほど貸してほしいとLINEにてお願いをし、4万円位なら…と4万円を手渡しで頂いたのですが、貸し借りの話をお食事処でしたその際にこのお金はいつもより少し多めのお小遣いだから返さなくていい、いつか一緒にご飯でも行って奢ってくれたらそれでいいよ、と言って頂きました。(その後いつか返します！とLINEでお礼は伝えています💦)

私も一応お小遣いとはいえ大きな金額ですし返すつもりでいたのですが、その後なかなかお互いに会う機会がなくなり、唐突にお前のことが好きじゃなくなったからあの時のお金を返して欲しいと言われ始めました。もうお前のことなんて好きじゃない、あの時の金を返せ、と言われあまりの豹変さに怖くなり、返すから許してください、ごめんなさい等のLINEを送りました。でも冷静な頭で考えた時にあの時確実にあの人渡す時にお小遣いって言ってたよな…と疑問に思う瞬間が増え、これ返す必要あるのか…？となったのでご相談させて頂きました。他の方が言うには返して→返します、の話をしているなら貸し借りの話にもなりえるとも、相手が渡す時にお小遣いと言って渡しているなら口頭でもそれは事実だし貸し借りにはならないとも言われて困惑しています。

このような経験をしたことのある方いらっしゃいますでしょうか？
もしいましたら対処法等教えて頂きたいです。