Jak mam od niego odejść?

Postanowiłam w końcu napisać na tym forum, bo jestem w totalnej rozsypce psychicznej. Mam faceta, który jest ode mnie dużo starszy (20 lat). Poznaliśmy się w pracy, na początku miał to być tylko niezobowiązujący flirt, bo zdawałam sobie sprawę, że taki związek nie ma żadnych szans na przyszłość. On przebywał w toksycznym związku, był skrajnie nieszczęśliwy. Po miesiącu spotykania się On postanowił odejść od swojej ówczesnej partnerki i tak zaczął się "nasz związek". Niestety ma 5-letnią córkę (choć jak się okazuje nie jest to jego biologiczna córka), a jego była partnerka nadal nie daje nam żyć. Ciągle stara się nas rozdzielić, twierdzi, że jest to sytuacja przejściowa i "on kiedyś i tak do niej wróci". Na dodatek mocno wykorzystuje jego zależność psychiczną w stosunku do kilkuletniej dziewczynki. Używając dziecka mocno nami manipuluje (wyżywa się na dziecku i mówi "jeśli chcesz, bym była dla niej lepszą matką to wróć do nas, tylko wtedy odzyskamy normalność", ciągle podrzuca mu dziecko i zabrania mi się z nią spotykać - do tego stopnia, że teraz wyjechała na 2-tygodniowe wakacje i zostawiła mu dziecko nie znosząc żadnego sprzeciwu). Sytuacja trwa już prawie rok, a ja coraz mniej to akceptuję. Boję się tego, że on nadal coś do niej czuje, dostrzegam między nimi kolosalne powiązania. Wiele razy o tym rozmawialiśmy i wiele razy chciałam od niego odejść, odciąć się od tej chorej sytuacji. Jednak za każdym razem do niego wracam, nie potrafię wytrwać w swojej decyzji. Chciałabym z nim być, bo gdyby nie te ta cała jego przeszłość i osoby trzecie byłoby nam cudownie. Ale z drugiej strony mam wrażenie, że on zabija mnie psychicznie. Jaką podjąć decyzję? Co zrobić, by w niej wytrwać?