Порядок встреч с ребёнком

Добрый день! Есть ребёнок. С его отцом не были расписаны. Ребёнок официально им признан и носит его имя и фамилию. Проживали 5 лет вместе. В прошлом году разъехались. Отношения сложные. Сын проживает со мной. В январе этого года, в результате долгих обсуждений удалось устно договориться о порядке встреч с ребёнком, об алиментных обязательствах и соблюдении личных границ. Выходные разделили, в будни 1 день, 3 раза возит на тренировку. Звонки не позднее 21.00.У него ребёнок ложится по режиму и без гостей в ночное время. О встречах с сыном предупреждает заранее. Без звонка не приезжает. Бабушка может приезжать каждый день и гулять на площадке в поле видимости. Не брать к себе. (осенью занималась самолечением внука, вызывали скорую. Больше ей не доверяю.) Также была договорённость подтвердить это не позднее середины февраля в виде соглашения заверенного нотариусом. Отец стал нарушать договорённости, отказывается от подписания соглашения. То есть он забирает ребёнка тогда когда ему или его маме хочется. Меня ставит перед фактом. Или же путем манипуляций и оскорблений вынуждает ребёнка отдать. И не важно, что по графику это мои выходные и были планы на отдых с сыном. Угрожает тем, что не будет платить алименты, что пожалею, если подам в суд. Может в любое время приехать и врываться в квартиру, где мы с ребёнком проживаем. Вот абсолютно все договорённости были не раз нарушены. Готова отказаться от его обязательств по содержанию и воспитанию ребёнка, лишь бы жить спокойно. Он имеет права на ребёнка, но и я на личные границы и безопасность. В рамках договорённостей, которые не нарушали его права, препятствовать не собиралась. Так как договориться не получается. Как я могу на него повлиять в рамках правового поля? Прошу, Вас, помогите, пожалуйста, советом.