Модерация комментариев
Русская модель обучена на ok.ru и 2ch, английская — на Jigsaw. Язык определяется сам; транслит, разрядка и подмена букв нормализуются до разбора.
Результат
Метки модели
Сработавшие правила
Правила работают поверх модели и ловят то, чего нет в размеченных корпусах: пропаганду нацизма, этнические оскорбления, угрозы, оскорбления власти, скрытые оскорбления через родственника. Они выставляют балл напрямую, поэтому метки модели рядом могут быть нулевыми.
Риск экстремистского высказывания
Признак «экстремистское высказывание» — приоритет на ручную проверку, а не юридическая квалификация по 114-ФЗ: её выносит суд. Тема сама по себе не является обвинением — текст про межнациональные отношения может быть и антирасистским.
Политическая тема показана отдельно и в оценку не входит: критика власти, должностных лиц и партий экстремизмом не является — п. 7 постановления Пленума Верховного Суда РФ № 11 от 28.06.2011.
Возможно затрагиваемые нормы
Подключить бота
Бот поднимается здесь же, на сервере: вы даёте токен, он начинает отвечать на токсичные сообщения в ваших группах. Свободно слотов — 2 из 2.
Токен даёт полный доступ к боту, поэтому он хранится на сервере в файле с правами 0600, наружу не отдаётся и в списке ниже не показывается. Имя бота не сохраняется — слоты обезличены. Чтобы бот видел сообщения в группе, выключите ему privacy mode: @BotFather → /mybots → Bot Settings → Group Privacy → Turn off.
Порог — балл, начиная с которого бот отвечает в чате (35 — граница «токсично», 60 — «сильно токсично»). Пауза — сколько секунд бот молчит после замечания одному и тому же человеку. Тихий режим: бот считает и собирает данные, но в чат не пишет. Настройки применяются в течение пяти секунд, без перезапуска бота.
Тексты проверенных сообщений сохраняются для дообучения модели — без id пользователей, id чатов и имени бота. Предупредите об этом участников группы.