Новостной агрегатор на базе ИИ — живая работа в 20 странах

Исходная точка

Региональная картина новостей раздроблена: в каждой стране — десятки источников, разные языки, разные редакционные манеры. Дать аудитории целостный обзор через ручную модерацию — дорого и не масштабируется. Классические RSS-агрегаторы — это суррогат: нет фильтра качества, нет многоязычной публикации.

Запрос был простой: круглосуточная многоязычная платформа на ИИ. Ручное вмешательство — только в редких случаях, система должна тянуть себя сама.

Решения

1. Разбили пайплайн на модули — извлечение источника, нормализация, классификация, дедупликация, перевод, публикация. Каждый модуль можно остановить и перезапустить отдельно.
2. Подбор модели по стоимости — Haiku 4.5 на быструю экстракцию, Sonnet 4.6 на основную работу, Opus 4.7 — на сложные редакционные решения. Prompt cache срезал расходы более чем на 60%.
3. Человек подключается только на аномалии — система просит ревью, когда уверенность падает, а не на каждой новости.
4. Многоязычная публикация — одна и та же новость выходит в эфир параллельно на 3–4 языках.

Исполнение

Стек: TypeScript + Node.js + Postgres + Cloudflare Workers. ИИ — Anthropic SDK плюс локальные эмбеддинг-модели. Агрегация крутится в Cloudflare на cron + queue, публикация — на отдельном edge-контуре. Мониторинг бэкенда — Sentry, видимость — внутренний дашборд.

«Самое сложное было не подобрать модель, а написать дедупликацию — одна и та же новость нормально приходит из двух источников разными словами. Косинусная близость по эмбеддингам стала нашим решением.»
— Эльвин Шарифов

Результат

• 20 стран в живом охвате — аудитория видит глобальную картину в одном месте.
• 100% автоматизации — ручная модерация только на аномалиях.
• 1000+ источников агрегируются, дедуплицируются и публикуются на нескольких языках.
• Внутренний дашборд мониторинга мы передали в четвёртой фазе — команда теперь сама держит пайплайн.