В повести Дмитрия Галковского «Друг утят» описана информационная система будущего, основанная на персональных модераторах. Эти модераторы представляют собой сложные программы с антропоморфной оболочкой, настроенные на индивидуальные предпочтения пользователя. Они фильтруют огромный поток информации по заданным критериям, таким как темы, объем, стиль подачи и внешность виртуального «диктора». Например, пользователь может настроить модератор на получение ежедневных 30 минут информации о Румынии, баскетболе и египтологии, поданной с легким скепсисом и элементами эротики, причем модератор будет выглядеть как его дедушка. Такая система позволяет человеку жить в информационном «коконе», общаясь через Интернет с единомышленниками или меняя фильтры по желанию. В этом обществе отсутствуют идеологические системы, а каждый человек сам определяет, что он хочет знать, исключая элемент драматургии и чужой воли из общения. Таким образом, общество становится настолько лживым, что даже правдиво, поскольку никто никого сознательно не обманывает, а каждый получает информацию в соответствии со своими настройками фильтра.
magazines.gorky.media
Система персональных модераторов, описанная в Друге утят, имеет много привлекательных черт, особенно с точки зрения когнитивной эффективности:
Плюсы:
Фильтрация информационного шума – исключение нежелательной информации снижает перегрузку мозга и экономит время.
Персонализация контента – каждый получает именно то, что ему интересно, в нужном формате и объеме.
Минимизация манипуляций – отсутствие навязанной идеологии снижает вероятность внешнего влияния.
Оптимизация обучения – возможность формировать поток знаний в удобной и интересной форме.
Эмоциональный комфорт – контент подается так, чтобы минимизировать стресс и дискомфорт.
Минусы и риски:
Эффект «информационного кокона» – человек перестает сталкиваться с неожиданными идеями, что может вести к интеллектуальной стагнации.
Подтверждение предвзятостей – фильтры только усиливают уже существующие убеждения, что ведет к поляризации общества.
Потеря критического мышления – если система подстраивается под желания, пользователь реже сталкивается с аргументами, которые его мировоззрение ставят под сомнение.
Упадок социальной реальности – люди перестают взаимодействовать с носителями иных точек зрения, что может привести к радикализации и узости восприятия.
Возможность скрытого управления – если модератором управляют внешние силы, можно незаметно менять картину мира пользователя, не вызывая у него дискомфорта.
Система действительно устраняет раздражающие факторы и делает поток информации удобным. Однако она превращает человека в заложника своих собственных предпочтений и заблуждений. Это идеальная машина для создания общества «удовлетворенных идиотов», где каждый варится в своем маленьком пузыре, не видя общей картины.
В идеале такая технология должна сочетать персонализацию с обязательной дозой случайности – чтобы время от времени подкидывать пользователю неожиданные, но потенциально полезные точки зрения. Тогда это будет инструментом развития, а не цифровым наркотиком.
Идеальная персонализированная новостная система.
Основные принципы системы
Персонализация + Контролируемая случайность – система фильтрует контент по интересам, но обязательным блоком включает события высокой значимости.
Многоуровневое представление – новости подаются разными способами: заголовками, краткими сводками, глубинным анализом.
Динамическая адаптация – система анализирует, как пользователь реагирует на новости, и корректирует подачу информации.
Геопривязка – интеграция с локальными событиями для оперативного информирования.
Модуль критического мышления – подача новостей с разбором альтернативных точек зрения и потенциальных манипуляций.



Архитектура системы
Научные прорывы (новые технологии, открытия, медицинские достижения).
Геополитические кризисы (войны, революции, санкции).
Экономические катаклизмы (кризисы, крахи рынков, изменения в мировых финансах).
Природные и техногенные катастрофы.
Культурные вехи (смерть знаковых личностей, революции в искусстве).
Изменения в законодательстве, затрагивающие базовые права.
Алгоритм определяет «нельзя пропустить» по ряду критериев:
✔ Влияние на мировую политику / экономику / технологии.
✔ Влияние на жизнь обычного человека.
✔ Историческая важность.
✅ Дебрифинг – утренний / вечерний персональный свод новостей с анализом.
✅ Температура информационного поля – график изменения «напряженности» в мире по темам.
✅ Архив событий – возможность «перемотать назад» и посмотреть развитие темы.
✅ Прогнозный анализ – система моделирует возможные последствия ключевых событий.
Вывод
Такая система объединяет персонализацию и объективную необходимость быть в курсе важного. Она не превращает пользователя в «инфо-наркомана», но и не оставляет его в пузыре собственных интересов.
Главный вызов – баланс между свободой выбора и необходимостью знать критически важное.
Проведем исследование по двум направлениям:
Существующие новостные системы, которые частично или полностью реализуют концепцию персонализированной новостной ленты с фильтрацией и анализом значимых событий.
Исследования и концепты, связанные с идеей интеллектуального новостного агрегатора, который минимизирует информационный шум, но не позволяет пропустить ключевые события.
Каждый день публикуются тысячи новостей, и без автоматической фильтрации пользователям трудно выделить важное. Современные новостные агрегаторы и персонализированные ленты используют алгоритмы искусственного интеллекта (ИИ), чтобы адаптировать поток новостей под интересы каждого читателя и облегчить информационную перегрузку. Такие системы анализируют, что читатель просматривал и что ему понравилось, и на этой основе предлагают релевантные статьи. Ниже представлен обзор основных решений, их возможностей и ограничений, а также перспективы развития технологий умной персонализации новостей.
Платформы с умной персонализацией новостей
Google News. Один из крупнейших новостных агрегаторов, Google News, активно применяет ИИ для подбора контента. После обновления 2018 года сервис использует алгоритмы машинного обучения для показа новостей, которые «вы больше всего захотите прочитать — как про события рядом с вами, так и по всему миру». При этом Google News строит персонализированную ленту «For You», учитывая историю запросов и чтения пользователя, но не отказывается и от общих разделов. Например, раздел “Top Stories” («Главные новости») в Google News вообще не персонализируется – он показывает всем одни и те же ключевые новости дня . Это гарантирует, что важнейшие мировые события будут видны каждому, даже если его личные интересы лежат в других темах. Кроме того, Google агрегирует новости из множества источников и группирует статьи по одному событию. В рамках функции “Full Coverage” («Полный охват») Google News отключает персональный рейтинг и показывает хронологическую ленту материалов по выбранной теме, включая разные точки зрения и источники. Такой подход помогает читателю получить панорамный обзор события без искажения алгоритмом.Apple News. Apple News сочетает алгоритмические рекомендации с человеческой редактурой. Секция Top Stories в приложении отбирается командой редакторов вручную, чтобы выделить главные новости дня, тогда как другие разделы (например, Trending Stories и персонализированные рекомендации For You) формируются алгоритмами на основе интересов пользователя. Исследования показали, что алгоритмическая лента склонна выбирать больше развлекательного контента и менее разнообразные источники по сравнению с подборкой людей-редакторов. В частности, автоматический раздел Trending в Apple News чаще выдавал новости о знаменитостях и поп-культуре, тогда как редакторы в Top Stories предлагали более сбалансированный и широкий круг тем. Это подчеркнуло важность гибридного подхода: Apple стремится найти баланс, доверяя ИИ в персональных рекомендациях, но одновременно используя опыт редакторов, чтобы покрыть критически важные темы и избежать перекоса в сторону «желтых» новостей. Пользователь Apple News также может влиять на ленту – например, отмечать “Suggest Less/More” (показывать меньше/больше подобного) для тонкой настройки рекомендаций.
Специализированные новостные приложения.
На рынке существует ряд независимых агрегаторов, делающих ставку на умную персонализацию. Например, приложение SmartNews применяет машинное обучение, чтобы анализировать миллионы статей в сети и отбирать для пользователя самое актуальное. SmartNews известен своим режимом “For You”, который позиционируется как «персонализированное открытие» новостей. В отличие от некоторых конкурентов, которые просто повторяют ваши прошлые просмотры, SmartNews старается предлагать новые темы, которые могут вас заинтересовать, даже если вы о них ранее не читали. Такой подход призван расширять кругозор читателя, а не только замыкать его в привычных темах. Чем больше вы пользуетесь приложением, тем точнее оно подбирает контент – SmartNews отмечает, что анализирует, какие материалы «другие пользователи, похожие на вас» находят интересными, и на этой основе рекомендует их и вам. Помимо этого, SmartNews внедряет специальные функции для разнообразия контента – например, политический «слайдер», позволяющий посмотреть, как различные медиа (правого или левого толка) освещают одну и ту же историю. Это помогает пользователю увидеть альтернативные точки зрения и сформировать более взвешенное мнение.Другой пример – Flipboard, популярный агрегатор, оформляющий новости в виде журнальной ленты. Flipboard позволяет пользователям выбирать интересующие темы и источники, а затем автоматически наполняет их «журнал» связанными статьями. Со временем алгоритм изучает предпочтения – что пользователь пролистывает, а что читает – и все точнее настраивает выдачу. Чтобы бороться с перегрузкой, Flipboard экспериментирует с «конечными подборками». В частности, формат Storyboards предлагает подборку материалов по определенной теме с четкой структурой и финалом, в отличие от бесконечной прокрутки стандартной ленты. Такой конечный пакет новостей позволяет читателю получить завершенный обзор темы и избежать ощущения, что новости «бездонны» – это повышает удовлетворенность и предотвращает утомление от бесконечного потока.
Региональные и социальные платформы.
В разных странах появились собственные системы персонализированной ленты. Например, в русскоязычном сегменте известна платформа Яндекс.Дзен – сервис, где алгоритмы Яндекса с помощью нейросетей формируют для каждого пользователя уникальную смесь новостей, статей и блог-постов. Яндекс.Дзен анализирует поведение (что читаете, на какие заголовки кликаете, сколько времени проводите) и наполняет ленту контентом, который с наибольшей вероятностью вам понравится. Пользователь может влиять на выдачу прямо – ставить «лайк» или «дизлайк» записям, подписываться на интересные каналы или блокировать неинтересные, и алгоритм учтёт эти сигналы при дальнейшей персонализации. Помимо агрегаторов, стоит упомянуть и социальные сети (Facebook, ВКонтакте, Twitter), ленты которых тоже фактически стали персональными новостными потоками. Лента Facebook знаменита своим алгоритмом, который с помощью машинного обучения оценивает сотни тысяч кандидатов на показ и выбирает те посты и новости, которые, по прогнозу, больше всего заинтересуют конкретного человека. Это превращает социальные сети в мощные персонализированные каналы новостей – хотя их цель скорее удерживать внимание, чем обеспечить полноту обзора событий.
ИИ-алгоритмы для выявления ключевых событий
Современные агрегаторы применяют ИИ не только для подбора интересного контента, но и для оперативного обнаружения важных событий в мире. Например, Google News автоматически кластеризует сотни статей по схожей тематике, фактически распознавая, когда множество источников пишут об одном и том же событии (будь то крупная авария, выборы или релиз нового продукта). Затем алгоритмы могут оценить значимость таких кластеров (например, по количеству публикаций, охвату аудитории, географии) и вынести наиболее важные события в раздел топ-новостей. Благодаря этому Google News быстро отражает новые мировые тренды: если где-то происходит нечто значимое, агрегатор вскоре покажет это всем пользователям в “Top Stories”. По словам Google, топ-новости обновляются очень часто именно потому, что они зависят от событий реального времени, а не от профиля пользователя.Многие платформы разрабатывают собственные системы автоматического детектирования новостей. Microsoft в рамках MSN News долгое время сочетала ручной отбор с алгоритмами, а в последние годы сделала шаг к полной автоматизации. В 2020 году сообщалось, что Microsoft сократила штат редакторов и перешла на ИИ-систему, которая должна сама выбирать трендовые новости, писать заголовки и подбирать изображения. Эта система мониторит сотни источников и метрик, чтобы определить, какие темы сейчас «на взлёте». Однако опыт показал, что полагаться только на ИИ рискованно – вскоре после перехода на роботов произошёл инцидент, когда MSN выдала новость с перепутанной фотографией участниц музыкальной группы (алгоритм неверно сопоставил картинку с персоной). Этот случай подчеркнул, что для корректного выявления событий ИИ пока необходим присмотр или доработка, особенно в части точности и контекстного понимания.Отдельного упоминания заслуживает подход SmartNews. Сервис позиционируется как «AI-driven news aggregator», то есть агрегатор, управляемый ИИ. Его алгоритмы интеллектуально отбирают топ-статьи из различных источников и удобно доставляют их пользователю. Фактически SmartNews выполняет роль автоматического редактора: просеивает огромный поток публикаций (в том числе локальные новости, блоги, нишевые издания) и собирает каждому читателю обновляемую подборку главных событий дня. Похожие идеи реализуются и в других проектах – например, платформа Newsadoo в Европе агрегирует новости с помощью ИИ и группирует их по событиям, сразу показывая несколько версий статьи об одном инфоповоде. В сфере медиаразведки (media intelligence) существуют системы вроде Event Registry, которые полностью посвящены отслеживанию мировых событий: они в реальном времени парсят тысячи новостных лент по всему миру, с помощью обработки естественного языка определяют, какие сообщения относятся к одному событию, и даже пытаются оценить его тон и влияние. Хотя такие системы чаще используются журналистами и аналитиками, сам факт их появления говорит о больших возможностях ИИ в обнаружении и ранжировании событий.В целом, ИИ-алгоритмы уже умеют выявлять “что важно” на основе колоссальных данных. Они ловят всплески обсуждений (в СМИ и соцсетях), определяют новости, которые быстро набирают популярность, и могут предупредить редакции или пользователей о “breaking news” (только что произошедших). Пользовательские агрегаторы вроде Google News и SmartNews внедряют эти технологии, чтобы читатели получали не только персональные, но и своевременные оповещения о ключевых мировых новостях.
Баланс между интересами и критически важными новостями
Проблема “пузыря фильтров”. Когда алгоритмы слишком узко подстраивают ленту под вкусы пользователя, возникает риск так называемого «информационного пузыря». Этот термин (filter bubble) ввёл интернет-активист Элай Паризер, описав ситуацию, когда человек видит только ту информацию, которая подтверждает его взгляды, а важные альтернативные мнения остаются за бортом. В новостях эффект пузыря особенно опасен: читатель может упускать события глобального значения или не получать критически важные новости, если они вне зоны его обычных интересов. Кроме того, замкнутая среда мнений усиливает поляризацию: лента показывает лишь то, с чем вы наверняка согласны, из-за чего взгляд на мир искажается. Современные агрегаторы осознают эту проблему и ищут способы балансировки между персонализацией и общественной значимостью контента.Алгоритмические решения. Несколько подходов внедрено на практике. Во-первых, как упоминалось, Google News умышленно оставляет в интерфейсе неперсонализированный блок главных новостей. Пользователь может сразу увидеть общенациональные и мировые топ-темы, даже если обычно он читает про спорт или технологии. Во-вторых, Google предлагает кнопку “Full Coverage”, которая позволяет выйти из пузыря одним нажатием – по конкретной теме показываются различные источники и точки зрения, а алгоритмический приоритет отменяется. Там же пользователь увидит хронологию развития события и даже посты из соцсетей, что даёт целостную картину. Таким образом, Google пытается сочетать индивидуальный подход (“Для вас”) с общим информационным полем.SmartNews пошёл другим путём: его концепция – “персонализированное открытие”. Приложение утверждает, что не хочет загонять читателя в пузырь, наоборот, старается постоянно подкидывать ему что-то новое. Раздел “For You” в SmartNews сочетает ваши интересы с совершенно новыми темами и трендами, которые алгоритм прогнозирует как потенциально интересные. Логика в том, что люди читают новости не только чтобы подтвердить знакомое, но и чтобы удивиться и узнать новое. SmartNews использует ИИ, чтобы предсказывать, что может заинтересовать пользователя дальше, даже если это вне его текущих увлечений. Благодаря этому в ленте появляются материалы, которые читатель сам бы не выбрал, но которые популярны у схожей аудитории и могут расширить его информационный кругозор. Дополнительно, как упомянуто выше, SmartNews ввёл “спектр новостей” – функцию, показывающую, как лево- и правополитические медиа освещают один сюжет. Этот «слайдер» мнений напрямую борется с пузырём, давая возможность взглянуть на новости под другим углом.Многообразие источников. Другие сервисы также экспериментируют с балансировкой. Платформа Newsadoo, к примеру, при персонализации по интересам всё равно показывает несколько версий одной новости из разных СМИ. Читая про событие, пользователь увидит рядом заголовки разных изданий – это напрямую разбивает монотонность и исключает одностороннее покрытие. Вещательная компания VRT (Фландрия) разработала рекомендательный алгоритм для своего новостного приложения, который сначала учитывает предпочтения, но затем постепенно расширяет спектр контента за счёт анализа метаданных. Алгоритм VRT старается аккуратно “подмешивать” в ленту материалы вне привычных вкусов, не перегружая, но понемногу разводя информационное меню пользователя. Цель – приучить аудиторию читать более разнообразные новости, выходя за рамки своих интересов, но делать это плавно, чтобы не потерять вовлечённость.
Роль человеческой модерации.
Отдельно стоит отметить редакционное вмешательство как способ балансировки. Apple News, как уже обсуждалось, доверяет редакторам отбор Top Stories для всех – по сути, люди-кураторы гарантируют, что утром все пользователи увидят подборку главных новостей, независимо от персональных настроек. Это включает в себя и потенциально неприятные, но важные темы. Например, если происходит глобальный кризис или чрезвычайное происшествие, Apple News вынесет его наверх для всех пользователей – даже тех, кто обычно такие темы избегает. Кроме Apple, подобный гибридный подход используют многие порталы: Yahoo! главную страницу наполняет редакция, MSN долгое время делал так же, а персональный контент размещался в отдельных виджетах. Такой баланс между алгоритмом и редактором призван сочетать два достоинства – масштаб и персонализация со стороны ИИ и общественная значимость и проверка со стороны человека.
В результате сегодня мы видим стремление агрегаторов обеспечить пользователю и то, что ему лично интересно, и то, что важно знать каждому гражданину. Полностью решить эту задачу непросто – нужно, чтобы алгоритм достаточно хорошо понимал, какие события имеют объективную важность. Тем не менее, комбинация методов (неперсональные блоки, режимы полноты обзора, разнообразие источников, ручной отбор) заметно улучшает ситуацию. При грамотном использовании таких функций читатель может одновременно наслаждаться контентом «для души» и не пропускать новости, которые определяют информационную картину дня.
Фильтрация информационного шума и манипуляций
Борьба с шумом. Информационный шум – это избыток нерелевантных или дублирующих сведений, мешающих увидеть суть. Персонализированные системы стараются минимизировать шум несколькими способами. Во-первых, почти все агрегаторы кластеризуют дубликаты статей: если десятки сайтов перепечатали одну и ту же новость, пользователь не увидит ее 50 раз, а получит один заголовок (с возможностью раскрыть другие источники при желании). Например, SmartNews агрегирует новости из разных изданий в одном интерфейсе, благодаря чему исключается необходимость переходить по множеству сайтов отдельно. Пользователь экономит время и не утопает в повторяющемся контенте – приложение само “собирает и склеивает” сходные новости. Во-вторых, умные алгоритмы пытаются отсеивать нерелевантное на этапе выбора: анализируют текст, тематику, даже тон публикации, чтобы определить, интересна ли она конкретному читателю. Шумом может считаться и несоответствие предпочтениям – например, если человеку неинтересен спорт, лента должна фильтровать спортивные статьи. Настройки и обратная связь помогают в этом: многие сервисы позволяют выбрать любимые темы/источники или, наоборот, скрыть нежелательные. В SmartNews, к примеру, пользователь может указывать доверенные источники и приоритетные темы, чтобы алгоритм фокусировался на них. По мере взаимодействия (чтения, скрытия, лайки) система «учится» все точнее отбирать релевантный и надежный контент.Еще одна тактика – ограничение потока. В отличие от соцсетей с бесконечной прокруткой, некоторые новостные приложения намеренно не перегружают ленту. Они могут выдавать определенное число статей в день (как делал, например, Yahoo News Digest) или формировать издания по расписанию (утренний и вечерний дайджест). Это предотвращает бесконтрольный поток сведений. Хотя такой подход менее популярен сейчас, элементы его появляются (как обсуждалось с Flipboard Storyboards – фиксированными подборками).
Противодействие дезинформации.
Манипуляции и фейковые новости – серьезный вызов для алгоритмических лент. С одной стороны, крупные агрегаторы стремятся работать только с авторитетными источниками. Google News, Apple News и др. имеют списки одобренных издателей; прежде чем неизвестный сайт попадет в выдачу, он проходит модерацию. Это отсеивает откровенно сомнительные ресурсы. С другой стороны, даже у признанных медиа бывают ошибки или предвзятость, а полностью исключить проникновение вирусных фейков трудно (особенно в соцсетях, где пользователи сами делятся новостями). Поэтому разрабатываются и автоматические фильтры. Например, Facebook внедрил алгоритмы для выявления явных фейков и кликбейта (анализа заголовков на типичные сенсационные шаблоны), понижения их в выдаче или маркировки. В новостных агрегаторах также используются метаданные: Google News помечает некоторые статьи как “Fact check” (проверка фактов) – эти метки присваиваются материалам, в которых содержится вывод независимой фактчекинговой организации. Если по громкой теме распространяются противоречивые сведения, Google News может показать карточку со сводкой от фактчекеров рядом с новостями, чтобы предупредить читателей. Кроме того, режимы множественных источников (вроде упомянутого Full Coverage или показа параллельно нескольких новостей на одну тему) сами по себе являются инструментом борьбы с манипуляциями. Когда читатель видит одновременно несколько интерпретаций события и сопоставляет их, сложнее утаить искаженную информацию. SmartNews, показывая новости “бок о бок” от разных изданий, поощряет аудиторию обращать внимание на расхождения и выявлять возможный уклон. Это снижает шанс, что фейк или пропагандистский нарратив останется незамеченным – другие источники дадут альтернативные факты.Тем не менее, эффективность этих мер не абсолютна. Алгоритмы не обладают истинным здравым смыслом и могут допускать курьезы. Уже упоминался случай, когда ИИ-редактор Microsoft перепутал фотографии в новости– такой визуальный фейл способен дезинформировать аудиторию (например, ошибочно идентифицировать человека на фото). Другой пример – сенсационность и пристрастность алгоритмов. Системы рекомендаций часто оптимизируются на метрику кликов и вовлеченности, что невольно поощряет “кричащий” контент. Исследование, сравнившее работу людей и машин в Apple News, показало, что алгоритм склонен выбирать более развлекательные и скандальные темы, чем редакторы. Меньшее разнообразие источников в автоматической выдаче тоже может быть формой информационной манипуляции – пользователь видит только ограниченный набор мнений. Эти ограничения признают и сами разработчики. Например, компания Twipe (занимается цифровыми новостными продуктами) отмечает, что пользователи ценят персонализацию, но опасаются предвзятости и изоляции во мнениях. Кроме того, многих волнуют приватность (что алгоритм знает о них слишком много) и прозрачность работы таких систем. Ведь если лента что-то скрыла, пользователь редко узнает об этом и не может проконтролировать или оспорить решение алгоритма.В итоге борьба с шумом и дезинформацией продолжается на нескольких фронтах: улучшение алгоритмических фильтров, привлечение независимых проверок, повышение разнообразия контента для самокоррекции, а также внедрение возможностей для пользователей влиять на выдачу (например, кнопки “Мне это не важно” или “Пожаловаться на новость”). Полностью автоматическое решение пока недостижимо, но сочетание технических и гуманитарных методов помогает сделать новостной поток более чистым и надёжным. Многие сервисы сегодня стремятся давать “полезную смесь” – с одной стороны, отфильтрованную от спама и фейков, с другой – достаточно широкую, чтобы человек сам мог сделать вывод, сравнив разные данные.
Технологии и исследования интеллектуальной фильтрации новостей
Анализ контента и профиля.
Персонализированная выдача новостей опирается на ряд ключевых технологий. Одно из центральных мест занимает контентная фильтрация: алгоритмы анализируют тексты статей с помощью NLP (обработки естественного языка), чтобы понять их тематику, ключевые сущности (персоны, организации, места) и даже тональность. На основе этого строятся профили интересов. Так, уже упомянутый сервис News360 применял семантический анализ и строил для каждого пользователя «граф интересов», отражающий его любимые темы. Схожие принципы используются и крупными компаниями – например, у Microsoft News и Google News есть модели, которые представляют интересы как набор тематических признаков или слов, полученных из ранее прочитанных статей. Другой распространенный метод – коллаборативная фильтрация, когда система смотрит не только на ваш личный профиль, но и на поведение похожих пользователей. Если люди со сходными интересами вдруг начали читать новую тему, возможно, и вам она будет интересна. Мы уже видели это на примере SmartNews, где явно говорится об учёте того, что читают «другие, похожие на вас»business.smartnews.com
. Большие данные о поведении множества пользователей позволяют рекомендательной системе делать такие перекрестные выводы.
Диверсификация и серендипность.
В академических исследованиях новостных рекомендаций много внимания уделяется проблеме разнообразия выдачи. Считается, что помимо точного соответствия интересам, лента должна включать контент, который расширяет кругозор и не дает скучать. В частности, повышение разнообразия напрямую предлагается как способ смягчить эффект фильтр-пузыря. Учёные ввели метрики для оценки разнообразия новостных рекомендаций – например, Intra-List Diversity (ILD), которая измеряет, насколько непохожи друг на друга статьи в предложенном списке. Если алгоритм слишком монотонен, ILD будет низкой. В ответ появились модели, учитывающие новизну (novelty) и серендипность. Одной из ранних систем была Newsjunkie, которая ранжировала новости для пользователя по принципу «насколько эта статья нова относительно уже прочитанного». То есть если вы весь день читали про экономику, Newsjunkie поднимала выше новости других тематик, чтобы разбавить информационное поле. Современные подходы интегрируют такие идеи в нейросетевые рекомендации: например, оценивают различие в эмоциональной тональности новостей или следят, чтобы в топ не попали все новости с одного источника. Диверсификация стала настолько важна, что её рассматривают как отдельную задачу при разработке новостных рекомендателей.
Обучение и модели ИИ.
За кулисами персональных лент работают сложные алгоритмы machine learning. Раньше это были в основном решающие деревья с множеством признаков или методы factorization (матричные разложения) для коллаборативной фильтрации. Сейчас доминируют нейросетевые модели, специально обученные на новостных данных. Крупные игроки (тот же Microsoft) публиковали научные работы о своих моделях: например, NPA (Neural News Recommendation) – нейросеть, учитывающая новостной заголовок, тело статьи и персональные интересы через механизмы внимания; или Wide & Deep модели, комбинирующие запоминание частых интересов и обобщение новых. В 2020 году был открыт датасет MIND (от Microsoft) – большой набор данных о том, какие новости читали миллионы пользователей MSN, с целью стимуляции исследований в этой области. Это позволило академическим группам разрабатывать и тестировать новые подходы. Среди интересных направлений – учёт временных факторов (modeling news sequence, поскольку интересы меняются день ото дня), учёт контекста (например, с какого устройства или в какое время суток потребляются новости, чтобы адаптировать формат), и даже попытки внедрять объяснимость. Последнее особенно важно: если алгоритм сможет объяснить, почему он рекомендует ту или иную статью, это повысит доверие пользователей. Пока что объяснимость достигается простыми средствами (например, подписью «потому что вы читали X»), но исследования ведутся и в сторону более интеллектуальных объяснений (например, выделять, что «эта новость упоминает ту же тему, что и вчерашняя вами прочитанная статья»).
Фильтрация фейков и качественных метрик.
Интересным суб-направлением является определение качества и достоверности новостей. Алгоритмы в будущем могут научиться автоматически различать качественную журналистику от поверхностной. Уже есть попытки учитывать репутацию источника, сложность изложения, наличие фактов vs мнений. Отдельно развивается детекция фейковых новостей с помощью ИИ: обучаются классификаторы, которые по тексту и метаданным стараются понять, является ли новость намеренной дезинформацией. Хотя полностью заменить человеческую фактчекинговую экспертизу сложно, такие модели могут служить фильтром первого уровня, помечая подозрительный контент для дальнейшей проверки. Также появляются концепции вроде “умных модераторов”, которые сидят поверх агрегатора и наблюдают за аномалиями (например, внезапно вирусная новость из неизвестного блога) – сигнализируя об этом человеку-редактору или автоматически уменьшая охват до выяснения обстоятельств.
Социальный контекст и персонализация. Новостная персонализация не ограничивается индивидуальными аппетитами – она вплетена в социальные процессы. Поэтому исследователи в области медиа обсуждают такие понятия, как поляризация, эхо-камеры (когда люди общаются только с единомышленниками и получают подтверждение своим взглядам), и влияние алгоритмов на общественное мнение. Некоторые работы даже проверяют, есть ли реально эффект пузыря. Отчёт Reuters Institute (2020) показал, что при обычном сценарии использования люди всё же получают достаточно разнообразия источников, и явного сильного пузыря персонализации они не обнаружили – скорее, пользователь сам склонен выбирать комфортные источники. Тем не менее, риск узости кругозора признаётся, и потому крупные новостные платформы продолжают вводить решения для контрольного впрыска разнообразия. На институциональном уровне идут дискуссии о «алгоритмической ответственности»: должны ли компании нести ответственность за деформацию информационной картины у пользователя, как измерять качество информационной диеты и т.п. Появляется даже термин “responsible recommendation” – подразумевающий этические принципы в дизайне таких алгоритмов (учёт общественного блага, избегание дискриминации, защита приватности и т.д.).Пробелы современных решений и перспективы развития
Несмотря на прогресс, в нынешних системах остаются существенные пробелы, которые открывают возможности для создания новой, улучшенной платформы персонализированных новостей:
Эффект пузыря и эхо-камеры. Полностью избавиться от фильтрационного пузыря пока не удалось. Даже с функциями вроде Full Coverage или политического слайдера, многие пользователи остаются в пределах комфортного им инфополя. Не каждый читатель будет нажимать специальные кнопки для разнообразия – зачастую люди пассивно потребляют, что дает лента. Поэтому новые решения могут глубже интегрировать разнообразие по умолчанию. Например, перспективно внедрять многокритериальные алгоритмы, которые оптимизируют не только персональную релевантность, но и “ценность” новости. Можно представить систему баллов важности: событие глобального масштаба получает высокий базовый вес, гарантирующий показ, даже если профиль пользователя и не совпадает. Некоторые эксперты предлагают дать самим пользователям инструменты контроля: например, ползунок персонализация–универсальность, где человек может настроить, хочет ли он более узкую или более широкую ленту. Пока таких интерфейсов почти нет, но их появление могло бы снизить проблему пузыря.
Качество и доверие к источникам. Сегодняшние агрегаторы в основном не объясняют, почему та или иная новость появилась у вас в ленте. Отсутствие прозрачности рождает недоверие и ощущение манипуляции. Новая система могла бы предложить прозрачный режим: например, при клике на новость показывать, какими факторами она выбрана («Популярно среди читателей в вашем городе», «Свежая статья по теме X, которой вы интересуетесь», «Важно: крупное событие дня» и т.п.). Также остается проблема фейков и пропаганды. Здесь можно улучшить фильтры, интегрировать больше сигналов. Перспективное направление – оценка надежности на лету: алгоритм вычисляет условный рейтинг доверия к статье, учитывая надежность источника, тональность (слишком эмоционально – подозрительно), совпадение с другими источниками и пр. Такой рейтинг мог бы сообщаться читателю (например, индикатором или предупреждением). К примеру, если новость подтверждена множеством независимых источников, система пометит ее как «верифицированная», а если информация сырая и исходит из одного соцсетевого поста – как «непроверенная». Пока подобное реализовано лишь фрагментарно (в виде меток фактчека), но дальнейшая автоматизация проверки фактов с ИИ – важный резерв.
Персонализация без перегибов. Современные алгоритмы в погоне за кликами иногда перегибают, зацикливаясь на одном типе контента (например, увидев интерес к скандальной хронике, могут заполнить ленту похожими историями). Пользователя это может быстро утомить или вызвать разочарование. Новый подход мог бы внедрить более человеческий такт: учитывать насыщение темой. Например, если за день вам показали уже 5 новостей про экономику, шестую стоит заменить чем-то другим – аналогично тому, как редактор газеты не станет печатать десять одинаковых статей. Здесь поможет и упомянутая концепция конечных изданий: подавать новости порциями, где каждая порция тщательно сбалансирована (как полоса в газете). Персонализация может происходить на уровне того, какие материалы войдут в эту порцию, но сама порция будет ограниченной и разнообразной. Такие эксперименты уже ведутся (JAMES, Flipboard и др.), и они перспективны для снижения информационного перенасыщения.
Учет индивидуальных ценностей и контекста. Текущие агрегаторы знают о наших кликах, но мало знают о нашем намерении или настроении. Перспективная система могла бы быть более контекстуальной: например, утром показывать сводку деловых новостей, а вечером – более развлекательный контент, исходя из предполагаемого настроения пользователя. Для этого ИИ может учитывать время суток, местоположение (на работе или дома), устройство (на смартфоне – короткие заметки, на планшете – лонгриды) и даже данные календаря (если у вас встреча с кем-то из финансовой отрасли, подсунуть последние финансовые новости для подготовки). Это ведет нас к идее умного новостного ассистента, который интегрирован в повседневную жизнь. Уже есть зачатки – голосовые помощники (Siri, Alexa) умеют зачитывать новости, но их персонализация примитивна. В будущем можно ожидать диалоговые системы, где вы можете спросить: «Что нового в науке?» – и получить сгенерированную ИИ сводку, релевантную вашим интересам, а затем уточнить «А что по моему городу?» и так далее. Это качественно новый уровень персонализации – по запросу и под ситуацию, а не только заранее спрогнозированные рекомендации.
Приватность и контроль данных. Наконец, важный пробел – доверие пользователей в плане конфиденциальности. Алгоритмы персонализации питаются данными о нас, и не всем это приятно. Новое решение могло бы привлекать аудиторию за счет приватности по дизайну: хранить профили локально на устройстве (как вариант, использовать технику federated learning, когда общая модель обучается без выгрузки личных данных на сервер). Или, как минимум, давать пользователю просмотреть и отредактировать свой «профиль интересов», который система про него составила. Это убьет двух зайцев: и прозрачность повысится (человек видит, что о нем «думает» ИИ, и может скорректировать), и лишних страхов не будет. В настоящее время мало кто из агрегаторов предоставляет такую возможность – это явный резерв для новых продуктов.
Перспективы развития. Вектор прогресса в области персонализированных новостей очевиден: системы будут становиться умнее, гибче и ответственнее. С возрастанием вычислительных мощностей и успехами AI мы увидим всё более тонкое понимание контента – вплоть до автоматического резюмирования новостей (чтобы в ленте показывался краткий тезис, а детально – по клику) и сквозного связывания сюжетов (например, ИИ будет напоминать, что это продолжение истории, о которой вы читали на прошлой неделе, обеспечивая контекст). Также вероятна интеграция мультимедиа: персонализация видео-новостей, подкастов по интересам. Уже сейчас YouTube и другие платформы рекомендуют новостные ролики по похожим алгоритмам.
Отдельно стоит ожидать усовершенствований в балансировке и достоверности. Давление общества и регуляторов (в свете проблем фейкньюс и поляризации) мотивирует компании делать алгоритмы более нейтральными и полезными для общества. Возможно, появятся этические рамки или независимые аудиты персонализированных лент, чтобы исключить злоупотребления (например, скрытую политическую цензуру или дискриминацию интересов меньшинств). Технологически это может реализоваться через добавление в модель целей по диверсификации и метрик “качества диеты”. Например, ИИ будет пытаться за неделю показать пользователю определенную норму разнообразия источников и тем, своего рода «информационную пирамиду питания».
Подводя итог, интеллектуальные новостные агрегаторы уже сейчас значительно облегчают нам жизнь, отфильтровывая тонны информации и подстраивая новости под наши интересы. Однако путь к идеально сбалансированной и надежной системе ещё не закончен. Необходимо и дальше совершенствовать алгоритмы, сочетать их с лучшими практиками журналистики и обеспечивать читателям как персональный, так и всеобъемлющий взгляд на мир. Технологии ИИ в этой области развиваются стремительно, и при критичном подходе и инновациях у нас есть шанс получить новостные сервисы, которые будут одновременно и увлекательными, и познавательными, и общественно значимымиtwipemobile.com
. Такой осознанный подход к персонализации позволит людям оставаться хорошо информированными, не тонуть в информационном шуме и не попадать в ловушки алгоритмов, а напротив – использовать их себе во благо.
Источники:
Cool-Fergus, S. Are Personalised News Aggregators Enhancing Our World or Echoing Our Biases? – Twipe (2024)
twipemobile.com
twipemobile.com
SmartNews Blog. “For You” – a smarter way to discover news (2017)
business.smartnews.com
business.smartnews.com
business.smartnews.com
Thenextweb. Google News has a new feature that may just pop your filter bubble (2018)
thenextweb.com
thenextweb.com
thenextweb.com
Seroundtable. Google: Our Personalized Results Do Not Create Filter Bubbles (2018)
seroundtable.com
Twipe (Case Studies). SmartNews, Newsadoo, VRT… (2024)
twipemobile.com
twipemobile.com
twipemobile.com
Twipe (Case Studies). Flipboard and JAMES… (2024)
twipemobile.com
twipemobile.com
Artsyltech. AI-Driven Insights: How SmartNews Top Stories are Reshaped (2023)
artsyltech.com
artsyltech.com
Artsyltech. SmartNews – Minimizing Bias (2023)
artsyltech.com
artsyltech.com
Wikipedia. News360 – personalized news app (2010–2022)
en.wikipedia.org
The Guardian. Apple News algorithms pick more celeb stories than human editors, study finds (2020)
ojs.aaai.org
Wu et al. Personalized News Recommendation: Methods and Challenges – ACM Computing Surveys (2021)
arxiv.org
arxiv.org
В повести Дмитрия Галковского «Друг утят» описана информационная система будущего, основанная на персональных модераторах. Эти модераторы представляют собой сложные программы с антропоморфной оболочкой, настроенные на индивидуальные предпочтения пользователя. Они фильтруют огромный поток информации по заданным критериям, таким как темы, объем, стиль подачи и внешность виртуального «диктора». Например, пользователь может настроить модератор на получение ежедневных 30 минут информации о Румынии, баскетболе и египтологии, поданной с легким скепсисом и элементами эротики, причем модератор будет выглядеть как его дедушка. Такая система позволяет человеку жить в информационном «коконе», общаясь через Интернет с единомышленниками или меняя фильтры по желанию. В этом обществе отсутствуют идеологические системы, а каждый человек сам определяет, что он хочет знать, исключая элемент драматургии и чужой воли из общения. Таким образом, общество становится настолько лживым, что даже правдиво, поскольку никто никого сознательно не обманывает, а каждый получает информацию в соответствии со своими настройками фильтра.
magazines.gorky.media
Система персональных модераторов, описанная в Друге утят, имеет много привлекательных черт, особенно с точки зрения когнитивной эффективности:
Плюсы:
Фильтрация информационного шума – исключение нежелательной информации снижает перегрузку мозга и экономит время.
Персонализация контента – каждый получает именно то, что ему интересно, в нужном формате и объеме.
Минимизация манипуляций – отсутствие навязанной идеологии снижает вероятность внешнего влияния.
Оптимизация обучения – возможность формировать поток знаний в удобной и интересной форме.
Эмоциональный комфорт – контент подается так, чтобы минимизировать стресс и дискомфорт.
Минусы и риски:
Эффект «информационного кокона» – человек перестает сталкиваться с неожиданными идеями, что может вести к интеллектуальной стагнации.
Подтверждение предвзятостей – фильтры только усиливают уже существующие убеждения, что ведет к поляризации общества.
Потеря критического мышления – если система подстраивается под желания, пользователь реже сталкивается с аргументами, которые его мировоззрение ставят под сомнение.
Упадок социальной реальности – люди перестают взаимодействовать с носителями иных точек зрения, что может привести к радикализации и узости восприятия.
Возможность скрытого управления – если модератором управляют внешние силы, можно незаметно менять картину мира пользователя, не вызывая у него дискомфорта.
Система действительно устраняет раздражающие факторы и делает поток информации удобным. Однако она превращает человека в заложника своих собственных предпочтений и заблуждений. Это идеальная машина для создания общества «удовлетворенных идиотов», где каждый варится в своем маленьком пузыре, не видя общей картины.
В идеале такая технология должна сочетать персонализацию с обязательной дозой случайности – чтобы время от времени подкидывать пользователю неожиданные, но потенциально полезные точки зрения. Тогда это будет инструментом развития, а не цифровым наркотиком.
Идеальная персонализированная новостная система.
Основные принципы системы
Персонализация + Контролируемая случайность – система фильтрует контент по интересам, но обязательным блоком включает события высокой значимости.
Многоуровневое представление – новости подаются разными способами: заголовками, краткими сводками, глубинным анализом.
Динамическая адаптация – система анализирует, как пользователь реагирует на новости, и корректирует подачу информации.
Геопривязка – интеграция с локальными событиями для оперативного информирования.
Модуль критического мышления – подача новостей с разбором альтернативных точек зрения и потенциальных манипуляций.
Архитектура системы
Научные прорывы (новые технологии, открытия, медицинские достижения).
Геополитические кризисы (войны, революции, санкции).
Экономические катаклизмы (кризисы, крахи рынков, изменения в мировых финансах).
Природные и техногенные катастрофы.
Культурные вехи (смерть знаковых личностей, революции в искусстве).
Изменения в законодательстве, затрагивающие базовые права.
Алгоритм определяет «нельзя пропустить» по ряду критериев:
✔ Влияние на мировую политику / экономику / технологии.
✔ Влияние на жизнь обычного человека.
✔ Историческая важность.
✅ Дебрифинг – утренний / вечерний персональный свод новостей с анализом.
✅ Температура информационного поля – график изменения «напряженности» в мире по темам.
✅ Архив событий – возможность «перемотать назад» и посмотреть развитие темы.
✅ Прогнозный анализ – система моделирует возможные последствия ключевых событий.
Вывод
Такая система объединяет персонализацию и объективную необходимость быть в курсе важного. Она не превращает пользователя в «инфо-наркомана», но и не оставляет его в пузыре собственных интересов.
Главный вызов – баланс между свободой выбора и необходимостью знать критически важное.
Проведем исследование по двум направлениям:
Существующие новостные системы, которые частично или полностью реализуют концепцию персонализированной новостной ленты с фильтрацией и анализом значимых событий.
Исследования и концепты, связанные с идеей интеллектуального новостного агрегатора, который минимизирует информационный шум, но не позволяет пропустить ключевые события.
Каждый день публикуются тысячи новостей, и без автоматической фильтрации пользователям трудно выделить важное. Современные новостные агрегаторы и персонализированные ленты используют алгоритмы искусственного интеллекта (ИИ), чтобы адаптировать поток новостей под интересы каждого читателя и облегчить информационную перегрузку. Такие системы анализируют, что читатель просматривал и что ему понравилось, и на этой основе предлагают релевантные статьи. Ниже представлен обзор основных решений, их возможностей и ограничений, а также перспективы развития технологий умной персонализации новостей.
Платформы с умной персонализацией новостей
Google News. Один из крупнейших новостных агрегаторов, Google News, активно применяет ИИ для подбора контента. После обновления 2018 года сервис использует алгоритмы машинного обучения для показа новостей, которые «вы больше всего захотите прочитать — как про события рядом с вами, так и по всему миру». При этом Google News строит персонализированную ленту «For You», учитывая историю запросов и чтения пользователя, но не отказывается и от общих разделов. Например, раздел “Top Stories” («Главные новости») в Google News вообще не персонализируется – он показывает всем одни и те же ключевые новости дня . Это гарантирует, что важнейшие мировые события будут видны каждому, даже если его личные интересы лежат в других темах. Кроме того, Google агрегирует новости из множества источников и группирует статьи по одному событию. В рамках функции “Full Coverage” («Полный охват») Google News отключает персональный рейтинг и показывает хронологическую ленту материалов по выбранной теме, включая разные точки зрения и источники. Такой подход помогает читателю получить панорамный обзор события без искажения алгоритмом.Apple News. Apple News сочетает алгоритмические рекомендации с человеческой редактурой. Секция Top Stories в приложении отбирается командой редакторов вручную, чтобы выделить главные новости дня, тогда как другие разделы (например, Trending Stories и персонализированные рекомендации For You) формируются алгоритмами на основе интересов пользователя. Исследования показали, что алгоритмическая лента склонна выбирать больше развлекательного контента и менее разнообразные источники по сравнению с подборкой людей-редакторов. В частности, автоматический раздел Trending в Apple News чаще выдавал новости о знаменитостях и поп-культуре, тогда как редакторы в Top Stories предлагали более сбалансированный и широкий круг тем. Это подчеркнуло важность гибридного подхода: Apple стремится найти баланс, доверяя ИИ в персональных рекомендациях, но одновременно используя опыт редакторов, чтобы покрыть критически важные темы и избежать перекоса в сторону «желтых» новостей. Пользователь Apple News также может влиять на ленту – например, отмечать “Suggest Less/More” (показывать меньше/больше подобного) для тонкой настройки рекомендаций.
Специализированные новостные приложения.
На рынке существует ряд независимых агрегаторов, делающих ставку на умную персонализацию. Например, приложение SmartNews применяет машинное обучение, чтобы анализировать миллионы статей в сети и отбирать для пользователя самое актуальное. SmartNews известен своим режимом “For You”, который позиционируется как «персонализированное открытие» новостей. В отличие от некоторых конкурентов, которые просто повторяют ваши прошлые просмотры, SmartNews старается предлагать новые темы, которые могут вас заинтересовать, даже если вы о них ранее не читали. Такой подход призван расширять кругозор читателя, а не только замыкать его в привычных темах. Чем больше вы пользуетесь приложением, тем точнее оно подбирает контент – SmartNews отмечает, что анализирует, какие материалы «другие пользователи, похожие на вас» находят интересными, и на этой основе рекомендует их и вам. Помимо этого, SmartNews внедряет специальные функции для разнообразия контента – например, политический «слайдер», позволяющий посмотреть, как различные медиа (правого или левого толка) освещают одну и ту же историю. Это помогает пользователю увидеть альтернативные точки зрения и сформировать более взвешенное мнение.Другой пример – Flipboard, популярный агрегатор, оформляющий новости в виде журнальной ленты. Flipboard позволяет пользователям выбирать интересующие темы и источники, а затем автоматически наполняет их «журнал» связанными статьями. Со временем алгоритм изучает предпочтения – что пользователь пролистывает, а что читает – и все точнее настраивает выдачу. Чтобы бороться с перегрузкой, Flipboard экспериментирует с «конечными подборками». В частности, формат Storyboards предлагает подборку материалов по определенной теме с четкой структурой и финалом, в отличие от бесконечной прокрутки стандартной ленты. Такой конечный пакет новостей позволяет читателю получить завершенный обзор темы и избежать ощущения, что новости «бездонны» – это повышает удовлетворенность и предотвращает утомление от бесконечного потока.
Региональные и социальные платформы.
В разных странах появились собственные системы персонализированной ленты. Например, в русскоязычном сегменте известна платформа Яндекс.Дзен – сервис, где алгоритмы Яндекса с помощью нейросетей формируют для каждого пользователя уникальную смесь новостей, статей и блог-постов. Яндекс.Дзен анализирует поведение (что читаете, на какие заголовки кликаете, сколько времени проводите) и наполняет ленту контентом, который с наибольшей вероятностью вам понравится. Пользователь может влиять на выдачу прямо – ставить «лайк» или «дизлайк» записям, подписываться на интересные каналы или блокировать неинтересные, и алгоритм учтёт эти сигналы при дальнейшей персонализации. Помимо агрегаторов, стоит упомянуть и социальные сети (Facebook, ВКонтакте, Twitter), ленты которых тоже фактически стали персональными новостными потоками. Лента Facebook знаменита своим алгоритмом, который с помощью машинного обучения оценивает сотни тысяч кандидатов на показ и выбирает те посты и новости, которые, по прогнозу, больше всего заинтересуют конкретного человека. Это превращает социальные сети в мощные персонализированные каналы новостей – хотя их цель скорее удерживать внимание, чем обеспечить полноту обзора событий.
ИИ-алгоритмы для выявления ключевых событий
Современные агрегаторы применяют ИИ не только для подбора интересного контента, но и для оперативного обнаружения важных событий в мире. Например, Google News автоматически кластеризует сотни статей по схожей тематике, фактически распознавая, когда множество источников пишут об одном и том же событии (будь то крупная авария, выборы или релиз нового продукта). Затем алгоритмы могут оценить значимость таких кластеров (например, по количеству публикаций, охвату аудитории, географии) и вынести наиболее важные события в раздел топ-новостей. Благодаря этому Google News быстро отражает новые мировые тренды: если где-то происходит нечто значимое, агрегатор вскоре покажет это всем пользователям в “Top Stories”. По словам Google, топ-новости обновляются очень часто именно потому, что они зависят от событий реального времени, а не от профиля пользователя.Многие платформы разрабатывают собственные системы автоматического детектирования новостей. Microsoft в рамках MSN News долгое время сочетала ручной отбор с алгоритмами, а в последние годы сделала шаг к полной автоматизации. В 2020 году сообщалось, что Microsoft сократила штат редакторов и перешла на ИИ-систему, которая должна сама выбирать трендовые новости, писать заголовки и подбирать изображения. Эта система мониторит сотни источников и метрик, чтобы определить, какие темы сейчас «на взлёте». Однако опыт показал, что полагаться только на ИИ рискованно – вскоре после перехода на роботов произошёл инцидент, когда MSN выдала новость с перепутанной фотографией участниц музыкальной группы (алгоритм неверно сопоставил картинку с персоной). Этот случай подчеркнул, что для корректного выявления событий ИИ пока необходим присмотр или доработка, особенно в части точности и контекстного понимания.Отдельного упоминания заслуживает подход SmartNews. Сервис позиционируется как «AI-driven news aggregator», то есть агрегатор, управляемый ИИ. Его алгоритмы интеллектуально отбирают топ-статьи из различных источников и удобно доставляют их пользователю. Фактически SmartNews выполняет роль автоматического редактора: просеивает огромный поток публикаций (в том числе локальные новости, блоги, нишевые издания) и собирает каждому читателю обновляемую подборку главных событий дня. Похожие идеи реализуются и в других проектах – например, платформа Newsadoo в Европе агрегирует новости с помощью ИИ и группирует их по событиям, сразу показывая несколько версий статьи об одном инфоповоде. В сфере медиаразведки (media intelligence) существуют системы вроде Event Registry, которые полностью посвящены отслеживанию мировых событий: они в реальном времени парсят тысячи новостных лент по всему миру, с помощью обработки естественного языка определяют, какие сообщения относятся к одному событию, и даже пытаются оценить его тон и влияние. Хотя такие системы чаще используются журналистами и аналитиками, сам факт их появления говорит о больших возможностях ИИ в обнаружении и ранжировании событий.В целом, ИИ-алгоритмы уже умеют выявлять “что важно” на основе колоссальных данных. Они ловят всплески обсуждений (в СМИ и соцсетях), определяют новости, которые быстро набирают популярность, и могут предупредить редакции или пользователей о “breaking news” (только что произошедших). Пользовательские агрегаторы вроде Google News и SmartNews внедряют эти технологии, чтобы читатели получали не только персональные, но и своевременные оповещения о ключевых мировых новостях.
Баланс между интересами и критически важными новостями
Проблема “пузыря фильтров”. Когда алгоритмы слишком узко подстраивают ленту под вкусы пользователя, возникает риск так называемого «информационного пузыря». Этот термин (filter bubble) ввёл интернет-активист Элай Паризер, описав ситуацию, когда человек видит только ту информацию, которая подтверждает его взгляды, а важные альтернативные мнения остаются за бортом. В новостях эффект пузыря особенно опасен: читатель может упускать события глобального значения или не получать критически важные новости, если они вне зоны его обычных интересов. Кроме того, замкнутая среда мнений усиливает поляризацию: лента показывает лишь то, с чем вы наверняка согласны, из-за чего взгляд на мир искажается. Современные агрегаторы осознают эту проблему и ищут способы балансировки между персонализацией и общественной значимостью контента.Алгоритмические решения. Несколько подходов внедрено на практике. Во-первых, как упоминалось, Google News умышленно оставляет в интерфейсе неперсонализированный блок главных новостей. Пользователь может сразу увидеть общенациональные и мировые топ-темы, даже если обычно он читает про спорт или технологии. Во-вторых, Google предлагает кнопку “Full Coverage”, которая позволяет выйти из пузыря одним нажатием – по конкретной теме показываются различные источники и точки зрения, а алгоритмический приоритет отменяется. Там же пользователь увидит хронологию развития события и даже посты из соцсетей, что даёт целостную картину. Таким образом, Google пытается сочетать индивидуальный подход (“Для вас”) с общим информационным полем.SmartNews пошёл другим путём: его концепция – “персонализированное открытие”. Приложение утверждает, что не хочет загонять читателя в пузырь, наоборот, старается постоянно подкидывать ему что-то новое. Раздел “For You” в SmartNews сочетает ваши интересы с совершенно новыми темами и трендами, которые алгоритм прогнозирует как потенциально интересные. Логика в том, что люди читают новости не только чтобы подтвердить знакомое, но и чтобы удивиться и узнать новое. SmartNews использует ИИ, чтобы предсказывать, что может заинтересовать пользователя дальше, даже если это вне его текущих увлечений. Благодаря этому в ленте появляются материалы, которые читатель сам бы не выбрал, но которые популярны у схожей аудитории и могут расширить его информационный кругозор. Дополнительно, как упомянуто выше, SmartNews ввёл “спектр новостей” – функцию, показывающую, как лево- и правополитические медиа освещают один сюжет. Этот «слайдер» мнений напрямую борется с пузырём, давая возможность взглянуть на новости под другим углом.Многообразие источников. Другие сервисы также экспериментируют с балансировкой. Платформа Newsadoo, к примеру, при персонализации по интересам всё равно показывает несколько версий одной новости из разных СМИ. Читая про событие, пользователь увидит рядом заголовки разных изданий – это напрямую разбивает монотонность и исключает одностороннее покрытие. Вещательная компания VRT (Фландрия) разработала рекомендательный алгоритм для своего новостного приложения, который сначала учитывает предпочтения, но затем постепенно расширяет спектр контента за счёт анализа метаданных. Алгоритм VRT старается аккуратно “подмешивать” в ленту материалы вне привычных вкусов, не перегружая, но понемногу разводя информационное меню пользователя. Цель – приучить аудиторию читать более разнообразные новости, выходя за рамки своих интересов, но делать это плавно, чтобы не потерять вовлечённость.
Роль человеческой модерации.
Отдельно стоит отметить редакционное вмешательство как способ балансировки. Apple News, как уже обсуждалось, доверяет редакторам отбор Top Stories для всех – по сути, люди-кураторы гарантируют, что утром все пользователи увидят подборку главных новостей, независимо от персональных настроек. Это включает в себя и потенциально неприятные, но важные темы. Например, если происходит глобальный кризис или чрезвычайное происшествие, Apple News вынесет его наверх для всех пользователей – даже тех, кто обычно такие темы избегает. Кроме Apple, подобный гибридный подход используют многие порталы: Yahoo! главную страницу наполняет редакция, MSN долгое время делал так же, а персональный контент размещался в отдельных виджетах. Такой баланс между алгоритмом и редактором призван сочетать два достоинства – масштаб и персонализация со стороны ИИ и общественная значимость и проверка со стороны человека.
В результате сегодня мы видим стремление агрегаторов обеспечить пользователю и то, что ему лично интересно, и то, что важно знать каждому гражданину. Полностью решить эту задачу непросто – нужно, чтобы алгоритм достаточно хорошо понимал, какие события имеют объективную важность. Тем не менее, комбинация методов (неперсональные блоки, режимы полноты обзора, разнообразие источников, ручной отбор) заметно улучшает ситуацию. При грамотном использовании таких функций читатель может одновременно наслаждаться контентом «для души» и не пропускать новости, которые определяют информационную картину дня.
Фильтрация информационного шума и манипуляций
Борьба с шумом. Информационный шум – это избыток нерелевантных или дублирующих сведений, мешающих увидеть суть. Персонализированные системы стараются минимизировать шум несколькими способами. Во-первых, почти все агрегаторы кластеризуют дубликаты статей: если десятки сайтов перепечатали одну и ту же новость, пользователь не увидит ее 50 раз, а получит один заголовок (с возможностью раскрыть другие источники при желании). Например, SmartNews агрегирует новости из разных изданий в одном интерфейсе, благодаря чему исключается необходимость переходить по множеству сайтов отдельно. Пользователь экономит время и не утопает в повторяющемся контенте – приложение само “собирает и склеивает” сходные новости. Во-вторых, умные алгоритмы пытаются отсеивать нерелевантное на этапе выбора: анализируют текст, тематику, даже тон публикации, чтобы определить, интересна ли она конкретному читателю. Шумом может считаться и несоответствие предпочтениям – например, если человеку неинтересен спорт, лента должна фильтровать спортивные статьи. Настройки и обратная связь помогают в этом: многие сервисы позволяют выбрать любимые темы/источники или, наоборот, скрыть нежелательные. В SmartNews, к примеру, пользователь может указывать доверенные источники и приоритетные темы, чтобы алгоритм фокусировался на них. По мере взаимодействия (чтения, скрытия, лайки) система «учится» все точнее отбирать релевантный и надежный контент.Еще одна тактика – ограничение потока. В отличие от соцсетей с бесконечной прокруткой, некоторые новостные приложения намеренно не перегружают ленту. Они могут выдавать определенное число статей в день (как делал, например, Yahoo News Digest) или формировать издания по расписанию (утренний и вечерний дайджест). Это предотвращает бесконтрольный поток сведений. Хотя такой подход менее популярен сейчас, элементы его появляются (как обсуждалось с Flipboard Storyboards – фиксированными подборками).
Противодействие дезинформации.
Манипуляции и фейковые новости – серьезный вызов для алгоритмических лент. С одной стороны, крупные агрегаторы стремятся работать только с авторитетными источниками. Google News, Apple News и др. имеют списки одобренных издателей; прежде чем неизвестный сайт попадет в выдачу, он проходит модерацию. Это отсеивает откровенно сомнительные ресурсы. С другой стороны, даже у признанных медиа бывают ошибки или предвзятость, а полностью исключить проникновение вирусных фейков трудно (особенно в соцсетях, где пользователи сами делятся новостями). Поэтому разрабатываются и автоматические фильтры. Например, Facebook внедрил алгоритмы для выявления явных фейков и кликбейта (анализа заголовков на типичные сенсационные шаблоны), понижения их в выдаче или маркировки. В новостных агрегаторах также используются метаданные: Google News помечает некоторые статьи как “Fact check” (проверка фактов) – эти метки присваиваются материалам, в которых содержится вывод независимой фактчекинговой организации. Если по громкой теме распространяются противоречивые сведения, Google News может показать карточку со сводкой от фактчекеров рядом с новостями, чтобы предупредить читателей. Кроме того, режимы множественных источников (вроде упомянутого Full Coverage или показа параллельно нескольких новостей на одну тему) сами по себе являются инструментом борьбы с манипуляциями. Когда читатель видит одновременно несколько интерпретаций события и сопоставляет их, сложнее утаить искаженную информацию. SmartNews, показывая новости “бок о бок” от разных изданий, поощряет аудиторию обращать внимание на расхождения и выявлять возможный уклон. Это снижает шанс, что фейк или пропагандистский нарратив останется незамеченным – другие источники дадут альтернативные факты.Тем не менее, эффективность этих мер не абсолютна. Алгоритмы не обладают истинным здравым смыслом и могут допускать курьезы. Уже упоминался случай, когда ИИ-редактор Microsoft перепутал фотографии в новости– такой визуальный фейл способен дезинформировать аудиторию (например, ошибочно идентифицировать человека на фото). Другой пример – сенсационность и пристрастность алгоритмов. Системы рекомендаций часто оптимизируются на метрику кликов и вовлеченности, что невольно поощряет “кричащий” контент. Исследование, сравнившее работу людей и машин в Apple News, показало, что алгоритм склонен выбирать более развлекательные и скандальные темы, чем редакторы. Меньшее разнообразие источников в автоматической выдаче тоже может быть формой информационной манипуляции – пользователь видит только ограниченный набор мнений. Эти ограничения признают и сами разработчики. Например, компания Twipe (занимается цифровыми новостными продуктами) отмечает, что пользователи ценят персонализацию, но опасаются предвзятости и изоляции во мнениях. Кроме того, многих волнуют приватность (что алгоритм знает о них слишком много) и прозрачность работы таких систем. Ведь если лента что-то скрыла, пользователь редко узнает об этом и не может проконтролировать или оспорить решение алгоритма.В итоге борьба с шумом и дезинформацией продолжается на нескольких фронтах: улучшение алгоритмических фильтров, привлечение независимых проверок, повышение разнообразия контента для самокоррекции, а также внедрение возможностей для пользователей влиять на выдачу (например, кнопки “Мне это не важно” или “Пожаловаться на новость”). Полностью автоматическое решение пока недостижимо, но сочетание технических и гуманитарных методов помогает сделать новостной поток более чистым и надёжным. Многие сервисы сегодня стремятся давать “полезную смесь” – с одной стороны, отфильтрованную от спама и фейков, с другой – достаточно широкую, чтобы человек сам мог сделать вывод, сравнив разные данные.
Технологии и исследования интеллектуальной фильтрации новостей
Анализ контента и профиля.
Персонализированная выдача новостей опирается на ряд ключевых технологий. Одно из центральных мест занимает контентная фильтрация: алгоритмы анализируют тексты статей с помощью NLP (обработки естественного языка), чтобы понять их тематику, ключевые сущности (персоны, организации, места) и даже тональность. На основе этого строятся профили интересов. Так, уже упомянутый сервис News360 применял семантический анализ и строил для каждого пользователя «граф интересов», отражающий его любимые темы. Схожие принципы используются и крупными компаниями – например, у Microsoft News и Google News есть модели, которые представляют интересы как набор тематических признаков или слов, полученных из ранее прочитанных статей. Другой распространенный метод – коллаборативная фильтрация, когда система смотрит не только на ваш личный профиль, но и на поведение похожих пользователей. Если люди со сходными интересами вдруг начали читать новую тему, возможно, и вам она будет интересна. Мы уже видели это на примере SmartNews, где явно говорится об учёте того, что читают «другие, похожие на вас»business.smartnews.com
. Большие данные о поведении множества пользователей позволяют рекомендательной системе делать такие перекрестные выводы.
Диверсификация и серендипность.
В академических исследованиях новостных рекомендаций много внимания уделяется проблеме разнообразия выдачи. Считается, что помимо точного соответствия интересам, лента должна включать контент, который расширяет кругозор и не дает скучать. В частности, повышение разнообразия напрямую предлагается как способ смягчить эффект фильтр-пузыря. Учёные ввели метрики для оценки разнообразия новостных рекомендаций – например, Intra-List Diversity (ILD), которая измеряет, насколько непохожи друг на друга статьи в предложенном списке. Если алгоритм слишком монотонен, ILD будет низкой. В ответ появились модели, учитывающие новизну (novelty) и серендипность. Одной из ранних систем была Newsjunkie, которая ранжировала новости для пользователя по принципу «насколько эта статья нова относительно уже прочитанного». То есть если вы весь день читали про экономику, Newsjunkie поднимала выше новости других тематик, чтобы разбавить информационное поле. Современные подходы интегрируют такие идеи в нейросетевые рекомендации: например, оценивают различие в эмоциональной тональности новостей или следят, чтобы в топ не попали все новости с одного источника. Диверсификация стала настолько важна, что её рассматривают как отдельную задачу при разработке новостных рекомендателей.
Обучение и модели ИИ.
За кулисами персональных лент работают сложные алгоритмы machine learning. Раньше это были в основном решающие деревья с множеством признаков или методы factorization (матричные разложения) для коллаборативной фильтрации. Сейчас доминируют нейросетевые модели, специально обученные на новостных данных. Крупные игроки (тот же Microsoft) публиковали научные работы о своих моделях: например, NPA (Neural News Recommendation) – нейросеть, учитывающая новостной заголовок, тело статьи и персональные интересы через механизмы внимания; или Wide & Deep модели, комбинирующие запоминание частых интересов и обобщение новых. В 2020 году был открыт датасет MIND (от Microsoft) – большой набор данных о том, какие новости читали миллионы пользователей MSN, с целью стимуляции исследований в этой области. Это позволило академическим группам разрабатывать и тестировать новые подходы. Среди интересных направлений – учёт временных факторов (modeling news sequence, поскольку интересы меняются день ото дня), учёт контекста (например, с какого устройства или в какое время суток потребляются новости, чтобы адаптировать формат), и даже попытки внедрять объяснимость. Последнее особенно важно: если алгоритм сможет объяснить, почему он рекомендует ту или иную статью, это повысит доверие пользователей. Пока что объяснимость достигается простыми средствами (например, подписью «потому что вы читали X»), но исследования ведутся и в сторону более интеллектуальных объяснений (например, выделять, что «эта новость упоминает ту же тему, что и вчерашняя вами прочитанная статья»).
Фильтрация фейков и качественных метрик.
Интересным суб-направлением является определение качества и достоверности новостей. Алгоритмы в будущем могут научиться автоматически различать качественную журналистику от поверхностной. Уже есть попытки учитывать репутацию источника, сложность изложения, наличие фактов vs мнений. Отдельно развивается детекция фейковых новостей с помощью ИИ: обучаются классификаторы, которые по тексту и метаданным стараются понять, является ли новость намеренной дезинформацией. Хотя полностью заменить человеческую фактчекинговую экспертизу сложно, такие модели могут служить фильтром первого уровня, помечая подозрительный контент для дальнейшей проверки. Также появляются концепции вроде “умных модераторов”, которые сидят поверх агрегатора и наблюдают за аномалиями (например, внезапно вирусная новость из неизвестного блога) – сигнализируя об этом человеку-редактору или автоматически уменьшая охват до выяснения обстоятельств.
Социальный контекст и персонализация. Новостная персонализация не ограничивается индивидуальными аппетитами – она вплетена в социальные процессы. Поэтому исследователи в области медиа обсуждают такие понятия, как поляризация, эхо-камеры (когда люди общаются только с единомышленниками и получают подтверждение своим взглядам), и влияние алгоритмов на общественное мнение. Некоторые работы даже проверяют, есть ли реально эффект пузыря. Отчёт Reuters Institute (2020) показал, что при обычном сценарии использования люди всё же получают достаточно разнообразия источников, и явного сильного пузыря персонализации они не обнаружили – скорее, пользователь сам склонен выбирать комфортные источники. Тем не менее, риск узости кругозора признаётся, и потому крупные новостные платформы продолжают вводить решения для контрольного впрыска разнообразия. На институциональном уровне идут дискуссии о «алгоритмической ответственности»: должны ли компании нести ответственность за деформацию информационной картины у пользователя, как измерять качество информационной диеты и т.п. Появляется даже термин “responsible recommendation” – подразумевающий этические принципы в дизайне таких алгоритмов (учёт общественного блага, избегание дискриминации, защита приватности и т.д.).Пробелы современных решений и перспективы развития
Несмотря на прогресс, в нынешних системах остаются существенные пробелы, которые открывают возможности для создания новой, улучшенной платформы персонализированных новостей:
Эффект пузыря и эхо-камеры. Полностью избавиться от фильтрационного пузыря пока не удалось. Даже с функциями вроде Full Coverage или политического слайдера, многие пользователи остаются в пределах комфортного им инфополя. Не каждый читатель будет нажимать специальные кнопки для разнообразия – зачастую люди пассивно потребляют, что дает лента. Поэтому новые решения могут глубже интегрировать разнообразие по умолчанию. Например, перспективно внедрять многокритериальные алгоритмы, которые оптимизируют не только персональную релевантность, но и “ценность” новости. Можно представить систему баллов важности: событие глобального масштаба получает высокий базовый вес, гарантирующий показ, даже если профиль пользователя и не совпадает. Некоторые эксперты предлагают дать самим пользователям инструменты контроля: например, ползунок персонализация–универсальность, где человек может настроить, хочет ли он более узкую или более широкую ленту. Пока таких интерфейсов почти нет, но их появление могло бы снизить проблему пузыря.
Качество и доверие к источникам. Сегодняшние агрегаторы в основном не объясняют, почему та или иная новость появилась у вас в ленте. Отсутствие прозрачности рождает недоверие и ощущение манипуляции. Новая система могла бы предложить прозрачный режим: например, при клике на новость показывать, какими факторами она выбрана («Популярно среди читателей в вашем городе», «Свежая статья по теме X, которой вы интересуетесь», «Важно: крупное событие дня» и т.п.). Также остается проблема фейков и пропаганды. Здесь можно улучшить фильтры, интегрировать больше сигналов. Перспективное направление – оценка надежности на лету: алгоритм вычисляет условный рейтинг доверия к статье, учитывая надежность источника, тональность (слишком эмоционально – подозрительно), совпадение с другими источниками и пр. Такой рейтинг мог бы сообщаться читателю (например, индикатором или предупреждением). К примеру, если новость подтверждена множеством независимых источников, система пометит ее как «верифицированная», а если информация сырая и исходит из одного соцсетевого поста – как «непроверенная». Пока подобное реализовано лишь фрагментарно (в виде меток фактчека), но дальнейшая автоматизация проверки фактов с ИИ – важный резерв.
Персонализация без перегибов. Современные алгоритмы в погоне за кликами иногда перегибают, зацикливаясь на одном типе контента (например, увидев интерес к скандальной хронике, могут заполнить ленту похожими историями). Пользователя это может быстро утомить или вызвать разочарование. Новый подход мог бы внедрить более человеческий такт: учитывать насыщение темой. Например, если за день вам показали уже 5 новостей про экономику, шестую стоит заменить чем-то другим – аналогично тому, как редактор газеты не станет печатать десять одинаковых статей. Здесь поможет и упомянутая концепция конечных изданий: подавать новости порциями, где каждая порция тщательно сбалансирована (как полоса в газете). Персонализация может происходить на уровне того, какие материалы войдут в эту порцию, но сама порция будет ограниченной и разнообразной. Такие эксперименты уже ведутся (JAMES, Flipboard и др.), и они перспективны для снижения информационного перенасыщения.
Учет индивидуальных ценностей и контекста. Текущие агрегаторы знают о наших кликах, но мало знают о нашем намерении или настроении. Перспективная система могла бы быть более контекстуальной: например, утром показывать сводку деловых новостей, а вечером – более развлекательный контент, исходя из предполагаемого настроения пользователя. Для этого ИИ может учитывать время суток, местоположение (на работе или дома), устройство (на смартфоне – короткие заметки, на планшете – лонгриды) и даже данные календаря (если у вас встреча с кем-то из финансовой отрасли, подсунуть последние финансовые новости для подготовки). Это ведет нас к идее умного новостного ассистента, который интегрирован в повседневную жизнь. Уже есть зачатки – голосовые помощники (Siri, Alexa) умеют зачитывать новости, но их персонализация примитивна. В будущем можно ожидать диалоговые системы, где вы можете спросить: «Что нового в науке?» – и получить сгенерированную ИИ сводку, релевантную вашим интересам, а затем уточнить «А что по моему городу?» и так далее. Это качественно новый уровень персонализации – по запросу и под ситуацию, а не только заранее спрогнозированные рекомендации.
Приватность и контроль данных. Наконец, важный пробел – доверие пользователей в плане конфиденциальности. Алгоритмы персонализации питаются данными о нас, и не всем это приятно. Новое решение могло бы привлекать аудиторию за счет приватности по дизайну: хранить профили локально на устройстве (как вариант, использовать технику federated learning, когда общая модель обучается без выгрузки личных данных на сервер). Или, как минимум, давать пользователю просмотреть и отредактировать свой «профиль интересов», который система про него составила. Это убьет двух зайцев: и прозрачность повысится (человек видит, что о нем «думает» ИИ, и может скорректировать), и лишних страхов не будет. В настоящее время мало кто из агрегаторов предоставляет такую возможность – это явный резерв для новых продуктов.
Перспективы развития. Вектор прогресса в области персонализированных новостей очевиден: системы будут становиться умнее, гибче и ответственнее. С возрастанием вычислительных мощностей и успехами AI мы увидим всё более тонкое понимание контента – вплоть до автоматического резюмирования новостей (чтобы в ленте показывался краткий тезис, а детально – по клику) и сквозного связывания сюжетов (например, ИИ будет напоминать, что это продолжение истории, о которой вы читали на прошлой неделе, обеспечивая контекст). Также вероятна интеграция мультимедиа: персонализация видео-новостей, подкастов по интересам. Уже сейчас YouTube и другие платформы рекомендуют новостные ролики по похожим алгоритмам.
Отдельно стоит ожидать усовершенствований в балансировке и достоверности. Давление общества и регуляторов (в свете проблем фейкньюс и поляризации) мотивирует компании делать алгоритмы более нейтральными и полезными для общества. Возможно, появятся этические рамки или независимые аудиты персонализированных лент, чтобы исключить злоупотребления (например, скрытую политическую цензуру или дискриминацию интересов меньшинств). Технологически это может реализоваться через добавление в модель целей по диверсификации и метрик “качества диеты”. Например, ИИ будет пытаться за неделю показать пользователю определенную норму разнообразия источников и тем, своего рода «информационную пирамиду питания».
Подводя итог, интеллектуальные новостные агрегаторы уже сейчас значительно облегчают нам жизнь, отфильтровывая тонны информации и подстраивая новости под наши интересы. Однако путь к идеально сбалансированной и надежной системе ещё не закончен. Необходимо и дальше совершенствовать алгоритмы, сочетать их с лучшими практиками журналистики и обеспечивать читателям как персональный, так и всеобъемлющий взгляд на мир. Технологии ИИ в этой области развиваются стремительно, и при критичном подходе и инновациях у нас есть шанс получить новостные сервисы, которые будут одновременно и увлекательными, и познавательными, и общественно значимымиtwipemobile.com
. Такой осознанный подход к персонализации позволит людям оставаться хорошо информированными, не тонуть в информационном шуме и не попадать в ловушки алгоритмов, а напротив – использовать их себе во благо.
Источники:
Cool-Fergus, S. Are Personalised News Aggregators Enhancing Our World or Echoing Our Biases? – Twipe (2024)
twipemobile.com
twipemobile.com
SmartNews Blog. “For You” – a smarter way to discover news (2017)
business.smartnews.com
business.smartnews.com
business.smartnews.com
Thenextweb. Google News has a new feature that may just pop your filter bubble (2018)
thenextweb.com
thenextweb.com
thenextweb.com
Seroundtable. Google: Our Personalized Results Do Not Create Filter Bubbles (2018)
seroundtable.com
Twipe (Case Studies). SmartNews, Newsadoo, VRT… (2024)
twipemobile.com
twipemobile.com
twipemobile.com
Twipe (Case Studies). Flipboard and JAMES… (2024)
twipemobile.com
twipemobile.com
Artsyltech. AI-Driven Insights: How SmartNews Top Stories are Reshaped (2023)
artsyltech.com
artsyltech.com
Artsyltech. SmartNews – Minimizing Bias (2023)
artsyltech.com
artsyltech.com
Wikipedia. News360 – personalized news app (2010–2022)
en.wikipedia.org
The Guardian. Apple News algorithms pick more celeb stories than human editors, study finds (2020)
ojs.aaai.org
Wu et al. Personalized News Recommendation: Methods and Challenges – ACM Computing Surveys (2021)
arxiv.org
arxiv.org
В повести Дмитрия Галковского «Друг утят» описана информационная система будущего, основанная на персональных модераторах. Эти модераторы представляют собой сложные программы с антропоморфной оболочкой, настроенные на индивидуальные предпочтения пользователя. Они фильтруют огромный поток информации по заданным критериям, таким как темы, объем, стиль подачи и внешность виртуального «диктора». Например, пользователь может настроить модератор на получение ежедневных 30 минут информации о Румынии, баскетболе и египтологии, поданной с легким скепсисом и элементами эротики, причем модератор будет выглядеть как его дедушка. Такая система позволяет человеку жить в информационном «коконе», общаясь через Интернет с единомышленниками или меняя фильтры по желанию. В этом обществе отсутствуют идеологические системы, а каждый человек сам определяет, что он хочет знать, исключая элемент драматургии и чужой воли из общения. Таким образом, общество становится настолько лживым, что даже правдиво, поскольку никто никого сознательно не обманывает, а каждый получает информацию в соответствии со своими настройками фильтра.
magazines.gorky.media
Система персональных модераторов, описанная в Друге утят, имеет много привлекательных черт, особенно с точки зрения когнитивной эффективности:
Плюсы:
Фильтрация информационного шума – исключение нежелательной информации снижает перегрузку мозга и экономит время.
Персонализация контента – каждый получает именно то, что ему интересно, в нужном формате и объеме.
Минимизация манипуляций – отсутствие навязанной идеологии снижает вероятность внешнего влияния.
Оптимизация обучения – возможность формировать поток знаний в удобной и интересной форме.
Эмоциональный комфорт – контент подается так, чтобы минимизировать стресс и дискомфорт.
Минусы и риски:
Эффект «информационного кокона» – человек перестает сталкиваться с неожиданными идеями, что может вести к интеллектуальной стагнации.
Подтверждение предвзятостей – фильтры только усиливают уже существующие убеждения, что ведет к поляризации общества.
Потеря критического мышления – если система подстраивается под желания, пользователь реже сталкивается с аргументами, которые его мировоззрение ставят под сомнение.
Упадок социальной реальности – люди перестают взаимодействовать с носителями иных точек зрения, что может привести к радикализации и узости восприятия.
Возможность скрытого управления – если модератором управляют внешние силы, можно незаметно менять картину мира пользователя, не вызывая у него дискомфорта.
Система действительно устраняет раздражающие факторы и делает поток информации удобным. Однако она превращает человека в заложника своих собственных предпочтений и заблуждений. Это идеальная машина для создания общества «удовлетворенных идиотов», где каждый варится в своем маленьком пузыре, не видя общей картины.
В идеале такая технология должна сочетать персонализацию с обязательной дозой случайности – чтобы время от времени подкидывать пользователю неожиданные, но потенциально полезные точки зрения. Тогда это будет инструментом развития, а не цифровым наркотиком.
Идеальная персонализированная новостная система.
Основные принципы системы
Персонализация + Контролируемая случайность – система фильтрует контент по интересам, но обязательным блоком включает события высокой значимости.
Многоуровневое представление – новости подаются разными способами: заголовками, краткими сводками, глубинным анализом.
Динамическая адаптация – система анализирует, как пользователь реагирует на новости, и корректирует подачу информации.
Геопривязка – интеграция с локальными событиями для оперативного информирования.
Модуль критического мышления – подача новостей с разбором альтернативных точек зрения и потенциальных манипуляций.
Архитектура системы
Научные прорывы (новые технологии, открытия, медицинские достижения).
Геополитические кризисы (войны, революции, санкции).
Экономические катаклизмы (кризисы, крахи рынков, изменения в мировых финансах).
Природные и техногенные катастрофы.
Культурные вехи (смерть знаковых личностей, революции в искусстве).
Изменения в законодательстве, затрагивающие базовые права.
Алгоритм определяет «нельзя пропустить» по ряду критериев:
✔ Влияние на мировую политику / экономику / технологии.
✔ Влияние на жизнь обычного человека.
✔ Историческая важность.
✅ Дебрифинг – утренний / вечерний персональный свод новостей с анализом.
✅ Температура информационного поля – график изменения «напряженности» в мире по темам.
✅ Архив событий – возможность «перемотать назад» и посмотреть развитие темы.
✅ Прогнозный анализ – система моделирует возможные последствия ключевых событий.
Вывод
Такая система объединяет персонализацию и объективную необходимость быть в курсе важного. Она не превращает пользователя в «инфо-наркомана», но и не оставляет его в пузыре собственных интересов.
Главный вызов – баланс между свободой выбора и необходимостью знать критически важное.
Проведем исследование по двум направлениям:
Существующие новостные системы, которые частично или полностью реализуют концепцию персонализированной новостной ленты с фильтрацией и анализом значимых событий.
Исследования и концепты, связанные с идеей интеллектуального новостного агрегатора, который минимизирует информационный шум, но не позволяет пропустить ключевые события.
Каждый день публикуются тысячи новостей, и без автоматической фильтрации пользователям трудно выделить важное. Современные новостные агрегаторы и персонализированные ленты используют алгоритмы искусственного интеллекта (ИИ), чтобы адаптировать поток новостей под интересы каждого читателя и облегчить информационную перегрузку. Такие системы анализируют, что читатель просматривал и что ему понравилось, и на этой основе предлагают релевантные статьи. Ниже представлен обзор основных решений, их возможностей и ограничений, а также перспективы развития технологий умной персонализации новостей.
Платформы с умной персонализацией новостей
Google News. Один из крупнейших новостных агрегаторов, Google News, активно применяет ИИ для подбора контента. После обновления 2018 года сервис использует алгоритмы машинного обучения для показа новостей, которые «вы больше всего захотите прочитать — как про события рядом с вами, так и по всему миру». При этом Google News строит персонализированную ленту «For You», учитывая историю запросов и чтения пользователя, но не отказывается и от общих разделов. Например, раздел “Top Stories” («Главные новости») в Google News вообще не персонализируется – он показывает всем одни и те же ключевые новости дня . Это гарантирует, что важнейшие мировые события будут видны каждому, даже если его личные интересы лежат в других темах. Кроме того, Google агрегирует новости из множества источников и группирует статьи по одному событию. В рамках функции “Full Coverage” («Полный охват») Google News отключает персональный рейтинг и показывает хронологическую ленту материалов по выбранной теме, включая разные точки зрения и источники. Такой подход помогает читателю получить панорамный обзор события без искажения алгоритмом.Apple News. Apple News сочетает алгоритмические рекомендации с человеческой редактурой. Секция Top Stories в приложении отбирается командой редакторов вручную, чтобы выделить главные новости дня, тогда как другие разделы (например, Trending Stories и персонализированные рекомендации For You) формируются алгоритмами на основе интересов пользователя. Исследования показали, что алгоритмическая лента склонна выбирать больше развлекательного контента и менее разнообразные источники по сравнению с подборкой людей-редакторов. В частности, автоматический раздел Trending в Apple News чаще выдавал новости о знаменитостях и поп-культуре, тогда как редакторы в Top Stories предлагали более сбалансированный и широкий круг тем. Это подчеркнуло важность гибридного подхода: Apple стремится найти баланс, доверяя ИИ в персональных рекомендациях, но одновременно используя опыт редакторов, чтобы покрыть критически важные темы и избежать перекоса в сторону «желтых» новостей. Пользователь Apple News также может влиять на ленту – например, отмечать “Suggest Less/More” (показывать меньше/больше подобного) для тонкой настройки рекомендаций.
Специализированные новостные приложения.
На рынке существует ряд независимых агрегаторов, делающих ставку на умную персонализацию. Например, приложение SmartNews применяет машинное обучение, чтобы анализировать миллионы статей в сети и отбирать для пользователя самое актуальное. SmartNews известен своим режимом “For You”, который позиционируется как «персонализированное открытие» новостей. В отличие от некоторых конкурентов, которые просто повторяют ваши прошлые просмотры, SmartNews старается предлагать новые темы, которые могут вас заинтересовать, даже если вы о них ранее не читали. Такой подход призван расширять кругозор читателя, а не только замыкать его в привычных темах. Чем больше вы пользуетесь приложением, тем точнее оно подбирает контент – SmartNews отмечает, что анализирует, какие материалы «другие пользователи, похожие на вас» находят интересными, и на этой основе рекомендует их и вам. Помимо этого, SmartNews внедряет специальные функции для разнообразия контента – например, политический «слайдер», позволяющий посмотреть, как различные медиа (правого или левого толка) освещают одну и ту же историю. Это помогает пользователю увидеть альтернативные точки зрения и сформировать более взвешенное мнение.Другой пример – Flipboard, популярный агрегатор, оформляющий новости в виде журнальной ленты. Flipboard позволяет пользователям выбирать интересующие темы и источники, а затем автоматически наполняет их «журнал» связанными статьями. Со временем алгоритм изучает предпочтения – что пользователь пролистывает, а что читает – и все точнее настраивает выдачу. Чтобы бороться с перегрузкой, Flipboard экспериментирует с «конечными подборками». В частности, формат Storyboards предлагает подборку материалов по определенной теме с четкой структурой и финалом, в отличие от бесконечной прокрутки стандартной ленты. Такой конечный пакет новостей позволяет читателю получить завершенный обзор темы и избежать ощущения, что новости «бездонны» – это повышает удовлетворенность и предотвращает утомление от бесконечного потока.
Региональные и социальные платформы.
В разных странах появились собственные системы персонализированной ленты. Например, в русскоязычном сегменте известна платформа Яндекс.Дзен – сервис, где алгоритмы Яндекса с помощью нейросетей формируют для каждого пользователя уникальную смесь новостей, статей и блог-постов. Яндекс.Дзен анализирует поведение (что читаете, на какие заголовки кликаете, сколько времени проводите) и наполняет ленту контентом, который с наибольшей вероятностью вам понравится. Пользователь может влиять на выдачу прямо – ставить «лайк» или «дизлайк» записям, подписываться на интересные каналы или блокировать неинтересные, и алгоритм учтёт эти сигналы при дальнейшей персонализации. Помимо агрегаторов, стоит упомянуть и социальные сети (Facebook, ВКонтакте, Twitter), ленты которых тоже фактически стали персональными новостными потоками. Лента Facebook знаменита своим алгоритмом, который с помощью машинного обучения оценивает сотни тысяч кандидатов на показ и выбирает те посты и новости, которые, по прогнозу, больше всего заинтересуют конкретного человека. Это превращает социальные сети в мощные персонализированные каналы новостей – хотя их цель скорее удерживать внимание, чем обеспечить полноту обзора событий.
ИИ-алгоритмы для выявления ключевых событий
Современные агрегаторы применяют ИИ не только для подбора интересного контента, но и для оперативного обнаружения важных событий в мире. Например, Google News автоматически кластеризует сотни статей по схожей тематике, фактически распознавая, когда множество источников пишут об одном и том же событии (будь то крупная авария, выборы или релиз нового продукта). Затем алгоритмы могут оценить значимость таких кластеров (например, по количеству публикаций, охвату аудитории, географии) и вынести наиболее важные события в раздел топ-новостей. Благодаря этому Google News быстро отражает новые мировые тренды: если где-то происходит нечто значимое, агрегатор вскоре покажет это всем пользователям в “Top Stories”. По словам Google, топ-новости обновляются очень часто именно потому, что они зависят от событий реального времени, а не от профиля пользователя.Многие платформы разрабатывают собственные системы автоматического детектирования новостей. Microsoft в рамках MSN News долгое время сочетала ручной отбор с алгоритмами, а в последние годы сделала шаг к полной автоматизации. В 2020 году сообщалось, что Microsoft сократила штат редакторов и перешла на ИИ-систему, которая должна сама выбирать трендовые новости, писать заголовки и подбирать изображения. Эта система мониторит сотни источников и метрик, чтобы определить, какие темы сейчас «на взлёте». Однако опыт показал, что полагаться только на ИИ рискованно – вскоре после перехода на роботов произошёл инцидент, когда MSN выдала новость с перепутанной фотографией участниц музыкальной группы (алгоритм неверно сопоставил картинку с персоной). Этот случай подчеркнул, что для корректного выявления событий ИИ пока необходим присмотр или доработка, особенно в части точности и контекстного понимания.Отдельного упоминания заслуживает подход SmartNews. Сервис позиционируется как «AI-driven news aggregator», то есть агрегатор, управляемый ИИ. Его алгоритмы интеллектуально отбирают топ-статьи из различных источников и удобно доставляют их пользователю. Фактически SmartNews выполняет роль автоматического редактора: просеивает огромный поток публикаций (в том числе локальные новости, блоги, нишевые издания) и собирает каждому читателю обновляемую подборку главных событий дня. Похожие идеи реализуются и в других проектах – например, платформа Newsadoo в Европе агрегирует новости с помощью ИИ и группирует их по событиям, сразу показывая несколько версий статьи об одном инфоповоде. В сфере медиаразведки (media intelligence) существуют системы вроде Event Registry, которые полностью посвящены отслеживанию мировых событий: они в реальном времени парсят тысячи новостных лент по всему миру, с помощью обработки естественного языка определяют, какие сообщения относятся к одному событию, и даже пытаются оценить его тон и влияние. Хотя такие системы чаще используются журналистами и аналитиками, сам факт их появления говорит о больших возможностях ИИ в обнаружении и ранжировании событий.В целом, ИИ-алгоритмы уже умеют выявлять “что важно” на основе колоссальных данных. Они ловят всплески обсуждений (в СМИ и соцсетях), определяют новости, которые быстро набирают популярность, и могут предупредить редакции или пользователей о “breaking news” (только что произошедших). Пользовательские агрегаторы вроде Google News и SmartNews внедряют эти технологии, чтобы читатели получали не только персональные, но и своевременные оповещения о ключевых мировых новостях.
Баланс между интересами и критически важными новостями
Проблема “пузыря фильтров”. Когда алгоритмы слишком узко подстраивают ленту под вкусы пользователя, возникает риск так называемого «информационного пузыря». Этот термин (filter bubble) ввёл интернет-активист Элай Паризер, описав ситуацию, когда человек видит только ту информацию, которая подтверждает его взгляды, а важные альтернативные мнения остаются за бортом. В новостях эффект пузыря особенно опасен: читатель может упускать события глобального значения или не получать критически важные новости, если они вне зоны его обычных интересов. Кроме того, замкнутая среда мнений усиливает поляризацию: лента показывает лишь то, с чем вы наверняка согласны, из-за чего взгляд на мир искажается. Современные агрегаторы осознают эту проблему и ищут способы балансировки между персонализацией и общественной значимостью контента.Алгоритмические решения. Несколько подходов внедрено на практике. Во-первых, как упоминалось, Google News умышленно оставляет в интерфейсе неперсонализированный блок главных новостей. Пользователь может сразу увидеть общенациональные и мировые топ-темы, даже если обычно он читает про спорт или технологии. Во-вторых, Google предлагает кнопку “Full Coverage”, которая позволяет выйти из пузыря одним нажатием – по конкретной теме показываются различные источники и точки зрения, а алгоритмический приоритет отменяется. Там же пользователь увидит хронологию развития события и даже посты из соцсетей, что даёт целостную картину. Таким образом, Google пытается сочетать индивидуальный подход (“Для вас”) с общим информационным полем.SmartNews пошёл другим путём: его концепция – “персонализированное открытие”. Приложение утверждает, что не хочет загонять читателя в пузырь, наоборот, старается постоянно подкидывать ему что-то новое. Раздел “For You” в SmartNews сочетает ваши интересы с совершенно новыми темами и трендами, которые алгоритм прогнозирует как потенциально интересные. Логика в том, что люди читают новости не только чтобы подтвердить знакомое, но и чтобы удивиться и узнать новое. SmartNews использует ИИ, чтобы предсказывать, что может заинтересовать пользователя дальше, даже если это вне его текущих увлечений. Благодаря этому в ленте появляются материалы, которые читатель сам бы не выбрал, но которые популярны у схожей аудитории и могут расширить его информационный кругозор. Дополнительно, как упомянуто выше, SmartNews ввёл “спектр новостей” – функцию, показывающую, как лево- и правополитические медиа освещают один сюжет. Этот «слайдер» мнений напрямую борется с пузырём, давая возможность взглянуть на новости под другим углом.Многообразие источников. Другие сервисы также экспериментируют с балансировкой. Платформа Newsadoo, к примеру, при персонализации по интересам всё равно показывает несколько версий одной новости из разных СМИ. Читая про событие, пользователь увидит рядом заголовки разных изданий – это напрямую разбивает монотонность и исключает одностороннее покрытие. Вещательная компания VRT (Фландрия) разработала рекомендательный алгоритм для своего новостного приложения, который сначала учитывает предпочтения, но затем постепенно расширяет спектр контента за счёт анализа метаданных. Алгоритм VRT старается аккуратно “подмешивать” в ленту материалы вне привычных вкусов, не перегружая, но понемногу разводя информационное меню пользователя. Цель – приучить аудиторию читать более разнообразные новости, выходя за рамки своих интересов, но делать это плавно, чтобы не потерять вовлечённость.
Роль человеческой модерации.
Отдельно стоит отметить редакционное вмешательство как способ балансировки. Apple News, как уже обсуждалось, доверяет редакторам отбор Top Stories для всех – по сути, люди-кураторы гарантируют, что утром все пользователи увидят подборку главных новостей, независимо от персональных настроек. Это включает в себя и потенциально неприятные, но важные темы. Например, если происходит глобальный кризис или чрезвычайное происшествие, Apple News вынесет его наверх для всех пользователей – даже тех, кто обычно такие темы избегает. Кроме Apple, подобный гибридный подход используют многие порталы: Yahoo! главную страницу наполняет редакция, MSN долгое время делал так же, а персональный контент размещался в отдельных виджетах. Такой баланс между алгоритмом и редактором призван сочетать два достоинства – масштаб и персонализация со стороны ИИ и общественная значимость и проверка со стороны человека.
В результате сегодня мы видим стремление агрегаторов обеспечить пользователю и то, что ему лично интересно, и то, что важно знать каждому гражданину. Полностью решить эту задачу непросто – нужно, чтобы алгоритм достаточно хорошо понимал, какие события имеют объективную важность. Тем не менее, комбинация методов (неперсональные блоки, режимы полноты обзора, разнообразие источников, ручной отбор) заметно улучшает ситуацию. При грамотном использовании таких функций читатель может одновременно наслаждаться контентом «для души» и не пропускать новости, которые определяют информационную картину дня.
Фильтрация информационного шума и манипуляций
Борьба с шумом. Информационный шум – это избыток нерелевантных или дублирующих сведений, мешающих увидеть суть. Персонализированные системы стараются минимизировать шум несколькими способами. Во-первых, почти все агрегаторы кластеризуют дубликаты статей: если десятки сайтов перепечатали одну и ту же новость, пользователь не увидит ее 50 раз, а получит один заголовок (с возможностью раскрыть другие источники при желании). Например, SmartNews агрегирует новости из разных изданий в одном интерфейсе, благодаря чему исключается необходимость переходить по множеству сайтов отдельно. Пользователь экономит время и не утопает в повторяющемся контенте – приложение само “собирает и склеивает” сходные новости. Во-вторых, умные алгоритмы пытаются отсеивать нерелевантное на этапе выбора: анализируют текст, тематику, даже тон публикации, чтобы определить, интересна ли она конкретному читателю. Шумом может считаться и несоответствие предпочтениям – например, если человеку неинтересен спорт, лента должна фильтровать спортивные статьи. Настройки и обратная связь помогают в этом: многие сервисы позволяют выбрать любимые темы/источники или, наоборот, скрыть нежелательные. В SmartNews, к примеру, пользователь может указывать доверенные источники и приоритетные темы, чтобы алгоритм фокусировался на них. По мере взаимодействия (чтения, скрытия, лайки) система «учится» все точнее отбирать релевантный и надежный контент.Еще одна тактика – ограничение потока. В отличие от соцсетей с бесконечной прокруткой, некоторые новостные приложения намеренно не перегружают ленту. Они могут выдавать определенное число статей в день (как делал, например, Yahoo News Digest) или формировать издания по расписанию (утренний и вечерний дайджест). Это предотвращает бесконтрольный поток сведений. Хотя такой подход менее популярен сейчас, элементы его появляются (как обсуждалось с Flipboard Storyboards – фиксированными подборками).
Противодействие дезинформации.
Манипуляции и фейковые новости – серьезный вызов для алгоритмических лент. С одной стороны, крупные агрегаторы стремятся работать только с авторитетными источниками. Google News, Apple News и др. имеют списки одобренных издателей; прежде чем неизвестный сайт попадет в выдачу, он проходит модерацию. Это отсеивает откровенно сомнительные ресурсы. С другой стороны, даже у признанных медиа бывают ошибки или предвзятость, а полностью исключить проникновение вирусных фейков трудно (особенно в соцсетях, где пользователи сами делятся новостями). Поэтому разрабатываются и автоматические фильтры. Например, Facebook внедрил алгоритмы для выявления явных фейков и кликбейта (анализа заголовков на типичные сенсационные шаблоны), понижения их в выдаче или маркировки. В новостных агрегаторах также используются метаданные: Google News помечает некоторые статьи как “Fact check” (проверка фактов) – эти метки присваиваются материалам, в которых содержится вывод независимой фактчекинговой организации. Если по громкой теме распространяются противоречивые сведения, Google News может показать карточку со сводкой от фактчекеров рядом с новостями, чтобы предупредить читателей. Кроме того, режимы множественных источников (вроде упомянутого Full Coverage или показа параллельно нескольких новостей на одну тему) сами по себе являются инструментом борьбы с манипуляциями. Когда читатель видит одновременно несколько интерпретаций события и сопоставляет их, сложнее утаить искаженную информацию. SmartNews, показывая новости “бок о бок” от разных изданий, поощряет аудиторию обращать внимание на расхождения и выявлять возможный уклон. Это снижает шанс, что фейк или пропагандистский нарратив останется незамеченным – другие источники дадут альтернативные факты.Тем не менее, эффективность этих мер не абсолютна. Алгоритмы не обладают истинным здравым смыслом и могут допускать курьезы. Уже упоминался случай, когда ИИ-редактор Microsoft перепутал фотографии в новости– такой визуальный фейл способен дезинформировать аудиторию (например, ошибочно идентифицировать человека на фото). Другой пример – сенсационность и пристрастность алгоритмов. Системы рекомендаций часто оптимизируются на метрику кликов и вовлеченности, что невольно поощряет “кричащий” контент. Исследование, сравнившее работу людей и машин в Apple News, показало, что алгоритм склонен выбирать более развлекательные и скандальные темы, чем редакторы. Меньшее разнообразие источников в автоматической выдаче тоже может быть формой информационной манипуляции – пользователь видит только ограниченный набор мнений. Эти ограничения признают и сами разработчики. Например, компания Twipe (занимается цифровыми новостными продуктами) отмечает, что пользователи ценят персонализацию, но опасаются предвзятости и изоляции во мнениях. Кроме того, многих волнуют приватность (что алгоритм знает о них слишком много) и прозрачность работы таких систем. Ведь если лента что-то скрыла, пользователь редко узнает об этом и не может проконтролировать или оспорить решение алгоритма.В итоге борьба с шумом и дезинформацией продолжается на нескольких фронтах: улучшение алгоритмических фильтров, привлечение независимых проверок, повышение разнообразия контента для самокоррекции, а также внедрение возможностей для пользователей влиять на выдачу (например, кнопки “Мне это не важно” или “Пожаловаться на новость”). Полностью автоматическое решение пока недостижимо, но сочетание технических и гуманитарных методов помогает сделать новостной поток более чистым и надёжным. Многие сервисы сегодня стремятся давать “полезную смесь” – с одной стороны, отфильтрованную от спама и фейков, с другой – достаточно широкую, чтобы человек сам мог сделать вывод, сравнив разные данные.
Технологии и исследования интеллектуальной фильтрации новостей
Анализ контента и профиля.
Персонализированная выдача новостей опирается на ряд ключевых технологий. Одно из центральных мест занимает контентная фильтрация: алгоритмы анализируют тексты статей с помощью NLP (обработки естественного языка), чтобы понять их тематику, ключевые сущности (персоны, организации, места) и даже тональность. На основе этого строятся профили интересов. Так, уже упомянутый сервис News360 применял семантический анализ и строил для каждого пользователя «граф интересов», отражающий его любимые темы. Схожие принципы используются и крупными компаниями – например, у Microsoft News и Google News есть модели, которые представляют интересы как набор тематических признаков или слов, полученных из ранее прочитанных статей. Другой распространенный метод – коллаборативная фильтрация, когда система смотрит не только на ваш личный профиль, но и на поведение похожих пользователей. Если люди со сходными интересами вдруг начали читать новую тему, возможно, и вам она будет интересна. Мы уже видели это на примере SmartNews, где явно говорится об учёте того, что читают «другие, похожие на вас»business.smartnews.com
. Большие данные о поведении множества пользователей позволяют рекомендательной системе делать такие перекрестные выводы.
Диверсификация и серендипность.
В академических исследованиях новостных рекомендаций много внимания уделяется проблеме разнообразия выдачи. Считается, что помимо точного соответствия интересам, лента должна включать контент, который расширяет кругозор и не дает скучать. В частности, повышение разнообразия напрямую предлагается как способ смягчить эффект фильтр-пузыря. Учёные ввели метрики для оценки разнообразия новостных рекомендаций – например, Intra-List Diversity (ILD), которая измеряет, насколько непохожи друг на друга статьи в предложенном списке. Если алгоритм слишком монотонен, ILD будет низкой. В ответ появились модели, учитывающие новизну (novelty) и серендипность. Одной из ранних систем была Newsjunkie, которая ранжировала новости для пользователя по принципу «насколько эта статья нова относительно уже прочитанного». То есть если вы весь день читали про экономику, Newsjunkie поднимала выше новости других тематик, чтобы разбавить информационное поле. Современные подходы интегрируют такие идеи в нейросетевые рекомендации: например, оценивают различие в эмоциональной тональности новостей или следят, чтобы в топ не попали все новости с одного источника. Диверсификация стала настолько важна, что её рассматривают как отдельную задачу при разработке новостных рекомендателей.
Обучение и модели ИИ.
За кулисами персональных лент работают сложные алгоритмы machine learning. Раньше это были в основном решающие деревья с множеством признаков или методы factorization (матричные разложения) для коллаборативной фильтрации. Сейчас доминируют нейросетевые модели, специально обученные на новостных данных. Крупные игроки (тот же Microsoft) публиковали научные работы о своих моделях: например, NPA (Neural News Recommendation) – нейросеть, учитывающая новостной заголовок, тело статьи и персональные интересы через механизмы внимания; или Wide & Deep модели, комбинирующие запоминание частых интересов и обобщение новых. В 2020 году был открыт датасет MIND (от Microsoft) – большой набор данных о том, какие новости читали миллионы пользователей MSN, с целью стимуляции исследований в этой области. Это позволило академическим группам разрабатывать и тестировать новые подходы. Среди интересных направлений – учёт временных факторов (modeling news sequence, поскольку интересы меняются день ото дня), учёт контекста (например, с какого устройства или в какое время суток потребляются новости, чтобы адаптировать формат), и даже попытки внедрять объяснимость. Последнее особенно важно: если алгоритм сможет объяснить, почему он рекомендует ту или иную статью, это повысит доверие пользователей. Пока что объяснимость достигается простыми средствами (например, подписью «потому что вы читали X»), но исследования ведутся и в сторону более интеллектуальных объяснений (например, выделять, что «эта новость упоминает ту же тему, что и вчерашняя вами прочитанная статья»).
Фильтрация фейков и качественных метрик.
Интересным суб-направлением является определение качества и достоверности новостей. Алгоритмы в будущем могут научиться автоматически различать качественную журналистику от поверхностной. Уже есть попытки учитывать репутацию источника, сложность изложения, наличие фактов vs мнений. Отдельно развивается детекция фейковых новостей с помощью ИИ: обучаются классификаторы, которые по тексту и метаданным стараются понять, является ли новость намеренной дезинформацией. Хотя полностью заменить человеческую фактчекинговую экспертизу сложно, такие модели могут служить фильтром первого уровня, помечая подозрительный контент для дальнейшей проверки. Также появляются концепции вроде “умных модераторов”, которые сидят поверх агрегатора и наблюдают за аномалиями (например, внезапно вирусная новость из неизвестного блога) – сигнализируя об этом человеку-редактору или автоматически уменьшая охват до выяснения обстоятельств.
Социальный контекст и персонализация. Новостная персонализация не ограничивается индивидуальными аппетитами – она вплетена в социальные процессы. Поэтому исследователи в области медиа обсуждают такие понятия, как поляризация, эхо-камеры (когда люди общаются только с единомышленниками и получают подтверждение своим взглядам), и влияние алгоритмов на общественное мнение. Некоторые работы даже проверяют, есть ли реально эффект пузыря. Отчёт Reuters Institute (2020) показал, что при обычном сценарии использования люди всё же получают достаточно разнообразия источников, и явного сильного пузыря персонализации они не обнаружили – скорее, пользователь сам склонен выбирать комфортные источники. Тем не менее, риск узости кругозора признаётся, и потому крупные новостные платформы продолжают вводить решения для контрольного впрыска разнообразия. На институциональном уровне идут дискуссии о «алгоритмической ответственности»: должны ли компании нести ответственность за деформацию информационной картины у пользователя, как измерять качество информационной диеты и т.п. Появляется даже термин “responsible recommendation” – подразумевающий этические принципы в дизайне таких алгоритмов (учёт общественного блага, избегание дискриминации, защита приватности и т.д.).Пробелы современных решений и перспективы развития
Несмотря на прогресс, в нынешних системах остаются существенные пробелы, которые открывают возможности для создания новой, улучшенной платформы персонализированных новостей:
Эффект пузыря и эхо-камеры. Полностью избавиться от фильтрационного пузыря пока не удалось. Даже с функциями вроде Full Coverage или политического слайдера, многие пользователи остаются в пределах комфортного им инфополя. Не каждый читатель будет нажимать специальные кнопки для разнообразия – зачастую люди пассивно потребляют, что дает лента. Поэтому новые решения могут глубже интегрировать разнообразие по умолчанию. Например, перспективно внедрять многокритериальные алгоритмы, которые оптимизируют не только персональную релевантность, но и “ценность” новости. Можно представить систему баллов важности: событие глобального масштаба получает высокий базовый вес, гарантирующий показ, даже если профиль пользователя и не совпадает. Некоторые эксперты предлагают дать самим пользователям инструменты контроля: например, ползунок персонализация–универсальность, где человек может настроить, хочет ли он более узкую или более широкую ленту. Пока таких интерфейсов почти нет, но их появление могло бы снизить проблему пузыря.
Качество и доверие к источникам. Сегодняшние агрегаторы в основном не объясняют, почему та или иная новость появилась у вас в ленте. Отсутствие прозрачности рождает недоверие и ощущение манипуляции. Новая система могла бы предложить прозрачный режим: например, при клике на новость показывать, какими факторами она выбрана («Популярно среди читателей в вашем городе», «Свежая статья по теме X, которой вы интересуетесь», «Важно: крупное событие дня» и т.п.). Также остается проблема фейков и пропаганды. Здесь можно улучшить фильтры, интегрировать больше сигналов. Перспективное направление – оценка надежности на лету: алгоритм вычисляет условный рейтинг доверия к статье, учитывая надежность источника, тональность (слишком эмоционально – подозрительно), совпадение с другими источниками и пр. Такой рейтинг мог бы сообщаться читателю (например, индикатором или предупреждением). К примеру, если новость подтверждена множеством независимых источников, система пометит ее как «верифицированная», а если информация сырая и исходит из одного соцсетевого поста – как «непроверенная». Пока подобное реализовано лишь фрагментарно (в виде меток фактчека), но дальнейшая автоматизация проверки фактов с ИИ – важный резерв.
Персонализация без перегибов. Современные алгоритмы в погоне за кликами иногда перегибают, зацикливаясь на одном типе контента (например, увидев интерес к скандальной хронике, могут заполнить ленту похожими историями). Пользователя это может быстро утомить или вызвать разочарование. Новый подход мог бы внедрить более человеческий такт: учитывать насыщение темой. Например, если за день вам показали уже 5 новостей про экономику, шестую стоит заменить чем-то другим – аналогично тому, как редактор газеты не станет печатать десять одинаковых статей. Здесь поможет и упомянутая концепция конечных изданий: подавать новости порциями, где каждая порция тщательно сбалансирована (как полоса в газете). Персонализация может происходить на уровне того, какие материалы войдут в эту порцию, но сама порция будет ограниченной и разнообразной. Такие эксперименты уже ведутся (JAMES, Flipboard и др.), и они перспективны для снижения информационного перенасыщения.
Учет индивидуальных ценностей и контекста. Текущие агрегаторы знают о наших кликах, но мало знают о нашем намерении или настроении. Перспективная система могла бы быть более контекстуальной: например, утром показывать сводку деловых новостей, а вечером – более развлекательный контент, исходя из предполагаемого настроения пользователя. Для этого ИИ может учитывать время суток, местоположение (на работе или дома), устройство (на смартфоне – короткие заметки, на планшете – лонгриды) и даже данные календаря (если у вас встреча с кем-то из финансовой отрасли, подсунуть последние финансовые новости для подготовки). Это ведет нас к идее умного новостного ассистента, который интегрирован в повседневную жизнь. Уже есть зачатки – голосовые помощники (Siri, Alexa) умеют зачитывать новости, но их персонализация примитивна. В будущем можно ожидать диалоговые системы, где вы можете спросить: «Что нового в науке?» – и получить сгенерированную ИИ сводку, релевантную вашим интересам, а затем уточнить «А что по моему городу?» и так далее. Это качественно новый уровень персонализации – по запросу и под ситуацию, а не только заранее спрогнозированные рекомендации.
Приватность и контроль данных. Наконец, важный пробел – доверие пользователей в плане конфиденциальности. Алгоритмы персонализации питаются данными о нас, и не всем это приятно. Новое решение могло бы привлекать аудиторию за счет приватности по дизайну: хранить профили локально на устройстве (как вариант, использовать технику federated learning, когда общая модель обучается без выгрузки личных данных на сервер). Или, как минимум, давать пользователю просмотреть и отредактировать свой «профиль интересов», который система про него составила. Это убьет двух зайцев: и прозрачность повысится (человек видит, что о нем «думает» ИИ, и может скорректировать), и лишних страхов не будет. В настоящее время мало кто из агрегаторов предоставляет такую возможность – это явный резерв для новых продуктов.
Перспективы развития. Вектор прогресса в области персонализированных новостей очевиден: системы будут становиться умнее, гибче и ответственнее. С возрастанием вычислительных мощностей и успехами AI мы увидим всё более тонкое понимание контента – вплоть до автоматического резюмирования новостей (чтобы в ленте показывался краткий тезис, а детально – по клику) и сквозного связывания сюжетов (например, ИИ будет напоминать, что это продолжение истории, о которой вы читали на прошлой неделе, обеспечивая контекст). Также вероятна интеграция мультимедиа: персонализация видео-новостей, подкастов по интересам. Уже сейчас YouTube и другие платформы рекомендуют новостные ролики по похожим алгоритмам.
Отдельно стоит ожидать усовершенствований в балансировке и достоверности. Давление общества и регуляторов (в свете проблем фейкньюс и поляризации) мотивирует компании делать алгоритмы более нейтральными и полезными для общества. Возможно, появятся этические рамки или независимые аудиты персонализированных лент, чтобы исключить злоупотребления (например, скрытую политическую цензуру или дискриминацию интересов меньшинств). Технологически это может реализоваться через добавление в модель целей по диверсификации и метрик “качества диеты”. Например, ИИ будет пытаться за неделю показать пользователю определенную норму разнообразия источников и тем, своего рода «информационную пирамиду питания».
Подводя итог, интеллектуальные новостные агрегаторы уже сейчас значительно облегчают нам жизнь, отфильтровывая тонны информации и подстраивая новости под наши интересы. Однако путь к идеально сбалансированной и надежной системе ещё не закончен. Необходимо и дальше совершенствовать алгоритмы, сочетать их с лучшими практиками журналистики и обеспечивать читателям как персональный, так и всеобъемлющий взгляд на мир. Технологии ИИ в этой области развиваются стремительно, и при критичном подходе и инновациях у нас есть шанс получить новостные сервисы, которые будут одновременно и увлекательными, и познавательными, и общественно значимымиtwipemobile.com
. Такой осознанный подход к персонализации позволит людям оставаться хорошо информированными, не тонуть в информационном шуме и не попадать в ловушки алгоритмов, а напротив – использовать их себе во благо.
Источники:
Cool-Fergus, S. Are Personalised News Aggregators Enhancing Our World or Echoing Our Biases? – Twipe (2024)
twipemobile.com
twipemobile.com
SmartNews Blog. “For You” – a smarter way to discover news (2017)
business.smartnews.com
business.smartnews.com
business.smartnews.com
Thenextweb. Google News has a new feature that may just pop your filter bubble (2018)
thenextweb.com
thenextweb.com
thenextweb.com
Seroundtable. Google: Our Personalized Results Do Not Create Filter Bubbles (2018)
seroundtable.com
Twipe (Case Studies). SmartNews, Newsadoo, VRT… (2024)
twipemobile.com
twipemobile.com
twipemobile.com
Twipe (Case Studies). Flipboard and JAMES… (2024)
twipemobile.com
twipemobile.com
Artsyltech. AI-Driven Insights: How SmartNews Top Stories are Reshaped (2023)
artsyltech.com
artsyltech.com
Artsyltech. SmartNews – Minimizing Bias (2023)
artsyltech.com
artsyltech.com
Wikipedia. News360 – personalized news app (2010–2022)
en.wikipedia.org
The Guardian. Apple News algorithms pick more celeb stories than human editors, study finds (2020)
ojs.aaai.org
Wu et al. Personalized News Recommendation: Methods and Challenges – ACM Computing Surveys (2021)
arxiv.org
arxiv.org
В повести Дмитрия Галковского «Друг утят» описана информационная система будущего, основанная на персональных модераторах. Эти модераторы представляют собой сложные программы с антропоморфной оболочкой, настроенные на индивидуальные предпочтения пользователя. Они фильтруют огромный поток информации по заданным критериям, таким как темы, объем, стиль подачи и внешность виртуального «диктора». Например, пользователь может настроить модератор на получение ежедневных 30 минут информации о Румынии, баскетболе и египтологии, поданной с легким скепсисом и элементами эротики, причем модератор будет выглядеть как его дедушка. Такая система позволяет человеку жить в информационном «коконе», общаясь через Интернет с единомышленниками или меняя фильтры по желанию. В этом обществе отсутствуют идеологические системы, а каждый человек сам определяет, что он хочет знать, исключая элемент драматургии и чужой воли из общения. Таким образом, общество становится настолько лживым, что даже правдиво, поскольку никто никого сознательно не обманывает, а каждый получает информацию в соответствии со своими настройками фильтра.
magazines.gorky.media
Система персональных модераторов, описанная в Друге утят, имеет много привлекательных черт, особенно с точки зрения когнитивной эффективности:
Плюсы:
Фильтрация информационного шума – исключение нежелательной информации снижает перегрузку мозга и экономит время.
Персонализация контента – каждый получает именно то, что ему интересно, в нужном формате и объеме.
Минимизация манипуляций – отсутствие навязанной идеологии снижает вероятность внешнего влияния.
Оптимизация обучения – возможность формировать поток знаний в удобной и интересной форме.
Эмоциональный комфорт – контент подается так, чтобы минимизировать стресс и дискомфорт.
Минусы и риски:
Эффект «информационного кокона» – человек перестает сталкиваться с неожиданными идеями, что может вести к интеллектуальной стагнации.
Подтверждение предвзятостей – фильтры только усиливают уже существующие убеждения, что ведет к поляризации общества.
Потеря критического мышления – если система подстраивается под желания, пользователь реже сталкивается с аргументами, которые его мировоззрение ставят под сомнение.
Упадок социальной реальности – люди перестают взаимодействовать с носителями иных точек зрения, что может привести к радикализации и узости восприятия.
Возможность скрытого управления – если модератором управляют внешние силы, можно незаметно менять картину мира пользователя, не вызывая у него дискомфорта.
Система действительно устраняет раздражающие факторы и делает поток информации удобным. Однако она превращает человека в заложника своих собственных предпочтений и заблуждений. Это идеальная машина для создания общества «удовлетворенных идиотов», где каждый варится в своем маленьком пузыре, не видя общей картины.
В идеале такая технология должна сочетать персонализацию с обязательной дозой случайности – чтобы время от времени подкидывать пользователю неожиданные, но потенциально полезные точки зрения. Тогда это будет инструментом развития, а не цифровым наркотиком.
Идеальная персонализированная новостная система.
Основные принципы системы
Персонализация + Контролируемая случайность – система фильтрует контент по интересам, но обязательным блоком включает события высокой значимости.
Многоуровневое представление – новости подаются разными способами: заголовками, краткими сводками, глубинным анализом.
Динамическая адаптация – система анализирует, как пользователь реагирует на новости, и корректирует подачу информации.
Геопривязка – интеграция с локальными событиями для оперативного информирования.
Модуль критического мышления – подача новостей с разбором альтернативных точек зрения и потенциальных манипуляций.
Архитектура системы
Научные прорывы (новые технологии, открытия, медицинские достижения).
Геополитические кризисы (войны, революции, санкции).
Экономические катаклизмы (кризисы, крахи рынков, изменения в мировых финансах).
Природные и техногенные катастрофы.
Культурные вехи (смерть знаковых личностей, революции в искусстве).
Изменения в законодательстве, затрагивающие базовые права.
Алгоритм определяет «нельзя пропустить» по ряду критериев:
✔ Влияние на мировую политику / экономику / технологии.
✔ Влияние на жизнь обычного человека.
✔ Историческая важность.
✅ Дебрифинг – утренний / вечерний персональный свод новостей с анализом.
✅ Температура информационного поля – график изменения «напряженности» в мире по темам.
✅ Архив событий – возможность «перемотать назад» и посмотреть развитие темы.
✅ Прогнозный анализ – система моделирует возможные последствия ключевых событий.
Вывод
Такая система объединяет персонализацию и объективную необходимость быть в курсе важного. Она не превращает пользователя в «инфо-наркомана», но и не оставляет его в пузыре собственных интересов.
Главный вызов – баланс между свободой выбора и необходимостью знать критически важное.
Проведем исследование по двум направлениям:
Существующие новостные системы, которые частично или полностью реализуют концепцию персонализированной новостной ленты с фильтрацией и анализом значимых событий.
Исследования и концепты, связанные с идеей интеллектуального новостного агрегатора, который минимизирует информационный шум, но не позволяет пропустить ключевые события.
Каждый день публикуются тысячи новостей, и без автоматической фильтрации пользователям трудно выделить важное. Современные новостные агрегаторы и персонализированные ленты используют алгоритмы искусственного интеллекта (ИИ), чтобы адаптировать поток новостей под интересы каждого читателя и облегчить информационную перегрузку. Такие системы анализируют, что читатель просматривал и что ему понравилось, и на этой основе предлагают релевантные статьи. Ниже представлен обзор основных решений, их возможностей и ограничений, а также перспективы развития технологий умной персонализации новостей.
Платформы с умной персонализацией новостей
Google News. Один из крупнейших новостных агрегаторов, Google News, активно применяет ИИ для подбора контента. После обновления 2018 года сервис использует алгоритмы машинного обучения для показа новостей, которые «вы больше всего захотите прочитать — как про события рядом с вами, так и по всему миру». При этом Google News строит персонализированную ленту «For You», учитывая историю запросов и чтения пользователя, но не отказывается и от общих разделов. Например, раздел “Top Stories” («Главные новости») в Google News вообще не персонализируется – он показывает всем одни и те же ключевые новости дня . Это гарантирует, что важнейшие мировые события будут видны каждому, даже если его личные интересы лежат в других темах. Кроме того, Google агрегирует новости из множества источников и группирует статьи по одному событию. В рамках функции “Full Coverage” («Полный охват») Google News отключает персональный рейтинг и показывает хронологическую ленту материалов по выбранной теме, включая разные точки зрения и источники. Такой подход помогает читателю получить панорамный обзор события без искажения алгоритмом.Apple News. Apple News сочетает алгоритмические рекомендации с человеческой редактурой. Секция Top Stories в приложении отбирается командой редакторов вручную, чтобы выделить главные новости дня, тогда как другие разделы (например, Trending Stories и персонализированные рекомендации For You) формируются алгоритмами на основе интересов пользователя. Исследования показали, что алгоритмическая лента склонна выбирать больше развлекательного контента и менее разнообразные источники по сравнению с подборкой людей-редакторов. В частности, автоматический раздел Trending в Apple News чаще выдавал новости о знаменитостях и поп-культуре, тогда как редакторы в Top Stories предлагали более сбалансированный и широкий круг тем. Это подчеркнуло важность гибридного подхода: Apple стремится найти баланс, доверяя ИИ в персональных рекомендациях, но одновременно используя опыт редакторов, чтобы покрыть критически важные темы и избежать перекоса в сторону «желтых» новостей. Пользователь Apple News также может влиять на ленту – например, отмечать “Suggest Less/More” (показывать меньше/больше подобного) для тонкой настройки рекомендаций.
Специализированные новостные приложения.
На рынке существует ряд независимых агрегаторов, делающих ставку на умную персонализацию. Например, приложение SmartNews применяет машинное обучение, чтобы анализировать миллионы статей в сети и отбирать для пользователя самое актуальное. SmartNews известен своим режимом “For You”, который позиционируется как «персонализированное открытие» новостей. В отличие от некоторых конкурентов, которые просто повторяют ваши прошлые просмотры, SmartNews старается предлагать новые темы, которые могут вас заинтересовать, даже если вы о них ранее не читали. Такой подход призван расширять кругозор читателя, а не только замыкать его в привычных темах. Чем больше вы пользуетесь приложением, тем точнее оно подбирает контент – SmartNews отмечает, что анализирует, какие материалы «другие пользователи, похожие на вас» находят интересными, и на этой основе рекомендует их и вам. Помимо этого, SmartNews внедряет специальные функции для разнообразия контента – например, политический «слайдер», позволяющий посмотреть, как различные медиа (правого или левого толка) освещают одну и ту же историю. Это помогает пользователю увидеть альтернативные точки зрения и сформировать более взвешенное мнение.Другой пример – Flipboard, популярный агрегатор, оформляющий новости в виде журнальной ленты. Flipboard позволяет пользователям выбирать интересующие темы и источники, а затем автоматически наполняет их «журнал» связанными статьями. Со временем алгоритм изучает предпочтения – что пользователь пролистывает, а что читает – и все точнее настраивает выдачу. Чтобы бороться с перегрузкой, Flipboard экспериментирует с «конечными подборками». В частности, формат Storyboards предлагает подборку материалов по определенной теме с четкой структурой и финалом, в отличие от бесконечной прокрутки стандартной ленты. Такой конечный пакет новостей позволяет читателю получить завершенный обзор темы и избежать ощущения, что новости «бездонны» – это повышает удовлетворенность и предотвращает утомление от бесконечного потока.
Региональные и социальные платформы.
В разных странах появились собственные системы персонализированной ленты. Например, в русскоязычном сегменте известна платформа Яндекс.Дзен – сервис, где алгоритмы Яндекса с помощью нейросетей формируют для каждого пользователя уникальную смесь новостей, статей и блог-постов. Яндекс.Дзен анализирует поведение (что читаете, на какие заголовки кликаете, сколько времени проводите) и наполняет ленту контентом, который с наибольшей вероятностью вам понравится. Пользователь может влиять на выдачу прямо – ставить «лайк» или «дизлайк» записям, подписываться на интересные каналы или блокировать неинтересные, и алгоритм учтёт эти сигналы при дальнейшей персонализации. Помимо агрегаторов, стоит упомянуть и социальные сети (Facebook, ВКонтакте, Twitter), ленты которых тоже фактически стали персональными новостными потоками. Лента Facebook знаменита своим алгоритмом, который с помощью машинного обучения оценивает сотни тысяч кандидатов на показ и выбирает те посты и новости, которые, по прогнозу, больше всего заинтересуют конкретного человека. Это превращает социальные сети в мощные персонализированные каналы новостей – хотя их цель скорее удерживать внимание, чем обеспечить полноту обзора событий.
ИИ-алгоритмы для выявления ключевых событий
Современные агрегаторы применяют ИИ не только для подбора интересного контента, но и для оперативного обнаружения важных событий в мире. Например, Google News автоматически кластеризует сотни статей по схожей тематике, фактически распознавая, когда множество источников пишут об одном и том же событии (будь то крупная авария, выборы или релиз нового продукта). Затем алгоритмы могут оценить значимость таких кластеров (например, по количеству публикаций, охвату аудитории, географии) и вынести наиболее важные события в раздел топ-новостей. Благодаря этому Google News быстро отражает новые мировые тренды: если где-то происходит нечто значимое, агрегатор вскоре покажет это всем пользователям в “Top Stories”. По словам Google, топ-новости обновляются очень часто именно потому, что они зависят от событий реального времени, а не от профиля пользователя.Многие платформы разрабатывают собственные системы автоматического детектирования новостей. Microsoft в рамках MSN News долгое время сочетала ручной отбор с алгоритмами, а в последние годы сделала шаг к полной автоматизации. В 2020 году сообщалось, что Microsoft сократила штат редакторов и перешла на ИИ-систему, которая должна сама выбирать трендовые новости, писать заголовки и подбирать изображения. Эта система мониторит сотни источников и метрик, чтобы определить, какие темы сейчас «на взлёте». Однако опыт показал, что полагаться только на ИИ рискованно – вскоре после перехода на роботов произошёл инцидент, когда MSN выдала новость с перепутанной фотографией участниц музыкальной группы (алгоритм неверно сопоставил картинку с персоной). Этот случай подчеркнул, что для корректного выявления событий ИИ пока необходим присмотр или доработка, особенно в части точности и контекстного понимания.Отдельного упоминания заслуживает подход SmartNews. Сервис позиционируется как «AI-driven news aggregator», то есть агрегатор, управляемый ИИ. Его алгоритмы интеллектуально отбирают топ-статьи из различных источников и удобно доставляют их пользователю. Фактически SmartNews выполняет роль автоматического редактора: просеивает огромный поток публикаций (в том числе локальные новости, блоги, нишевые издания) и собирает каждому читателю обновляемую подборку главных событий дня. Похожие идеи реализуются и в других проектах – например, платформа Newsadoo в Европе агрегирует новости с помощью ИИ и группирует их по событиям, сразу показывая несколько версий статьи об одном инфоповоде. В сфере медиаразведки (media intelligence) существуют системы вроде Event Registry, которые полностью посвящены отслеживанию мировых событий: они в реальном времени парсят тысячи новостных лент по всему миру, с помощью обработки естественного языка определяют, какие сообщения относятся к одному событию, и даже пытаются оценить его тон и влияние. Хотя такие системы чаще используются журналистами и аналитиками, сам факт их появления говорит о больших возможностях ИИ в обнаружении и ранжировании событий.В целом, ИИ-алгоритмы уже умеют выявлять “что важно” на основе колоссальных данных. Они ловят всплески обсуждений (в СМИ и соцсетях), определяют новости, которые быстро набирают популярность, и могут предупредить редакции или пользователей о “breaking news” (только что произошедших). Пользовательские агрегаторы вроде Google News и SmartNews внедряют эти технологии, чтобы читатели получали не только персональные, но и своевременные оповещения о ключевых мировых новостях.
Баланс между интересами и критически важными новостями
Проблема “пузыря фильтров”. Когда алгоритмы слишком узко подстраивают ленту под вкусы пользователя, возникает риск так называемого «информационного пузыря». Этот термин (filter bubble) ввёл интернет-активист Элай Паризер, описав ситуацию, когда человек видит только ту информацию, которая подтверждает его взгляды, а важные альтернативные мнения остаются за бортом. В новостях эффект пузыря особенно опасен: читатель может упускать события глобального значения или не получать критически важные новости, если они вне зоны его обычных интересов. Кроме того, замкнутая среда мнений усиливает поляризацию: лента показывает лишь то, с чем вы наверняка согласны, из-за чего взгляд на мир искажается. Современные агрегаторы осознают эту проблему и ищут способы балансировки между персонализацией и общественной значимостью контента.Алгоритмические решения. Несколько подходов внедрено на практике. Во-первых, как упоминалось, Google News умышленно оставляет в интерфейсе неперсонализированный блок главных новостей. Пользователь может сразу увидеть общенациональные и мировые топ-темы, даже если обычно он читает про спорт или технологии. Во-вторых, Google предлагает кнопку “Full Coverage”, которая позволяет выйти из пузыря одним нажатием – по конкретной теме показываются различные источники и точки зрения, а алгоритмический приоритет отменяется. Там же пользователь увидит хронологию развития события и даже посты из соцсетей, что даёт целостную картину. Таким образом, Google пытается сочетать индивидуальный подход (“Для вас”) с общим информационным полем.SmartNews пошёл другим путём: его концепция – “персонализированное открытие”. Приложение утверждает, что не хочет загонять читателя в пузырь, наоборот, старается постоянно подкидывать ему что-то новое. Раздел “For You” в SmartNews сочетает ваши интересы с совершенно новыми темами и трендами, которые алгоритм прогнозирует как потенциально интересные. Логика в том, что люди читают новости не только чтобы подтвердить знакомое, но и чтобы удивиться и узнать новое. SmartNews использует ИИ, чтобы предсказывать, что может заинтересовать пользователя дальше, даже если это вне его текущих увлечений. Благодаря этому в ленте появляются материалы, которые читатель сам бы не выбрал, но которые популярны у схожей аудитории и могут расширить его информационный кругозор. Дополнительно, как упомянуто выше, SmartNews ввёл “спектр новостей” – функцию, показывающую, как лево- и правополитические медиа освещают один сюжет. Этот «слайдер» мнений напрямую борется с пузырём, давая возможность взглянуть на новости под другим углом.Многообразие источников. Другие сервисы также экспериментируют с балансировкой. Платформа Newsadoo, к примеру, при персонализации по интересам всё равно показывает несколько версий одной новости из разных СМИ. Читая про событие, пользователь увидит рядом заголовки разных изданий – это напрямую разбивает монотонность и исключает одностороннее покрытие. Вещательная компания VRT (Фландрия) разработала рекомендательный алгоритм для своего новостного приложения, который сначала учитывает предпочтения, но затем постепенно расширяет спектр контента за счёт анализа метаданных. Алгоритм VRT старается аккуратно “подмешивать” в ленту материалы вне привычных вкусов, не перегружая, но понемногу разводя информационное меню пользователя. Цель – приучить аудиторию читать более разнообразные новости, выходя за рамки своих интересов, но делать это плавно, чтобы не потерять вовлечённость.
Роль человеческой модерации.
Отдельно стоит отметить редакционное вмешательство как способ балансировки. Apple News, как уже обсуждалось, доверяет редакторам отбор Top Stories для всех – по сути, люди-кураторы гарантируют, что утром все пользователи увидят подборку главных новостей, независимо от персональных настроек. Это включает в себя и потенциально неприятные, но важные темы. Например, если происходит глобальный кризис или чрезвычайное происшествие, Apple News вынесет его наверх для всех пользователей – даже тех, кто обычно такие темы избегает. Кроме Apple, подобный гибридный подход используют многие порталы: Yahoo! главную страницу наполняет редакция, MSN долгое время делал так же, а персональный контент размещался в отдельных виджетах. Такой баланс между алгоритмом и редактором призван сочетать два достоинства – масштаб и персонализация со стороны ИИ и общественная значимость и проверка со стороны человека.
В результате сегодня мы видим стремление агрегаторов обеспечить пользователю и то, что ему лично интересно, и то, что важно знать каждому гражданину. Полностью решить эту задачу непросто – нужно, чтобы алгоритм достаточно хорошо понимал, какие события имеют объективную важность. Тем не менее, комбинация методов (неперсональные блоки, режимы полноты обзора, разнообразие источников, ручной отбор) заметно улучшает ситуацию. При грамотном использовании таких функций читатель может одновременно наслаждаться контентом «для души» и не пропускать новости, которые определяют информационную картину дня.
Фильтрация информационного шума и манипуляций
Борьба с шумом. Информационный шум – это избыток нерелевантных или дублирующих сведений, мешающих увидеть суть. Персонализированные системы стараются минимизировать шум несколькими способами. Во-первых, почти все агрегаторы кластеризуют дубликаты статей: если десятки сайтов перепечатали одну и ту же новость, пользователь не увидит ее 50 раз, а получит один заголовок (с возможностью раскрыть другие источники при желании). Например, SmartNews агрегирует новости из разных изданий в одном интерфейсе, благодаря чему исключается необходимость переходить по множеству сайтов отдельно. Пользователь экономит время и не утопает в повторяющемся контенте – приложение само “собирает и склеивает” сходные новости. Во-вторых, умные алгоритмы пытаются отсеивать нерелевантное на этапе выбора: анализируют текст, тематику, даже тон публикации, чтобы определить, интересна ли она конкретному читателю. Шумом может считаться и несоответствие предпочтениям – например, если человеку неинтересен спорт, лента должна фильтровать спортивные статьи. Настройки и обратная связь помогают в этом: многие сервисы позволяют выбрать любимые темы/источники или, наоборот, скрыть нежелательные. В SmartNews, к примеру, пользователь может указывать доверенные источники и приоритетные темы, чтобы алгоритм фокусировался на них. По мере взаимодействия (чтения, скрытия, лайки) система «учится» все точнее отбирать релевантный и надежный контент.Еще одна тактика – ограничение потока. В отличие от соцсетей с бесконечной прокруткой, некоторые новостные приложения намеренно не перегружают ленту. Они могут выдавать определенное число статей в день (как делал, например, Yahoo News Digest) или формировать издания по расписанию (утренний и вечерний дайджест). Это предотвращает бесконтрольный поток сведений. Хотя такой подход менее популярен сейчас, элементы его появляются (как обсуждалось с Flipboard Storyboards – фиксированными подборками).
Противодействие дезинформации.
Манипуляции и фейковые новости – серьезный вызов для алгоритмических лент. С одной стороны, крупные агрегаторы стремятся работать только с авторитетными источниками. Google News, Apple News и др. имеют списки одобренных издателей; прежде чем неизвестный сайт попадет в выдачу, он проходит модерацию. Это отсеивает откровенно сомнительные ресурсы. С другой стороны, даже у признанных медиа бывают ошибки или предвзятость, а полностью исключить проникновение вирусных фейков трудно (особенно в соцсетях, где пользователи сами делятся новостями). Поэтому разрабатываются и автоматические фильтры. Например, Facebook внедрил алгоритмы для выявления явных фейков и кликбейта (анализа заголовков на типичные сенсационные шаблоны), понижения их в выдаче или маркировки. В новостных агрегаторах также используются метаданные: Google News помечает некоторые статьи как “Fact check” (проверка фактов) – эти метки присваиваются материалам, в которых содержится вывод независимой фактчекинговой организации. Если по громкой теме распространяются противоречивые сведения, Google News может показать карточку со сводкой от фактчекеров рядом с новостями, чтобы предупредить читателей. Кроме того, режимы множественных источников (вроде упомянутого Full Coverage или показа параллельно нескольких новостей на одну тему) сами по себе являются инструментом борьбы с манипуляциями. Когда читатель видит одновременно несколько интерпретаций события и сопоставляет их, сложнее утаить искаженную информацию. SmartNews, показывая новости “бок о бок” от разных изданий, поощряет аудиторию обращать внимание на расхождения и выявлять возможный уклон. Это снижает шанс, что фейк или пропагандистский нарратив останется незамеченным – другие источники дадут альтернативные факты.Тем не менее, эффективность этих мер не абсолютна. Алгоритмы не обладают истинным здравым смыслом и могут допускать курьезы. Уже упоминался случай, когда ИИ-редактор Microsoft перепутал фотографии в новости– такой визуальный фейл способен дезинформировать аудиторию (например, ошибочно идентифицировать человека на фото). Другой пример – сенсационность и пристрастность алгоритмов. Системы рекомендаций часто оптимизируются на метрику кликов и вовлеченности, что невольно поощряет “кричащий” контент. Исследование, сравнившее работу людей и машин в Apple News, показало, что алгоритм склонен выбирать более развлекательные и скандальные темы, чем редакторы. Меньшее разнообразие источников в автоматической выдаче тоже может быть формой информационной манипуляции – пользователь видит только ограниченный набор мнений. Эти ограничения признают и сами разработчики. Например, компания Twipe (занимается цифровыми новостными продуктами) отмечает, что пользователи ценят персонализацию, но опасаются предвзятости и изоляции во мнениях. Кроме того, многих волнуют приватность (что алгоритм знает о них слишком много) и прозрачность работы таких систем. Ведь если лента что-то скрыла, пользователь редко узнает об этом и не может проконтролировать или оспорить решение алгоритма.В итоге борьба с шумом и дезинформацией продолжается на нескольких фронтах: улучшение алгоритмических фильтров, привлечение независимых проверок, повышение разнообразия контента для самокоррекции, а также внедрение возможностей для пользователей влиять на выдачу (например, кнопки “Мне это не важно” или “Пожаловаться на новость”). Полностью автоматическое решение пока недостижимо, но сочетание технических и гуманитарных методов помогает сделать новостной поток более чистым и надёжным. Многие сервисы сегодня стремятся давать “полезную смесь” – с одной стороны, отфильтрованную от спама и фейков, с другой – достаточно широкую, чтобы человек сам мог сделать вывод, сравнив разные данные.
Технологии и исследования интеллектуальной фильтрации новостей
Анализ контента и профиля.
Персонализированная выдача новостей опирается на ряд ключевых технологий. Одно из центральных мест занимает контентная фильтрация: алгоритмы анализируют тексты статей с помощью NLP (обработки естественного языка), чтобы понять их тематику, ключевые сущности (персоны, организации, места) и даже тональность. На основе этого строятся профили интересов. Так, уже упомянутый сервис News360 применял семантический анализ и строил для каждого пользователя «граф интересов», отражающий его любимые темы. Схожие принципы используются и крупными компаниями – например, у Microsoft News и Google News есть модели, которые представляют интересы как набор тематических признаков или слов, полученных из ранее прочитанных статей. Другой распространенный метод – коллаборативная фильтрация, когда система смотрит не только на ваш личный профиль, но и на поведение похожих пользователей. Если люди со сходными интересами вдруг начали читать новую тему, возможно, и вам она будет интересна. Мы уже видели это на примере SmartNews, где явно говорится об учёте того, что читают «другие, похожие на вас»business.smartnews.com
. Большие данные о поведении множества пользователей позволяют рекомендательной системе делать такие перекрестные выводы.
Диверсификация и серендипность.
В академических исследованиях новостных рекомендаций много внимания уделяется проблеме разнообразия выдачи. Считается, что помимо точного соответствия интересам, лента должна включать контент, который расширяет кругозор и не дает скучать. В частности, повышение разнообразия напрямую предлагается как способ смягчить эффект фильтр-пузыря. Учёные ввели метрики для оценки разнообразия новостных рекомендаций – например, Intra-List Diversity (ILD), которая измеряет, насколько непохожи друг на друга статьи в предложенном списке. Если алгоритм слишком монотонен, ILD будет низкой. В ответ появились модели, учитывающие новизну (novelty) и серендипность. Одной из ранних систем была Newsjunkie, которая ранжировала новости для пользователя по принципу «насколько эта статья нова относительно уже прочитанного». То есть если вы весь день читали про экономику, Newsjunkie поднимала выше новости других тематик, чтобы разбавить информационное поле. Современные подходы интегрируют такие идеи в нейросетевые рекомендации: например, оценивают различие в эмоциональной тональности новостей или следят, чтобы в топ не попали все новости с одного источника. Диверсификация стала настолько важна, что её рассматривают как отдельную задачу при разработке новостных рекомендателей.
Обучение и модели ИИ.
За кулисами персональных лент работают сложные алгоритмы machine learning. Раньше это были в основном решающие деревья с множеством признаков или методы factorization (матричные разложения) для коллаборативной фильтрации. Сейчас доминируют нейросетевые модели, специально обученные на новостных данных. Крупные игроки (тот же Microsoft) публиковали научные работы о своих моделях: например, NPA (Neural News Recommendation) – нейросеть, учитывающая новостной заголовок, тело статьи и персональные интересы через механизмы внимания; или Wide & Deep модели, комбинирующие запоминание частых интересов и обобщение новых. В 2020 году был открыт датасет MIND (от Microsoft) – большой набор данных о том, какие новости читали миллионы пользователей MSN, с целью стимуляции исследований в этой области. Это позволило академическим группам разрабатывать и тестировать новые подходы. Среди интересных направлений – учёт временных факторов (modeling news sequence, поскольку интересы меняются день ото дня), учёт контекста (например, с какого устройства или в какое время суток потребляются новости, чтобы адаптировать формат), и даже попытки внедрять объяснимость. Последнее особенно важно: если алгоритм сможет объяснить, почему он рекомендует ту или иную статью, это повысит доверие пользователей. Пока что объяснимость достигается простыми средствами (например, подписью «потому что вы читали X»), но исследования ведутся и в сторону более интеллектуальных объяснений (например, выделять, что «эта новость упоминает ту же тему, что и вчерашняя вами прочитанная статья»).
Фильтрация фейков и качественных метрик.
Интересным суб-направлением является определение качества и достоверности новостей. Алгоритмы в будущем могут научиться автоматически различать качественную журналистику от поверхностной. Уже есть попытки учитывать репутацию источника, сложность изложения, наличие фактов vs мнений. Отдельно развивается детекция фейковых новостей с помощью ИИ: обучаются классификаторы, которые по тексту и метаданным стараются понять, является ли новость намеренной дезинформацией. Хотя полностью заменить человеческую фактчекинговую экспертизу сложно, такие модели могут служить фильтром первого уровня, помечая подозрительный контент для дальнейшей проверки. Также появляются концепции вроде “умных модераторов”, которые сидят поверх агрегатора и наблюдают за аномалиями (например, внезапно вирусная новость из неизвестного блога) – сигнализируя об этом человеку-редактору или автоматически уменьшая охват до выяснения обстоятельств.
Социальный контекст и персонализация. Новостная персонализация не ограничивается индивидуальными аппетитами – она вплетена в социальные процессы. Поэтому исследователи в области медиа обсуждают такие понятия, как поляризация, эхо-камеры (когда люди общаются только с единомышленниками и получают подтверждение своим взглядам), и влияние алгоритмов на общественное мнение. Некоторые работы даже проверяют, есть ли реально эффект пузыря. Отчёт Reuters Institute (2020) показал, что при обычном сценарии использования люди всё же получают достаточно разнообразия источников, и явного сильного пузыря персонализации они не обнаружили – скорее, пользователь сам склонен выбирать комфортные источники. Тем не менее, риск узости кругозора признаётся, и потому крупные новостные платформы продолжают вводить решения для контрольного впрыска разнообразия. На институциональном уровне идут дискуссии о «алгоритмической ответственности»: должны ли компании нести ответственность за деформацию информационной картины у пользователя, как измерять качество информационной диеты и т.п. Появляется даже термин “responsible recommendation” – подразумевающий этические принципы в дизайне таких алгоритмов (учёт общественного блага, избегание дискриминации, защита приватности и т.д.).Пробелы современных решений и перспективы развития
Несмотря на прогресс, в нынешних системах остаются существенные пробелы, которые открывают возможности для создания новой, улучшенной платформы персонализированных новостей:
Эффект пузыря и эхо-камеры. Полностью избавиться от фильтрационного пузыря пока не удалось. Даже с функциями вроде Full Coverage или политического слайдера, многие пользователи остаются в пределах комфортного им инфополя. Не каждый читатель будет нажимать специальные кнопки для разнообразия – зачастую люди пассивно потребляют, что дает лента. Поэтому новые решения могут глубже интегрировать разнообразие по умолчанию. Например, перспективно внедрять многокритериальные алгоритмы, которые оптимизируют не только персональную релевантность, но и “ценность” новости. Можно представить систему баллов важности: событие глобального масштаба получает высокий базовый вес, гарантирующий показ, даже если профиль пользователя и не совпадает. Некоторые эксперты предлагают дать самим пользователям инструменты контроля: например, ползунок персонализация–универсальность, где человек может настроить, хочет ли он более узкую или более широкую ленту. Пока таких интерфейсов почти нет, но их появление могло бы снизить проблему пузыря.
Качество и доверие к источникам. Сегодняшние агрегаторы в основном не объясняют, почему та или иная новость появилась у вас в ленте. Отсутствие прозрачности рождает недоверие и ощущение манипуляции. Новая система могла бы предложить прозрачный режим: например, при клике на новость показывать, какими факторами она выбрана («Популярно среди читателей в вашем городе», «Свежая статья по теме X, которой вы интересуетесь», «Важно: крупное событие дня» и т.п.). Также остается проблема фейков и пропаганды. Здесь можно улучшить фильтры, интегрировать больше сигналов. Перспективное направление – оценка надежности на лету: алгоритм вычисляет условный рейтинг доверия к статье, учитывая надежность источника, тональность (слишком эмоционально – подозрительно), совпадение с другими источниками и пр. Такой рейтинг мог бы сообщаться читателю (например, индикатором или предупреждением). К примеру, если новость подтверждена множеством независимых источников, система пометит ее как «верифицированная», а если информация сырая и исходит из одного соцсетевого поста – как «непроверенная». Пока подобное реализовано лишь фрагментарно (в виде меток фактчека), но дальнейшая автоматизация проверки фактов с ИИ – важный резерв.
Персонализация без перегибов. Современные алгоритмы в погоне за кликами иногда перегибают, зацикливаясь на одном типе контента (например, увидев интерес к скандальной хронике, могут заполнить ленту похожими историями). Пользователя это может быстро утомить или вызвать разочарование. Новый подход мог бы внедрить более человеческий такт: учитывать насыщение темой. Например, если за день вам показали уже 5 новостей про экономику, шестую стоит заменить чем-то другим – аналогично тому, как редактор газеты не станет печатать десять одинаковых статей. Здесь поможет и упомянутая концепция конечных изданий: подавать новости порциями, где каждая порция тщательно сбалансирована (как полоса в газете). Персонализация может происходить на уровне того, какие материалы войдут в эту порцию, но сама порция будет ограниченной и разнообразной. Такие эксперименты уже ведутся (JAMES, Flipboard и др.), и они перспективны для снижения информационного перенасыщения.
Учет индивидуальных ценностей и контекста. Текущие агрегаторы знают о наших кликах, но мало знают о нашем намерении или настроении. Перспективная система могла бы быть более контекстуальной: например, утром показывать сводку деловых новостей, а вечером – более развлекательный контент, исходя из предполагаемого настроения пользователя. Для этого ИИ может учитывать время суток, местоположение (на работе или дома), устройство (на смартфоне – короткие заметки, на планшете – лонгриды) и даже данные календаря (если у вас встреча с кем-то из финансовой отрасли, подсунуть последние финансовые новости для подготовки). Это ведет нас к идее умного новостного ассистента, который интегрирован в повседневную жизнь. Уже есть зачатки – голосовые помощники (Siri, Alexa) умеют зачитывать новости, но их персонализация примитивна. В будущем можно ожидать диалоговые системы, где вы можете спросить: «Что нового в науке?» – и получить сгенерированную ИИ сводку, релевантную вашим интересам, а затем уточнить «А что по моему городу?» и так далее. Это качественно новый уровень персонализации – по запросу и под ситуацию, а не только заранее спрогнозированные рекомендации.
Приватность и контроль данных. Наконец, важный пробел – доверие пользователей в плане конфиденциальности. Алгоритмы персонализации питаются данными о нас, и не всем это приятно. Новое решение могло бы привлекать аудиторию за счет приватности по дизайну: хранить профили локально на устройстве (как вариант, использовать технику federated learning, когда общая модель обучается без выгрузки личных данных на сервер). Или, как минимум, давать пользователю просмотреть и отредактировать свой «профиль интересов», который система про него составила. Это убьет двух зайцев: и прозрачность повысится (человек видит, что о нем «думает» ИИ, и может скорректировать), и лишних страхов не будет. В настоящее время мало кто из агрегаторов предоставляет такую возможность – это явный резерв для новых продуктов.
Перспективы развития. Вектор прогресса в области персонализированных новостей очевиден: системы будут становиться умнее, гибче и ответственнее. С возрастанием вычислительных мощностей и успехами AI мы увидим всё более тонкое понимание контента – вплоть до автоматического резюмирования новостей (чтобы в ленте показывался краткий тезис, а детально – по клику) и сквозного связывания сюжетов (например, ИИ будет напоминать, что это продолжение истории, о которой вы читали на прошлой неделе, обеспечивая контекст). Также вероятна интеграция мультимедиа: персонализация видео-новостей, подкастов по интересам. Уже сейчас YouTube и другие платформы рекомендуют новостные ролики по похожим алгоритмам.
Отдельно стоит ожидать усовершенствований в балансировке и достоверности. Давление общества и регуляторов (в свете проблем фейкньюс и поляризации) мотивирует компании делать алгоритмы более нейтральными и полезными для общества. Возможно, появятся этические рамки или независимые аудиты персонализированных лент, чтобы исключить злоупотребления (например, скрытую политическую цензуру или дискриминацию интересов меньшинств). Технологически это может реализоваться через добавление в модель целей по диверсификации и метрик “качества диеты”. Например, ИИ будет пытаться за неделю показать пользователю определенную норму разнообразия источников и тем, своего рода «информационную пирамиду питания».
Подводя итог, интеллектуальные новостные агрегаторы уже сейчас значительно облегчают нам жизнь, отфильтровывая тонны информации и подстраивая новости под наши интересы. Однако путь к идеально сбалансированной и надежной системе ещё не закончен. Необходимо и дальше совершенствовать алгоритмы, сочетать их с лучшими практиками журналистики и обеспечивать читателям как персональный, так и всеобъемлющий взгляд на мир. Технологии ИИ в этой области развиваются стремительно, и при критичном подходе и инновациях у нас есть шанс получить новостные сервисы, которые будут одновременно и увлекательными, и познавательными, и общественно значимымиtwipemobile.com
. Такой осознанный подход к персонализации позволит людям оставаться хорошо информированными, не тонуть в информационном шуме и не попадать в ловушки алгоритмов, а напротив – использовать их себе во благо.
Источники:
Cool-Fergus, S. Are Personalised News Aggregators Enhancing Our World or Echoing Our Biases? – Twipe (2024)
twipemobile.com
twipemobile.com
SmartNews Blog. “For You” – a smarter way to discover news (2017)
business.smartnews.com
business.smartnews.com
business.smartnews.com
Thenextweb. Google News has a new feature that may just pop your filter bubble (2018)
thenextweb.com
thenextweb.com
thenextweb.com
Seroundtable. Google: Our Personalized Results Do Not Create Filter Bubbles (2018)
seroundtable.com
Twipe (Case Studies). SmartNews, Newsadoo, VRT… (2024)
twipemobile.com
twipemobile.com
twipemobile.com
Twipe (Case Studies). Flipboard and JAMES… (2024)
twipemobile.com
twipemobile.com
Artsyltech. AI-Driven Insights: How SmartNews Top Stories are Reshaped (2023)
artsyltech.com
artsyltech.com
Artsyltech. SmartNews – Minimizing Bias (2023)
artsyltech.com
artsyltech.com
Wikipedia. News360 – personalized news app (2010–2022)
en.wikipedia.org
The Guardian. Apple News algorithms pick more celeb stories than human editors, study finds (2020)
ojs.aaai.org
Wu et al. Personalized News Recommendation: Methods and Challenges – ACM Computing Surveys (2021)
arxiv.org
arxiv.org
В повести Дмитрия Галковского «Друг утят» описана информационная система будущего, основанная на персональных модераторах. Эти модераторы представляют собой сложные программы с антропоморфной оболочкой, настроенные на индивидуальные предпочтения пользователя. Они фильтруют огромный поток информации по заданным критериям, таким как темы, объем, стиль подачи и внешность виртуального «диктора». Например, пользователь может настроить модератор на получение ежедневных 30 минут информации о Румынии, баскетболе и египтологии, поданной с легким скепсисом и элементами эротики, причем модератор будет выглядеть как его дедушка. Такая система позволяет человеку жить в информационном «коконе», общаясь через Интернет с единомышленниками или меняя фильтры по желанию. В этом обществе отсутствуют идеологические системы, а каждый человек сам определяет, что он хочет знать, исключая элемент драматургии и чужой воли из общения. Таким образом, общество становится настолько лживым, что даже правдиво, поскольку никто никого сознательно не обманывает, а каждый получает информацию в соответствии со своими настройками фильтра.
magazines.gorky.media
Система персональных модераторов, описанная в Друге утят, имеет много привлекательных черт, особенно с точки зрения когнитивной эффективности:
Плюсы:
Фильтрация информационного шума – исключение нежелательной информации снижает перегрузку мозга и экономит время.
Персонализация контента – каждый получает именно то, что ему интересно, в нужном формате и объеме.
Минимизация манипуляций – отсутствие навязанной идеологии снижает вероятность внешнего влияния.
Оптимизация обучения – возможность формировать поток знаний в удобной и интересной форме.
Эмоциональный комфорт – контент подается так, чтобы минимизировать стресс и дискомфорт.
Минусы и риски:
Эффект «информационного кокона» – человек перестает сталкиваться с неожиданными идеями, что может вести к интеллектуальной стагнации.
Подтверждение предвзятостей – фильтры только усиливают уже существующие убеждения, что ведет к поляризации общества.
Потеря критического мышления – если система подстраивается под желания, пользователь реже сталкивается с аргументами, которые его мировоззрение ставят под сомнение.
Упадок социальной реальности – люди перестают взаимодействовать с носителями иных точек зрения, что может привести к радикализации и узости восприятия.
Возможность скрытого управления – если модератором управляют внешние силы, можно незаметно менять картину мира пользователя, не вызывая у него дискомфорта.
Система действительно устраняет раздражающие факторы и делает поток информации удобным. Однако она превращает человека в заложника своих собственных предпочтений и заблуждений. Это идеальная машина для создания общества «удовлетворенных идиотов», где каждый варится в своем маленьком пузыре, не видя общей картины.
В идеале такая технология должна сочетать персонализацию с обязательной дозой случайности – чтобы время от времени подкидывать пользователю неожиданные, но потенциально полезные точки зрения. Тогда это будет инструментом развития, а не цифровым наркотиком.
Идеальная персонализированная новостная система.
Основные принципы системы
Персонализация + Контролируемая случайность – система фильтрует контент по интересам, но обязательным блоком включает события высокой значимости.
Многоуровневое представление – новости подаются разными способами: заголовками, краткими сводками, глубинным анализом.
Динамическая адаптация – система анализирует, как пользователь реагирует на новости, и корректирует подачу информации.
Геопривязка – интеграция с локальными событиями для оперативного информирования.
Модуль критического мышления – подача новостей с разбором альтернативных точек зрения и потенциальных манипуляций.
Архитектура системы
Научные прорывы (новые технологии, открытия, медицинские достижения).
Геополитические кризисы (войны, революции, санкции).
Экономические катаклизмы (кризисы, крахи рынков, изменения в мировых финансах).
Природные и техногенные катастрофы.
Культурные вехи (смерть знаковых личностей, революции в искусстве).
Изменения в законодательстве, затрагивающие базовые права.
Алгоритм определяет «нельзя пропустить» по ряду критериев:
✔ Влияние на мировую политику / экономику / технологии.
✔ Влияние на жизнь обычного человека.
✔ Историческая важность.
✅ Дебрифинг – утренний / вечерний персональный свод новостей с анализом.
✅ Температура информационного поля – график изменения «напряженности» в мире по темам.
✅ Архив событий – возможность «перемотать назад» и посмотреть развитие темы.
✅ Прогнозный анализ – система моделирует возможные последствия ключевых событий.
Вывод
Такая система объединяет персонализацию и объективную необходимость быть в курсе важного. Она не превращает пользователя в «инфо-наркомана», но и не оставляет его в пузыре собственных интересов.
Главный вызов – баланс между свободой выбора и необходимостью знать критически важное.
Проведем исследование по двум направлениям:
Существующие новостные системы, которые частично или полностью реализуют концепцию персонализированной новостной ленты с фильтрацией и анализом значимых событий.
Исследования и концепты, связанные с идеей интеллектуального новостного агрегатора, который минимизирует информационный шум, но не позволяет пропустить ключевые события.
Каждый день публикуются тысячи новостей, и без автоматической фильтрации пользователям трудно выделить важное. Современные новостные агрегаторы и персонализированные ленты используют алгоритмы искусственного интеллекта (ИИ), чтобы адаптировать поток новостей под интересы каждого читателя и облегчить информационную перегрузку. Такие системы анализируют, что читатель просматривал и что ему понравилось, и на этой основе предлагают релевантные статьи. Ниже представлен обзор основных решений, их возможностей и ограничений, а также перспективы развития технологий умной персонализации новостей.
Платформы с умной персонализацией новостей
Google News. Один из крупнейших новостных агрегаторов, Google News, активно применяет ИИ для подбора контента. После обновления 2018 года сервис использует алгоритмы машинного обучения для показа новостей, которые «вы больше всего захотите прочитать — как про события рядом с вами, так и по всему миру». При этом Google News строит персонализированную ленту «For You», учитывая историю запросов и чтения пользователя, но не отказывается и от общих разделов. Например, раздел “Top Stories” («Главные новости») в Google News вообще не персонализируется – он показывает всем одни и те же ключевые новости дня . Это гарантирует, что важнейшие мировые события будут видны каждому, даже если его личные интересы лежат в других темах. Кроме того, Google агрегирует новости из множества источников и группирует статьи по одному событию. В рамках функции “Full Coverage” («Полный охват») Google News отключает персональный рейтинг и показывает хронологическую ленту материалов по выбранной теме, включая разные точки зрения и источники. Такой подход помогает читателю получить панорамный обзор события без искажения алгоритмом.Apple News. Apple News сочетает алгоритмические рекомендации с человеческой редактурой. Секция Top Stories в приложении отбирается командой редакторов вручную, чтобы выделить главные новости дня, тогда как другие разделы (например, Trending Stories и персонализированные рекомендации For You) формируются алгоритмами на основе интересов пользователя. Исследования показали, что алгоритмическая лента склонна выбирать больше развлекательного контента и менее разнообразные источники по сравнению с подборкой людей-редакторов. В частности, автоматический раздел Trending в Apple News чаще выдавал новости о знаменитостях и поп-культуре, тогда как редакторы в Top Stories предлагали более сбалансированный и широкий круг тем. Это подчеркнуло важность гибридного подхода: Apple стремится найти баланс, доверяя ИИ в персональных рекомендациях, но одновременно используя опыт редакторов, чтобы покрыть критически важные темы и избежать перекоса в сторону «желтых» новостей. Пользователь Apple News также может влиять на ленту – например, отмечать “Suggest Less/More” (показывать меньше/больше подобного) для тонкой настройки рекомендаций.
Специализированные новостные приложения.
На рынке существует ряд независимых агрегаторов, делающих ставку на умную персонализацию. Например, приложение SmartNews применяет машинное обучение, чтобы анализировать миллионы статей в сети и отбирать для пользователя самое актуальное. SmartNews известен своим режимом “For You”, который позиционируется как «персонализированное открытие» новостей. В отличие от некоторых конкурентов, которые просто повторяют ваши прошлые просмотры, SmartNews старается предлагать новые темы, которые могут вас заинтересовать, даже если вы о них ранее не читали. Такой подход призван расширять кругозор читателя, а не только замыкать его в привычных темах. Чем больше вы пользуетесь приложением, тем точнее оно подбирает контент – SmartNews отмечает, что анализирует, какие материалы «другие пользователи, похожие на вас» находят интересными, и на этой основе рекомендует их и вам. Помимо этого, SmartNews внедряет специальные функции для разнообразия контента – например, политический «слайдер», позволяющий посмотреть, как различные медиа (правого или левого толка) освещают одну и ту же историю. Это помогает пользователю увидеть альтернативные точки зрения и сформировать более взвешенное мнение.Другой пример – Flipboard, популярный агрегатор, оформляющий новости в виде журнальной ленты. Flipboard позволяет пользователям выбирать интересующие темы и источники, а затем автоматически наполняет их «журнал» связанными статьями. Со временем алгоритм изучает предпочтения – что пользователь пролистывает, а что читает – и все точнее настраивает выдачу. Чтобы бороться с перегрузкой, Flipboard экспериментирует с «конечными подборками». В частности, формат Storyboards предлагает подборку материалов по определенной теме с четкой структурой и финалом, в отличие от бесконечной прокрутки стандартной ленты. Такой конечный пакет новостей позволяет читателю получить завершенный обзор темы и избежать ощущения, что новости «бездонны» – это повышает удовлетворенность и предотвращает утомление от бесконечного потока.
Региональные и социальные платформы.
В разных странах появились собственные системы персонализированной ленты. Например, в русскоязычном сегменте известна платформа Яндекс.Дзен – сервис, где алгоритмы Яндекса с помощью нейросетей формируют для каждого пользователя уникальную смесь новостей, статей и блог-постов. Яндекс.Дзен анализирует поведение (что читаете, на какие заголовки кликаете, сколько времени проводите) и наполняет ленту контентом, который с наибольшей вероятностью вам понравится. Пользователь может влиять на выдачу прямо – ставить «лайк» или «дизлайк» записям, подписываться на интересные каналы или блокировать неинтересные, и алгоритм учтёт эти сигналы при дальнейшей персонализации. Помимо агрегаторов, стоит упомянуть и социальные сети (Facebook, ВКонтакте, Twitter), ленты которых тоже фактически стали персональными новостными потоками. Лента Facebook знаменита своим алгоритмом, который с помощью машинного обучения оценивает сотни тысяч кандидатов на показ и выбирает те посты и новости, которые, по прогнозу, больше всего заинтересуют конкретного человека. Это превращает социальные сети в мощные персонализированные каналы новостей – хотя их цель скорее удерживать внимание, чем обеспечить полноту обзора событий.
ИИ-алгоритмы для выявления ключевых событий
Современные агрегаторы применяют ИИ не только для подбора интересного контента, но и для оперативного обнаружения важных событий в мире. Например, Google News автоматически кластеризует сотни статей по схожей тематике, фактически распознавая, когда множество источников пишут об одном и том же событии (будь то крупная авария, выборы или релиз нового продукта). Затем алгоритмы могут оценить значимость таких кластеров (например, по количеству публикаций, охвату аудитории, географии) и вынести наиболее важные события в раздел топ-новостей. Благодаря этому Google News быстро отражает новые мировые тренды: если где-то происходит нечто значимое, агрегатор вскоре покажет это всем пользователям в “Top Stories”. По словам Google, топ-новости обновляются очень часто именно потому, что они зависят от событий реального времени, а не от профиля пользователя.Многие платформы разрабатывают собственные системы автоматического детектирования новостей. Microsoft в рамках MSN News долгое время сочетала ручной отбор с алгоритмами, а в последние годы сделала шаг к полной автоматизации. В 2020 году сообщалось, что Microsoft сократила штат редакторов и перешла на ИИ-систему, которая должна сама выбирать трендовые новости, писать заголовки и подбирать изображения. Эта система мониторит сотни источников и метрик, чтобы определить, какие темы сейчас «на взлёте». Однако опыт показал, что полагаться только на ИИ рискованно – вскоре после перехода на роботов произошёл инцидент, когда MSN выдала новость с перепутанной фотографией участниц музыкальной группы (алгоритм неверно сопоставил картинку с персоной). Этот случай подчеркнул, что для корректного выявления событий ИИ пока необходим присмотр или доработка, особенно в части точности и контекстного понимания.Отдельного упоминания заслуживает подход SmartNews. Сервис позиционируется как «AI-driven news aggregator», то есть агрегатор, управляемый ИИ. Его алгоритмы интеллектуально отбирают топ-статьи из различных источников и удобно доставляют их пользователю. Фактически SmartNews выполняет роль автоматического редактора: просеивает огромный поток публикаций (в том числе локальные новости, блоги, нишевые издания) и собирает каждому читателю обновляемую подборку главных событий дня. Похожие идеи реализуются и в других проектах – например, платформа Newsadoo в Европе агрегирует новости с помощью ИИ и группирует их по событиям, сразу показывая несколько версий статьи об одном инфоповоде. В сфере медиаразведки (media intelligence) существуют системы вроде Event Registry, которые полностью посвящены отслеживанию мировых событий: они в реальном времени парсят тысячи новостных лент по всему миру, с помощью обработки естественного языка определяют, какие сообщения относятся к одному событию, и даже пытаются оценить его тон и влияние. Хотя такие системы чаще используются журналистами и аналитиками, сам факт их появления говорит о больших возможностях ИИ в обнаружении и ранжировании событий.В целом, ИИ-алгоритмы уже умеют выявлять “что важно” на основе колоссальных данных. Они ловят всплески обсуждений (в СМИ и соцсетях), определяют новости, которые быстро набирают популярность, и могут предупредить редакции или пользователей о “breaking news” (только что произошедших). Пользовательские агрегаторы вроде Google News и SmartNews внедряют эти технологии, чтобы читатели получали не только персональные, но и своевременные оповещения о ключевых мировых новостях.
Баланс между интересами и критически важными новостями
Проблема “пузыря фильтров”. Когда алгоритмы слишком узко подстраивают ленту под вкусы пользователя, возникает риск так называемого «информационного пузыря». Этот термин (filter bubble) ввёл интернет-активист Элай Паризер, описав ситуацию, когда человек видит только ту информацию, которая подтверждает его взгляды, а важные альтернативные мнения остаются за бортом. В новостях эффект пузыря особенно опасен: читатель может упускать события глобального значения или не получать критически важные новости, если они вне зоны его обычных интересов. Кроме того, замкнутая среда мнений усиливает поляризацию: лента показывает лишь то, с чем вы наверняка согласны, из-за чего взгляд на мир искажается. Современные агрегаторы осознают эту проблему и ищут способы балансировки между персонализацией и общественной значимостью контента.Алгоритмические решения. Несколько подходов внедрено на практике. Во-первых, как упоминалось, Google News умышленно оставляет в интерфейсе неперсонализированный блок главных новостей. Пользователь может сразу увидеть общенациональные и мировые топ-темы, даже если обычно он читает про спорт или технологии. Во-вторых, Google предлагает кнопку “Full Coverage”, которая позволяет выйти из пузыря одним нажатием – по конкретной теме показываются различные источники и точки зрения, а алгоритмический приоритет отменяется. Там же пользователь увидит хронологию развития события и даже посты из соцсетей, что даёт целостную картину. Таким образом, Google пытается сочетать индивидуальный подход (“Для вас”) с общим информационным полем.SmartNews пошёл другим путём: его концепция – “персонализированное открытие”. Приложение утверждает, что не хочет загонять читателя в пузырь, наоборот, старается постоянно подкидывать ему что-то новое. Раздел “For You” в SmartNews сочетает ваши интересы с совершенно новыми темами и трендами, которые алгоритм прогнозирует как потенциально интересные. Логика в том, что люди читают новости не только чтобы подтвердить знакомое, но и чтобы удивиться и узнать новое. SmartNews использует ИИ, чтобы предсказывать, что может заинтересовать пользователя дальше, даже если это вне его текущих увлечений. Благодаря этому в ленте появляются материалы, которые читатель сам бы не выбрал, но которые популярны у схожей аудитории и могут расширить его информационный кругозор. Дополнительно, как упомянуто выше, SmartNews ввёл “спектр новостей” – функцию, показывающую, как лево- и правополитические медиа освещают один сюжет. Этот «слайдер» мнений напрямую борется с пузырём, давая возможность взглянуть на новости под другим углом.Многообразие источников. Другие сервисы также экспериментируют с балансировкой. Платформа Newsadoo, к примеру, при персонализации по интересам всё равно показывает несколько версий одной новости из разных СМИ. Читая про событие, пользователь увидит рядом заголовки разных изданий – это напрямую разбивает монотонность и исключает одностороннее покрытие. Вещательная компания VRT (Фландрия) разработала рекомендательный алгоритм для своего новостного приложения, который сначала учитывает предпочтения, но затем постепенно расширяет спектр контента за счёт анализа метаданных. Алгоритм VRT старается аккуратно “подмешивать” в ленту материалы вне привычных вкусов, не перегружая, но понемногу разводя информационное меню пользователя. Цель – приучить аудиторию читать более разнообразные новости, выходя за рамки своих интересов, но делать это плавно, чтобы не потерять вовлечённость.
Роль человеческой модерации.
Отдельно стоит отметить редакционное вмешательство как способ балансировки. Apple News, как уже обсуждалось, доверяет редакторам отбор Top Stories для всех – по сути, люди-кураторы гарантируют, что утром все пользователи увидят подборку главных новостей, независимо от персональных настроек. Это включает в себя и потенциально неприятные, но важные темы. Например, если происходит глобальный кризис или чрезвычайное происшествие, Apple News вынесет его наверх для всех пользователей – даже тех, кто обычно такие темы избегает. Кроме Apple, подобный гибридный подход используют многие порталы: Yahoo! главную страницу наполняет редакция, MSN долгое время делал так же, а персональный контент размещался в отдельных виджетах. Такой баланс между алгоритмом и редактором призван сочетать два достоинства – масштаб и персонализация со стороны ИИ и общественная значимость и проверка со стороны человека.
В результате сегодня мы видим стремление агрегаторов обеспечить пользователю и то, что ему лично интересно, и то, что важно знать каждому гражданину. Полностью решить эту задачу непросто – нужно, чтобы алгоритм достаточно хорошо понимал, какие события имеют объективную важность. Тем не менее, комбинация методов (неперсональные блоки, режимы полноты обзора, разнообразие источников, ручной отбор) заметно улучшает ситуацию. При грамотном использовании таких функций читатель может одновременно наслаждаться контентом «для души» и не пропускать новости, которые определяют информационную картину дня.
Фильтрация информационного шума и манипуляций
Борьба с шумом. Информационный шум – это избыток нерелевантных или дублирующих сведений, мешающих увидеть суть. Персонализированные системы стараются минимизировать шум несколькими способами. Во-первых, почти все агрегаторы кластеризуют дубликаты статей: если десятки сайтов перепечатали одну и ту же новость, пользователь не увидит ее 50 раз, а получит один заголовок (с возможностью раскрыть другие источники при желании). Например, SmartNews агрегирует новости из разных изданий в одном интерфейсе, благодаря чему исключается необходимость переходить по множеству сайтов отдельно. Пользователь экономит время и не утопает в повторяющемся контенте – приложение само “собирает и склеивает” сходные новости. Во-вторых, умные алгоритмы пытаются отсеивать нерелевантное на этапе выбора: анализируют текст, тематику, даже тон публикации, чтобы определить, интересна ли она конкретному читателю. Шумом может считаться и несоответствие предпочтениям – например, если человеку неинтересен спорт, лента должна фильтровать спортивные статьи. Настройки и обратная связь помогают в этом: многие сервисы позволяют выбрать любимые темы/источники или, наоборот, скрыть нежелательные. В SmartNews, к примеру, пользователь может указывать доверенные источники и приоритетные темы, чтобы алгоритм фокусировался на них. По мере взаимодействия (чтения, скрытия, лайки) система «учится» все точнее отбирать релевантный и надежный контент.Еще одна тактика – ограничение потока. В отличие от соцсетей с бесконечной прокруткой, некоторые новостные приложения намеренно не перегружают ленту. Они могут выдавать определенное число статей в день (как делал, например, Yahoo News Digest) или формировать издания по расписанию (утренний и вечерний дайджест). Это предотвращает бесконтрольный поток сведений. Хотя такой подход менее популярен сейчас, элементы его появляются (как обсуждалось с Flipboard Storyboards – фиксированными подборками).
Противодействие дезинформации.
Манипуляции и фейковые новости – серьезный вызов для алгоритмических лент. С одной стороны, крупные агрегаторы стремятся работать только с авторитетными источниками. Google News, Apple News и др. имеют списки одобренных издателей; прежде чем неизвестный сайт попадет в выдачу, он проходит модерацию. Это отсеивает откровенно сомнительные ресурсы. С другой стороны, даже у признанных медиа бывают ошибки или предвзятость, а полностью исключить проникновение вирусных фейков трудно (особенно в соцсетях, где пользователи сами делятся новостями). Поэтому разрабатываются и автоматические фильтры. Например, Facebook внедрил алгоритмы для выявления явных фейков и кликбейта (анализа заголовков на типичные сенсационные шаблоны), понижения их в выдаче или маркировки. В новостных агрегаторах также используются метаданные: Google News помечает некоторые статьи как “Fact check” (проверка фактов) – эти метки присваиваются материалам, в которых содержится вывод независимой фактчекинговой организации. Если по громкой теме распространяются противоречивые сведения, Google News может показать карточку со сводкой от фактчекеров рядом с новостями, чтобы предупредить читателей. Кроме того, режимы множественных источников (вроде упомянутого Full Coverage или показа параллельно нескольких новостей на одну тему) сами по себе являются инструментом борьбы с манипуляциями. Когда читатель видит одновременно несколько интерпретаций события и сопоставляет их, сложнее утаить искаженную информацию. SmartNews, показывая новости “бок о бок” от разных изданий, поощряет аудиторию обращать внимание на расхождения и выявлять возможный уклон. Это снижает шанс, что фейк или пропагандистский нарратив останется незамеченным – другие источники дадут альтернативные факты.Тем не менее, эффективность этих мер не абсолютна. Алгоритмы не обладают истинным здравым смыслом и могут допускать курьезы. Уже упоминался случай, когда ИИ-редактор Microsoft перепутал фотографии в новости– такой визуальный фейл способен дезинформировать аудиторию (например, ошибочно идентифицировать человека на фото). Другой пример – сенсационность и пристрастность алгоритмов. Системы рекомендаций часто оптимизируются на метрику кликов и вовлеченности, что невольно поощряет “кричащий” контент. Исследование, сравнившее работу людей и машин в Apple News, показало, что алгоритм склонен выбирать более развлекательные и скандальные темы, чем редакторы. Меньшее разнообразие источников в автоматической выдаче тоже может быть формой информационной манипуляции – пользователь видит только ограниченный набор мнений. Эти ограничения признают и сами разработчики. Например, компания Twipe (занимается цифровыми новостными продуктами) отмечает, что пользователи ценят персонализацию, но опасаются предвзятости и изоляции во мнениях. Кроме того, многих волнуют приватность (что алгоритм знает о них слишком много) и прозрачность работы таких систем. Ведь если лента что-то скрыла, пользователь редко узнает об этом и не может проконтролировать или оспорить решение алгоритма.В итоге борьба с шумом и дезинформацией продолжается на нескольких фронтах: улучшение алгоритмических фильтров, привлечение независимых проверок, повышение разнообразия контента для самокоррекции, а также внедрение возможностей для пользователей влиять на выдачу (например, кнопки “Мне это не важно” или “Пожаловаться на новость”). Полностью автоматическое решение пока недостижимо, но сочетание технических и гуманитарных методов помогает сделать новостной поток более чистым и надёжным. Многие сервисы сегодня стремятся давать “полезную смесь” – с одной стороны, отфильтрованную от спама и фейков, с другой – достаточно широкую, чтобы человек сам мог сделать вывод, сравнив разные данные.
Технологии и исследования интеллектуальной фильтрации новостей
Анализ контента и профиля.
Персонализированная выдача новостей опирается на ряд ключевых технологий. Одно из центральных мест занимает контентная фильтрация: алгоритмы анализируют тексты статей с помощью NLP (обработки естественного языка), чтобы понять их тематику, ключевые сущности (персоны, организации, места) и даже тональность. На основе этого строятся профили интересов. Так, уже упомянутый сервис News360 применял семантический анализ и строил для каждого пользователя «граф интересов», отражающий его любимые темы. Схожие принципы используются и крупными компаниями – например, у Microsoft News и Google News есть модели, которые представляют интересы как набор тематических признаков или слов, полученных из ранее прочитанных статей. Другой распространенный метод – коллаборативная фильтрация, когда система смотрит не только на ваш личный профиль, но и на поведение похожих пользователей. Если люди со сходными интересами вдруг начали читать новую тему, возможно, и вам она будет интересна. Мы уже видели это на примере SmartNews, где явно говорится об учёте того, что читают «другие, похожие на вас»business.smartnews.com
. Большие данные о поведении множества пользователей позволяют рекомендательной системе делать такие перекрестные выводы.
Диверсификация и серендипность.
В академических исследованиях новостных рекомендаций много внимания уделяется проблеме разнообразия выдачи. Считается, что помимо точного соответствия интересам, лента должна включать контент, который расширяет кругозор и не дает скучать. В частности, повышение разнообразия напрямую предлагается как способ смягчить эффект фильтр-пузыря. Учёные ввели метрики для оценки разнообразия новостных рекомендаций – например, Intra-List Diversity (ILD), которая измеряет, насколько непохожи друг на друга статьи в предложенном списке. Если алгоритм слишком монотонен, ILD будет низкой. В ответ появились модели, учитывающие новизну (novelty) и серендипность. Одной из ранних систем была Newsjunkie, которая ранжировала новости для пользователя по принципу «насколько эта статья нова относительно уже прочитанного». То есть если вы весь день читали про экономику, Newsjunkie поднимала выше новости других тематик, чтобы разбавить информационное поле. Современные подходы интегрируют такие идеи в нейросетевые рекомендации: например, оценивают различие в эмоциональной тональности новостей или следят, чтобы в топ не попали все новости с одного источника. Диверсификация стала настолько важна, что её рассматривают как отдельную задачу при разработке новостных рекомендателей.
Обучение и модели ИИ.
За кулисами персональных лент работают сложные алгоритмы machine learning. Раньше это были в основном решающие деревья с множеством признаков или методы factorization (матричные разложения) для коллаборативной фильтрации. Сейчас доминируют нейросетевые модели, специально обученные на новостных данных. Крупные игроки (тот же Microsoft) публиковали научные работы о своих моделях: например, NPA (Neural News Recommendation) – нейросеть, учитывающая новостной заголовок, тело статьи и персональные интересы через механизмы внимания; или Wide & Deep модели, комбинирующие запоминание частых интересов и обобщение новых. В 2020 году был открыт датасет MIND (от Microsoft) – большой набор данных о том, какие новости читали миллионы пользователей MSN, с целью стимуляции исследований в этой области. Это позволило академическим группам разрабатывать и тестировать новые подходы. Среди интересных направлений – учёт временных факторов (modeling news sequence, поскольку интересы меняются день ото дня), учёт контекста (например, с какого устройства или в какое время суток потребляются новости, чтобы адаптировать формат), и даже попытки внедрять объяснимость. Последнее особенно важно: если алгоритм сможет объяснить, почему он рекомендует ту или иную статью, это повысит доверие пользователей. Пока что объяснимость достигается простыми средствами (например, подписью «потому что вы читали X»), но исследования ведутся и в сторону более интеллектуальных объяснений (например, выделять, что «эта новость упоминает ту же тему, что и вчерашняя вами прочитанная статья»).
Фильтрация фейков и качественных метрик.
Интересным суб-направлением является определение качества и достоверности новостей. Алгоритмы в будущем могут научиться автоматически различать качественную журналистику от поверхностной. Уже есть попытки учитывать репутацию источника, сложность изложения, наличие фактов vs мнений. Отдельно развивается детекция фейковых новостей с помощью ИИ: обучаются классификаторы, которые по тексту и метаданным стараются понять, является ли новость намеренной дезинформацией. Хотя полностью заменить человеческую фактчекинговую экспертизу сложно, такие модели могут служить фильтром первого уровня, помечая подозрительный контент для дальнейшей проверки. Также появляются концепции вроде “умных модераторов”, которые сидят поверх агрегатора и наблюдают за аномалиями (например, внезапно вирусная новость из неизвестного блога) – сигнализируя об этом человеку-редактору или автоматически уменьшая охват до выяснения обстоятельств.
Социальный контекст и персонализация. Новостная персонализация не ограничивается индивидуальными аппетитами – она вплетена в социальные процессы. Поэтому исследователи в области медиа обсуждают такие понятия, как поляризация, эхо-камеры (когда люди общаются только с единомышленниками и получают подтверждение своим взглядам), и влияние алгоритмов на общественное мнение. Некоторые работы даже проверяют, есть ли реально эффект пузыря. Отчёт Reuters Institute (2020) показал, что при обычном сценарии использования люди всё же получают достаточно разнообразия источников, и явного сильного пузыря персонализации они не обнаружили – скорее, пользователь сам склонен выбирать комфортные источники. Тем не менее, риск узости кругозора признаётся, и потому крупные новостные платформы продолжают вводить решения для контрольного впрыска разнообразия. На институциональном уровне идут дискуссии о «алгоритмической ответственности»: должны ли компании нести ответственность за деформацию информационной картины у пользователя, как измерять качество информационной диеты и т.п. Появляется даже термин “responsible recommendation” – подразумевающий этические принципы в дизайне таких алгоритмов (учёт общественного блага, избегание дискриминации, защита приватности и т.д.).Пробелы современных решений и перспективы развития
Несмотря на прогресс, в нынешних системах остаются существенные пробелы, которые открывают возможности для создания новой, улучшенной платформы персонализированных новостей:
Эффект пузыря и эхо-камеры. Полностью избавиться от фильтрационного пузыря пока не удалось. Даже с функциями вроде Full Coverage или политического слайдера, многие пользователи остаются в пределах комфортного им инфополя. Не каждый читатель будет нажимать специальные кнопки для разнообразия – зачастую люди пассивно потребляют, что дает лента. Поэтому новые решения могут глубже интегрировать разнообразие по умолчанию. Например, перспективно внедрять многокритериальные алгоритмы, которые оптимизируют не только персональную релевантность, но и “ценность” новости. Можно представить систему баллов важности: событие глобального масштаба получает высокий базовый вес, гарантирующий показ, даже если профиль пользователя и не совпадает. Некоторые эксперты предлагают дать самим пользователям инструменты контроля: например, ползунок персонализация–универсальность, где человек может настроить, хочет ли он более узкую или более широкую ленту. Пока таких интерфейсов почти нет, но их появление могло бы снизить проблему пузыря.
Качество и доверие к источникам. Сегодняшние агрегаторы в основном не объясняют, почему та или иная новость появилась у вас в ленте. Отсутствие прозрачности рождает недоверие и ощущение манипуляции. Новая система могла бы предложить прозрачный режим: например, при клике на новость показывать, какими факторами она выбрана («Популярно среди читателей в вашем городе», «Свежая статья по теме X, которой вы интересуетесь», «Важно: крупное событие дня» и т.п.). Также остается проблема фейков и пропаганды. Здесь можно улучшить фильтры, интегрировать больше сигналов. Перспективное направление – оценка надежности на лету: алгоритм вычисляет условный рейтинг доверия к статье, учитывая надежность источника, тональность (слишком эмоционально – подозрительно), совпадение с другими источниками и пр. Такой рейтинг мог бы сообщаться читателю (например, индикатором или предупреждением). К примеру, если новость подтверждена множеством независимых источников, система пометит ее как «верифицированная», а если информация сырая и исходит из одного соцсетевого поста – как «непроверенная». Пока подобное реализовано лишь фрагментарно (в виде меток фактчека), но дальнейшая автоматизация проверки фактов с ИИ – важный резерв.
Персонализация без перегибов. Современные алгоритмы в погоне за кликами иногда перегибают, зацикливаясь на одном типе контента (например, увидев интерес к скандальной хронике, могут заполнить ленту похожими историями). Пользователя это может быстро утомить или вызвать разочарование. Новый подход мог бы внедрить более человеческий такт: учитывать насыщение темой. Например, если за день вам показали уже 5 новостей про экономику, шестую стоит заменить чем-то другим – аналогично тому, как редактор газеты не станет печатать десять одинаковых статей. Здесь поможет и упомянутая концепция конечных изданий: подавать новости порциями, где каждая порция тщательно сбалансирована (как полоса в газете). Персонализация может происходить на уровне того, какие материалы войдут в эту порцию, но сама порция будет ограниченной и разнообразной. Такие эксперименты уже ведутся (JAMES, Flipboard и др.), и они перспективны для снижения информационного перенасыщения.
Учет индивидуальных ценностей и контекста. Текущие агрегаторы знают о наших кликах, но мало знают о нашем намерении или настроении. Перспективная система могла бы быть более контекстуальной: например, утром показывать сводку деловых новостей, а вечером – более развлекательный контент, исходя из предполагаемого настроения пользователя. Для этого ИИ может учитывать время суток, местоположение (на работе или дома), устройство (на смартфоне – короткие заметки, на планшете – лонгриды) и даже данные календаря (если у вас встреча с кем-то из финансовой отрасли, подсунуть последние финансовые новости для подготовки). Это ведет нас к идее умного новостного ассистента, который интегрирован в повседневную жизнь. Уже есть зачатки – голосовые помощники (Siri, Alexa) умеют зачитывать новости, но их персонализация примитивна. В будущем можно ожидать диалоговые системы, где вы можете спросить: «Что нового в науке?» – и получить сгенерированную ИИ сводку, релевантную вашим интересам, а затем уточнить «А что по моему городу?» и так далее. Это качественно новый уровень персонализации – по запросу и под ситуацию, а не только заранее спрогнозированные рекомендации.
Приватность и контроль данных. Наконец, важный пробел – доверие пользователей в плане конфиденциальности. Алгоритмы персонализации питаются данными о нас, и не всем это приятно. Новое решение могло бы привлекать аудиторию за счет приватности по дизайну: хранить профили локально на устройстве (как вариант, использовать технику federated learning, когда общая модель обучается без выгрузки личных данных на сервер). Или, как минимум, давать пользователю просмотреть и отредактировать свой «профиль интересов», который система про него составила. Это убьет двух зайцев: и прозрачность повысится (человек видит, что о нем «думает» ИИ, и может скорректировать), и лишних страхов не будет. В настоящее время мало кто из агрегаторов предоставляет такую возможность – это явный резерв для новых продуктов.
Перспективы развития. Вектор прогресса в области персонализированных новостей очевиден: системы будут становиться умнее, гибче и ответственнее. С возрастанием вычислительных мощностей и успехами AI мы увидим всё более тонкое понимание контента – вплоть до автоматического резюмирования новостей (чтобы в ленте показывался краткий тезис, а детально – по клику) и сквозного связывания сюжетов (например, ИИ будет напоминать, что это продолжение истории, о которой вы читали на прошлой неделе, обеспечивая контекст). Также вероятна интеграция мультимедиа: персонализация видео-новостей, подкастов по интересам. Уже сейчас YouTube и другие платформы рекомендуют новостные ролики по похожим алгоритмам.
Отдельно стоит ожидать усовершенствований в балансировке и достоверности. Давление общества и регуляторов (в свете проблем фейкньюс и поляризации) мотивирует компании делать алгоритмы более нейтральными и полезными для общества. Возможно, появятся этические рамки или независимые аудиты персонализированных лент, чтобы исключить злоупотребления (например, скрытую политическую цензуру или дискриминацию интересов меньшинств). Технологически это может реализоваться через добавление в модель целей по диверсификации и метрик “качества диеты”. Например, ИИ будет пытаться за неделю показать пользователю определенную норму разнообразия источников и тем, своего рода «информационную пирамиду питания».
Подводя итог, интеллектуальные новостные агрегаторы уже сейчас значительно облегчают нам жизнь, отфильтровывая тонны информации и подстраивая новости под наши интересы. Однако путь к идеально сбалансированной и надежной системе ещё не закончен. Необходимо и дальше совершенствовать алгоритмы, сочетать их с лучшими практиками журналистики и обеспечивать читателям как персональный, так и всеобъемлющий взгляд на мир. Технологии ИИ в этой области развиваются стремительно, и при критичном подходе и инновациях у нас есть шанс получить новостные сервисы, которые будут одновременно и увлекательными, и познавательными, и общественно значимымиtwipemobile.com
. Такой осознанный подход к персонализации позволит людям оставаться хорошо информированными, не тонуть в информационном шуме и не попадать в ловушки алгоритмов, а напротив – использовать их себе во благо.
Источники:
Cool-Fergus, S. Are Personalised News Aggregators Enhancing Our World or Echoing Our Biases? – Twipe (2024)
twipemobile.com
twipemobile.com
SmartNews Blog. “For You” – a smarter way to discover news (2017)
business.smartnews.com
business.smartnews.com
business.smartnews.com
Thenextweb. Google News has a new feature that may just pop your filter bubble (2018)
thenextweb.com
thenextweb.com
thenextweb.com
Seroundtable. Google: Our Personalized Results Do Not Create Filter Bubbles (2018)
seroundtable.com
Twipe (Case Studies). SmartNews, Newsadoo, VRT… (2024)
twipemobile.com
twipemobile.com
twipemobile.com
Twipe (Case Studies). Flipboard and JAMES… (2024)
twipemobile.com
twipemobile.com
Artsyltech. AI-Driven Insights: How SmartNews Top Stories are Reshaped (2023)
artsyltech.com
artsyltech.com
Artsyltech. SmartNews – Minimizing Bias (2023)
artsyltech.com
artsyltech.com
Wikipedia. News360 – personalized news app (2010–2022)
en.wikipedia.org
The Guardian. Apple News algorithms pick more celeb stories than human editors, study finds (2020)
ojs.aaai.org
Wu et al. Personalized News Recommendation: Methods and Challenges – ACM Computing Surveys (2021)
arxiv.org
arxiv.org
В повести Дмитрия Галковского «Друг утят» описана информационная система будущего, основанная на персональных модераторах. Эти модераторы представляют собой сложные программы с антропоморфной оболочкой, настроенные на индивидуальные предпочтения пользователя. Они фильтруют огромный поток информации по заданным критериям, таким как темы, объем, стиль подачи и внешность виртуального «диктора». Например, пользователь может настроить модератор на получение ежедневных 30 минут информации о Румынии, баскетболе и египтологии, поданной с легким скепсисом и элементами эротики, причем модератор будет выглядеть как его дедушка. Такая система позволяет человеку жить в информационном «коконе», общаясь через Интернет с единомышленниками или меняя фильтры по желанию. В этом обществе отсутствуют идеологические системы, а каждый человек сам определяет, что он хочет знать, исключая элемент драматургии и чужой воли из общения. Таким образом, общество становится настолько лживым, что даже правдиво, поскольку никто никого сознательно не обманывает, а каждый получает информацию в соответствии со своими настройками фильтра.
magazines.gorky.media
Система персональных модераторов, описанная в Друге утят, имеет много привлекательных черт, особенно с точки зрения когнитивной эффективности:
Плюсы:
Фильтрация информационного шума – исключение нежелательной информации снижает перегрузку мозга и экономит время.
Персонализация контента – каждый получает именно то, что ему интересно, в нужном формате и объеме.
Минимизация манипуляций – отсутствие навязанной идеологии снижает вероятность внешнего влияния.
Оптимизация обучения – возможность формировать поток знаний в удобной и интересной форме.
Эмоциональный комфорт – контент подается так, чтобы минимизировать стресс и дискомфорт.
Минусы и риски:
Эффект «информационного кокона» – человек перестает сталкиваться с неожиданными идеями, что может вести к интеллектуальной стагнации.
Подтверждение предвзятостей – фильтры только усиливают уже существующие убеждения, что ведет к поляризации общества.
Потеря критического мышления – если система подстраивается под желания, пользователь реже сталкивается с аргументами, которые его мировоззрение ставят под сомнение.
Упадок социальной реальности – люди перестают взаимодействовать с носителями иных точек зрения, что может привести к радикализации и узости восприятия.
Возможность скрытого управления – если модератором управляют внешние силы, можно незаметно менять картину мира пользователя, не вызывая у него дискомфорта.
Система действительно устраняет раздражающие факторы и делает поток информации удобным. Однако она превращает человека в заложника своих собственных предпочтений и заблуждений. Это идеальная машина для создания общества «удовлетворенных идиотов», где каждый варится в своем маленьком пузыре, не видя общей картины.
В идеале такая технология должна сочетать персонализацию с обязательной дозой случайности – чтобы время от времени подкидывать пользователю неожиданные, но потенциально полезные точки зрения. Тогда это будет инструментом развития, а не цифровым наркотиком.
Идеальная персонализированная новостная система.
Основные принципы системы
Персонализация + Контролируемая случайность – система фильтрует контент по интересам, но обязательным блоком включает события высокой значимости.
Многоуровневое представление – новости подаются разными способами: заголовками, краткими сводками, глубинным анализом.
Динамическая адаптация – система анализирует, как пользователь реагирует на новости, и корректирует подачу информации.
Геопривязка – интеграция с локальными событиями для оперативного информирования.
Модуль критического мышления – подача новостей с разбором альтернативных точек зрения и потенциальных манипуляций.
Архитектура системы
Научные прорывы (новые технологии, открытия, медицинские достижения).
Геополитические кризисы (войны, революции, санкции).
Экономические катаклизмы (кризисы, крахи рынков, изменения в мировых финансах).
Природные и техногенные катастрофы.
Культурные вехи (смерть знаковых личностей, революции в искусстве).
Изменения в законодательстве, затрагивающие базовые права.
Алгоритм определяет «нельзя пропустить» по ряду критериев:
✔ Влияние на мировую политику / экономику / технологии.
✔ Влияние на жизнь обычного человека.
✔ Историческая важность.
✅ Дебрифинг – утренний / вечерний персональный свод новостей с анализом.
✅ Температура информационного поля – график изменения «напряженности» в мире по темам.
✅ Архив событий – возможность «перемотать назад» и посмотреть развитие темы.
✅ Прогнозный анализ – система моделирует возможные последствия ключевых событий.
Вывод
Такая система объединяет персонализацию и объективную необходимость быть в курсе важного. Она не превращает пользователя в «инфо-наркомана», но и не оставляет его в пузыре собственных интересов.
Главный вызов – баланс между свободой выбора и необходимостью знать критически важное.
Проведем исследование по двум направлениям:
Существующие новостные системы, которые частично или полностью реализуют концепцию персонализированной новостной ленты с фильтрацией и анализом значимых событий.
Исследования и концепты, связанные с идеей интеллектуального новостного агрегатора, который минимизирует информационный шум, но не позволяет пропустить ключевые события.
Каждый день публикуются тысячи новостей, и без автоматической фильтрации пользователям трудно выделить важное. Современные новостные агрегаторы и персонализированные ленты используют алгоритмы искусственного интеллекта (ИИ), чтобы адаптировать поток новостей под интересы каждого читателя и облегчить информационную перегрузку. Такие системы анализируют, что читатель просматривал и что ему понравилось, и на этой основе предлагают релевантные статьи. Ниже представлен обзор основных решений, их возможностей и ограничений, а также перспективы развития технологий умной персонализации новостей.
Платформы с умной персонализацией новостей
Google News. Один из крупнейших новостных агрегаторов, Google News, активно применяет ИИ для подбора контента. После обновления 2018 года сервис использует алгоритмы машинного обучения для показа новостей, которые «вы больше всего захотите прочитать — как про события рядом с вами, так и по всему миру». При этом Google News строит персонализированную ленту «For You», учитывая историю запросов и чтения пользователя, но не отказывается и от общих разделов. Например, раздел “Top Stories” («Главные новости») в Google News вообще не персонализируется – он показывает всем одни и те же ключевые новости дня . Это гарантирует, что важнейшие мировые события будут видны каждому, даже если его личные интересы лежат в других темах. Кроме того, Google агрегирует новости из множества источников и группирует статьи по одному событию. В рамках функции “Full Coverage” («Полный охват») Google News отключает персональный рейтинг и показывает хронологическую ленту материалов по выбранной теме, включая разные точки зрения и источники. Такой подход помогает читателю получить панорамный обзор события без искажения алгоритмом.Apple News. Apple News сочетает алгоритмические рекомендации с человеческой редактурой. Секция Top Stories в приложении отбирается командой редакторов вручную, чтобы выделить главные новости дня, тогда как другие разделы (например, Trending Stories и персонализированные рекомендации For You) формируются алгоритмами на основе интересов пользователя. Исследования показали, что алгоритмическая лента склонна выбирать больше развлекательного контента и менее разнообразные источники по сравнению с подборкой людей-редакторов. В частности, автоматический раздел Trending в Apple News чаще выдавал новости о знаменитостях и поп-культуре, тогда как редакторы в Top Stories предлагали более сбалансированный и широкий круг тем. Это подчеркнуло важность гибридного подхода: Apple стремится найти баланс, доверяя ИИ в персональных рекомендациях, но одновременно используя опыт редакторов, чтобы покрыть критически важные темы и избежать перекоса в сторону «желтых» новостей. Пользователь Apple News также может влиять на ленту – например, отмечать “Suggest Less/More” (показывать меньше/больше подобного) для тонкой настройки рекомендаций.
Специализированные новостные приложения.
На рынке существует ряд независимых агрегаторов, делающих ставку на умную персонализацию. Например, приложение SmartNews применяет машинное обучение, чтобы анализировать миллионы статей в сети и отбирать для пользователя самое актуальное. SmartNews известен своим режимом “For You”, который позиционируется как «персонализированное открытие» новостей. В отличие от некоторых конкурентов, которые просто повторяют ваши прошлые просмотры, SmartNews старается предлагать новые темы, которые могут вас заинтересовать, даже если вы о них ранее не читали. Такой подход призван расширять кругозор читателя, а не только замыкать его в привычных темах. Чем больше вы пользуетесь приложением, тем точнее оно подбирает контент – SmartNews отмечает, что анализирует, какие материалы «другие пользователи, похожие на вас» находят интересными, и на этой основе рекомендует их и вам. Помимо этого, SmartNews внедряет специальные функции для разнообразия контента – например, политический «слайдер», позволяющий посмотреть, как различные медиа (правого или левого толка) освещают одну и ту же историю. Это помогает пользователю увидеть альтернативные точки зрения и сформировать более взвешенное мнение.Другой пример – Flipboard, популярный агрегатор, оформляющий новости в виде журнальной ленты. Flipboard позволяет пользователям выбирать интересующие темы и источники, а затем автоматически наполняет их «журнал» связанными статьями. Со временем алгоритм изучает предпочтения – что пользователь пролистывает, а что читает – и все точнее настраивает выдачу. Чтобы бороться с перегрузкой, Flipboard экспериментирует с «конечными подборками». В частности, формат Storyboards предлагает подборку материалов по определенной теме с четкой структурой и финалом, в отличие от бесконечной прокрутки стандартной ленты. Такой конечный пакет новостей позволяет читателю получить завершенный обзор темы и избежать ощущения, что новости «бездонны» – это повышает удовлетворенность и предотвращает утомление от бесконечного потока.
Региональные и социальные платформы.
В разных странах появились собственные системы персонализированной ленты. Например, в русскоязычном сегменте известна платформа Яндекс.Дзен – сервис, где алгоритмы Яндекса с помощью нейросетей формируют для каждого пользователя уникальную смесь новостей, статей и блог-постов. Яндекс.Дзен анализирует поведение (что читаете, на какие заголовки кликаете, сколько времени проводите) и наполняет ленту контентом, который с наибольшей вероятностью вам понравится. Пользователь может влиять на выдачу прямо – ставить «лайк» или «дизлайк» записям, подписываться на интересные каналы или блокировать неинтересные, и алгоритм учтёт эти сигналы при дальнейшей персонализации. Помимо агрегаторов, стоит упомянуть и социальные сети (Facebook, ВКонтакте, Twitter), ленты которых тоже фактически стали персональными новостными потоками. Лента Facebook знаменита своим алгоритмом, который с помощью машинного обучения оценивает сотни тысяч кандидатов на показ и выбирает те посты и новости, которые, по прогнозу, больше всего заинтересуют конкретного человека. Это превращает социальные сети в мощные персонализированные каналы новостей – хотя их цель скорее удерживать внимание, чем обеспечить полноту обзора событий.
ИИ-алгоритмы для выявления ключевых событий
Современные агрегаторы применяют ИИ не только для подбора интересного контента, но и для оперативного обнаружения важных событий в мире. Например, Google News автоматически кластеризует сотни статей по схожей тематике, фактически распознавая, когда множество источников пишут об одном и том же событии (будь то крупная авария, выборы или релиз нового продукта). Затем алгоритмы могут оценить значимость таких кластеров (например, по количеству публикаций, охвату аудитории, географии) и вынести наиболее важные события в раздел топ-новостей. Благодаря этому Google News быстро отражает новые мировые тренды: если где-то происходит нечто значимое, агрегатор вскоре покажет это всем пользователям в “Top Stories”. По словам Google, топ-новости обновляются очень часто именно потому, что они зависят от событий реального времени, а не от профиля пользователя.Многие платформы разрабатывают собственные системы автоматического детектирования новостей. Microsoft в рамках MSN News долгое время сочетала ручной отбор с алгоритмами, а в последние годы сделала шаг к полной автоматизации. В 2020 году сообщалось, что Microsoft сократила штат редакторов и перешла на ИИ-систему, которая должна сама выбирать трендовые новости, писать заголовки и подбирать изображения. Эта система мониторит сотни источников и метрик, чтобы определить, какие темы сейчас «на взлёте». Однако опыт показал, что полагаться только на ИИ рискованно – вскоре после перехода на роботов произошёл инцидент, когда MSN выдала новость с перепутанной фотографией участниц музыкальной группы (алгоритм неверно сопоставил картинку с персоной). Этот случай подчеркнул, что для корректного выявления событий ИИ пока необходим присмотр или доработка, особенно в части точности и контекстного понимания.Отдельного упоминания заслуживает подход SmartNews. Сервис позиционируется как «AI-driven news aggregator», то есть агрегатор, управляемый ИИ. Его алгоритмы интеллектуально отбирают топ-статьи из различных источников и удобно доставляют их пользователю. Фактически SmartNews выполняет роль автоматического редактора: просеивает огромный поток публикаций (в том числе локальные новости, блоги, нишевые издания) и собирает каждому читателю обновляемую подборку главных событий дня. Похожие идеи реализуются и в других проектах – например, платформа Newsadoo в Европе агрегирует новости с помощью ИИ и группирует их по событиям, сразу показывая несколько версий статьи об одном инфоповоде. В сфере медиаразведки (media intelligence) существуют системы вроде Event Registry, которые полностью посвящены отслеживанию мировых событий: они в реальном времени парсят тысячи новостных лент по всему миру, с помощью обработки естественного языка определяют, какие сообщения относятся к одному событию, и даже пытаются оценить его тон и влияние. Хотя такие системы чаще используются журналистами и аналитиками, сам факт их появления говорит о больших возможностях ИИ в обнаружении и ранжировании событий.В целом, ИИ-алгоритмы уже умеют выявлять “что важно” на основе колоссальных данных. Они ловят всплески обсуждений (в СМИ и соцсетях), определяют новости, которые быстро набирают популярность, и могут предупредить редакции или пользователей о “breaking news” (только что произошедших). Пользовательские агрегаторы вроде Google News и SmartNews внедряют эти технологии, чтобы читатели получали не только персональные, но и своевременные оповещения о ключевых мировых новостях.
Баланс между интересами и критически важными новостями
Проблема “пузыря фильтров”. Когда алгоритмы слишком узко подстраивают ленту под вкусы пользователя, возникает риск так называемого «информационного пузыря». Этот термин (filter bubble) ввёл интернет-активист Элай Паризер, описав ситуацию, когда человек видит только ту информацию, которая подтверждает его взгляды, а важные альтернативные мнения остаются за бортом. В новостях эффект пузыря особенно опасен: читатель может упускать события глобального значения или не получать критически важные новости, если они вне зоны его обычных интересов. Кроме того, замкнутая среда мнений усиливает поляризацию: лента показывает лишь то, с чем вы наверняка согласны, из-за чего взгляд на мир искажается. Современные агрегаторы осознают эту проблему и ищут способы балансировки между персонализацией и общественной значимостью контента.Алгоритмические решения. Несколько подходов внедрено на практике. Во-первых, как упоминалось, Google News умышленно оставляет в интерфейсе неперсонализированный блок главных новостей. Пользователь может сразу увидеть общенациональные и мировые топ-темы, даже если обычно он читает про спорт или технологии. Во-вторых, Google предлагает кнопку “Full Coverage”, которая позволяет выйти из пузыря одним нажатием – по конкретной теме показываются различные источники и точки зрения, а алгоритмический приоритет отменяется. Там же пользователь увидит хронологию развития события и даже посты из соцсетей, что даёт целостную картину. Таким образом, Google пытается сочетать индивидуальный подход (“Для вас”) с общим информационным полем.SmartNews пошёл другим путём: его концепция – “персонализированное открытие”. Приложение утверждает, что не хочет загонять читателя в пузырь, наоборот, старается постоянно подкидывать ему что-то новое. Раздел “For You” в SmartNews сочетает ваши интересы с совершенно новыми темами и трендами, которые алгоритм прогнозирует как потенциально интересные. Логика в том, что люди читают новости не только чтобы подтвердить знакомое, но и чтобы удивиться и узнать новое. SmartNews использует ИИ, чтобы предсказывать, что может заинтересовать пользователя дальше, даже если это вне его текущих увлечений. Благодаря этому в ленте появляются материалы, которые читатель сам бы не выбрал, но которые популярны у схожей аудитории и могут расширить его информационный кругозор. Дополнительно, как упомянуто выше, SmartNews ввёл “спектр новостей” – функцию, показывающую, как лево- и правополитические медиа освещают один сюжет. Этот «слайдер» мнений напрямую борется с пузырём, давая возможность взглянуть на новости под другим углом.Многообразие источников. Другие сервисы также экспериментируют с балансировкой. Платформа Newsadoo, к примеру, при персонализации по интересам всё равно показывает несколько версий одной новости из разных СМИ. Читая про событие, пользователь увидит рядом заголовки разных изданий – это напрямую разбивает монотонность и исключает одностороннее покрытие. Вещательная компания VRT (Фландрия) разработала рекомендательный алгоритм для своего новостного приложения, который сначала учитывает предпочтения, но затем постепенно расширяет спектр контента за счёт анализа метаданных. Алгоритм VRT старается аккуратно “подмешивать” в ленту материалы вне привычных вкусов, не перегружая, но понемногу разводя информационное меню пользователя. Цель – приучить аудиторию читать более разнообразные новости, выходя за рамки своих интересов, но делать это плавно, чтобы не потерять вовлечённость.
Роль человеческой модерации.
Отдельно стоит отметить редакционное вмешательство как способ балансировки. Apple News, как уже обсуждалось, доверяет редакторам отбор Top Stories для всех – по сути, люди-кураторы гарантируют, что утром все пользователи увидят подборку главных новостей, независимо от персональных настроек. Это включает в себя и потенциально неприятные, но важные темы. Например, если происходит глобальный кризис или чрезвычайное происшествие, Apple News вынесет его наверх для всех пользователей – даже тех, кто обычно такие темы избегает. Кроме Apple, подобный гибридный подход используют многие порталы: Yahoo! главную страницу наполняет редакция, MSN долгое время делал так же, а персональный контент размещался в отдельных виджетах. Такой баланс между алгоритмом и редактором призван сочетать два достоинства – масштаб и персонализация со стороны ИИ и общественная значимость и проверка со стороны человека.
В результате сегодня мы видим стремление агрегаторов обеспечить пользователю и то, что ему лично интересно, и то, что важно знать каждому гражданину. Полностью решить эту задачу непросто – нужно, чтобы алгоритм достаточно хорошо понимал, какие события имеют объективную важность. Тем не менее, комбинация методов (неперсональные блоки, режимы полноты обзора, разнообразие источников, ручной отбор) заметно улучшает ситуацию. При грамотном использовании таких функций читатель может одновременно наслаждаться контентом «для души» и не пропускать новости, которые определяют информационную картину дня.
Фильтрация информационного шума и манипуляций
Борьба с шумом. Информационный шум – это избыток нерелевантных или дублирующих сведений, мешающих увидеть суть. Персонализированные системы стараются минимизировать шум несколькими способами. Во-первых, почти все агрегаторы кластеризуют дубликаты статей: если десятки сайтов перепечатали одну и ту же новость, пользователь не увидит ее 50 раз, а получит один заголовок (с возможностью раскрыть другие источники при желании). Например, SmartNews агрегирует новости из разных изданий в одном интерфейсе, благодаря чему исключается необходимость переходить по множеству сайтов отдельно. Пользователь экономит время и не утопает в повторяющемся контенте – приложение само “собирает и склеивает” сходные новости. Во-вторых, умные алгоритмы пытаются отсеивать нерелевантное на этапе выбора: анализируют текст, тематику, даже тон публикации, чтобы определить, интересна ли она конкретному читателю. Шумом может считаться и несоответствие предпочтениям – например, если человеку неинтересен спорт, лента должна фильтровать спортивные статьи. Настройки и обратная связь помогают в этом: многие сервисы позволяют выбрать любимые темы/источники или, наоборот, скрыть нежелательные. В SmartNews, к примеру, пользователь может указывать доверенные источники и приоритетные темы, чтобы алгоритм фокусировался на них. По мере взаимодействия (чтения, скрытия, лайки) система «учится» все точнее отбирать релевантный и надежный контент.Еще одна тактика – ограничение потока. В отличие от соцсетей с бесконечной прокруткой, некоторые новостные приложения намеренно не перегружают ленту. Они могут выдавать определенное число статей в день (как делал, например, Yahoo News Digest) или формировать издания по расписанию (утренний и вечерний дайджест). Это предотвращает бесконтрольный поток сведений. Хотя такой подход менее популярен сейчас, элементы его появляются (как обсуждалось с Flipboard Storyboards – фиксированными подборками).
Противодействие дезинформации.
Манипуляции и фейковые новости – серьезный вызов для алгоритмических лент. С одной стороны, крупные агрегаторы стремятся работать только с авторитетными источниками. Google News, Apple News и др. имеют списки одобренных издателей; прежде чем неизвестный сайт попадет в выдачу, он проходит модерацию. Это отсеивает откровенно сомнительные ресурсы. С другой стороны, даже у признанных медиа бывают ошибки или предвзятость, а полностью исключить проникновение вирусных фейков трудно (особенно в соцсетях, где пользователи сами делятся новостями). Поэтому разрабатываются и автоматические фильтры. Например, Facebook внедрил алгоритмы для выявления явных фейков и кликбейта (анализа заголовков на типичные сенсационные шаблоны), понижения их в выдаче или маркировки. В новостных агрегаторах также используются метаданные: Google News помечает некоторые статьи как “Fact check” (проверка фактов) – эти метки присваиваются материалам, в которых содержится вывод независимой фактчекинговой организации. Если по громкой теме распространяются противоречивые сведения, Google News может показать карточку со сводкой от фактчекеров рядом с новостями, чтобы предупредить читателей. Кроме того, режимы множественных источников (вроде упомянутого Full Coverage или показа параллельно нескольких новостей на одну тему) сами по себе являются инструментом борьбы с манипуляциями. Когда читатель видит одновременно несколько интерпретаций события и сопоставляет их, сложнее утаить искаженную информацию. SmartNews, показывая новости “бок о бок” от разных изданий, поощряет аудиторию обращать внимание на расхождения и выявлять возможный уклон. Это снижает шанс, что фейк или пропагандистский нарратив останется незамеченным – другие источники дадут альтернативные факты.Тем не менее, эффективность этих мер не абсолютна. Алгоритмы не обладают истинным здравым смыслом и могут допускать курьезы. Уже упоминался случай, когда ИИ-редактор Microsoft перепутал фотографии в новости– такой визуальный фейл способен дезинформировать аудиторию (например, ошибочно идентифицировать человека на фото). Другой пример – сенсационность и пристрастность алгоритмов. Системы рекомендаций часто оптимизируются на метрику кликов и вовлеченности, что невольно поощряет “кричащий” контент. Исследование, сравнившее работу людей и машин в Apple News, показало, что алгоритм склонен выбирать более развлекательные и скандальные темы, чем редакторы. Меньшее разнообразие источников в автоматической выдаче тоже может быть формой информационной манипуляции – пользователь видит только ограниченный набор мнений. Эти ограничения признают и сами разработчики. Например, компания Twipe (занимается цифровыми новостными продуктами) отмечает, что пользователи ценят персонализацию, но опасаются предвзятости и изоляции во мнениях. Кроме того, многих волнуют приватность (что алгоритм знает о них слишком много) и прозрачность работы таких систем. Ведь если лента что-то скрыла, пользователь редко узнает об этом и не может проконтролировать или оспорить решение алгоритма.В итоге борьба с шумом и дезинформацией продолжается на нескольких фронтах: улучшение алгоритмических фильтров, привлечение независимых проверок, повышение разнообразия контента для самокоррекции, а также внедрение возможностей для пользователей влиять на выдачу (например, кнопки “Мне это не важно” или “Пожаловаться на новость”). Полностью автоматическое решение пока недостижимо, но сочетание технических и гуманитарных методов помогает сделать новостной поток более чистым и надёжным. Многие сервисы сегодня стремятся давать “полезную смесь” – с одной стороны, отфильтрованную от спама и фейков, с другой – достаточно широкую, чтобы человек сам мог сделать вывод, сравнив разные данные.
Технологии и исследования интеллектуальной фильтрации новостей
Анализ контента и профиля.
Персонализированная выдача новостей опирается на ряд ключевых технологий. Одно из центральных мест занимает контентная фильтрация: алгоритмы анализируют тексты статей с помощью NLP (обработки естественного языка), чтобы понять их тематику, ключевые сущности (персоны, организации, места) и даже тональность. На основе этого строятся профили интересов. Так, уже упомянутый сервис News360 применял семантический анализ и строил для каждого пользователя «граф интересов», отражающий его любимые темы. Схожие принципы используются и крупными компаниями – например, у Microsoft News и Google News есть модели, которые представляют интересы как набор тематических признаков или слов, полученных из ранее прочитанных статей. Другой распространенный метод – коллаборативная фильтрация, когда система смотрит не только на ваш личный профиль, но и на поведение похожих пользователей. Если люди со сходными интересами вдруг начали читать новую тему, возможно, и вам она будет интересна. Мы уже видели это на примере SmartNews, где явно говорится об учёте того, что читают «другие, похожие на вас»business.smartnews.com
. Большие данные о поведении множества пользователей позволяют рекомендательной системе делать такие перекрестные выводы.
Диверсификация и серендипность.
В академических исследованиях новостных рекомендаций много внимания уделяется проблеме разнообразия выдачи. Считается, что помимо точного соответствия интересам, лента должна включать контент, который расширяет кругозор и не дает скучать. В частности, повышение разнообразия напрямую предлагается как способ смягчить эффект фильтр-пузыря. Учёные ввели метрики для оценки разнообразия новостных рекомендаций – например, Intra-List Diversity (ILD), которая измеряет, насколько непохожи друг на друга статьи в предложенном списке. Если алгоритм слишком монотонен, ILD будет низкой. В ответ появились модели, учитывающие новизну (novelty) и серендипность. Одной из ранних систем была Newsjunkie, которая ранжировала новости для пользователя по принципу «насколько эта статья нова относительно уже прочитанного». То есть если вы весь день читали про экономику, Newsjunkie поднимала выше новости других тематик, чтобы разбавить информационное поле. Современные подходы интегрируют такие идеи в нейросетевые рекомендации: например, оценивают различие в эмоциональной тональности новостей или следят, чтобы в топ не попали все новости с одного источника. Диверсификация стала настолько важна, что её рассматривают как отдельную задачу при разработке новостных рекомендателей.
Обучение и модели ИИ.
За кулисами персональных лент работают сложные алгоритмы machine learning. Раньше это были в основном решающие деревья с множеством признаков или методы factorization (матричные разложения) для коллаборативной фильтрации. Сейчас доминируют нейросетевые модели, специально обученные на новостных данных. Крупные игроки (тот же Microsoft) публиковали научные работы о своих моделях: например, NPA (Neural News Recommendation) – нейросеть, учитывающая новостной заголовок, тело статьи и персональные интересы через механизмы внимания; или Wide & Deep модели, комбинирующие запоминание частых интересов и обобщение новых. В 2020 году был открыт датасет MIND (от Microsoft) – большой набор данных о том, какие новости читали миллионы пользователей MSN, с целью стимуляции исследований в этой области. Это позволило академическим группам разрабатывать и тестировать новые подходы. Среди интересных направлений – учёт временных факторов (modeling news sequence, поскольку интересы меняются день ото дня), учёт контекста (например, с какого устройства или в какое время суток потребляются новости, чтобы адаптировать формат), и даже попытки внедрять объяснимость. Последнее особенно важно: если алгоритм сможет объяснить, почему он рекомендует ту или иную статью, это повысит доверие пользователей. Пока что объяснимость достигается простыми средствами (например, подписью «потому что вы читали X»), но исследования ведутся и в сторону более интеллектуальных объяснений (например, выделять, что «эта новость упоминает ту же тему, что и вчерашняя вами прочитанная статья»).
Фильтрация фейков и качественных метрик.
Интересным суб-направлением является определение качества и достоверности новостей. Алгоритмы в будущем могут научиться автоматически различать качественную журналистику от поверхностной. Уже есть попытки учитывать репутацию источника, сложность изложения, наличие фактов vs мнений. Отдельно развивается детекция фейковых новостей с помощью ИИ: обучаются классификаторы, которые по тексту и метаданным стараются понять, является ли новость намеренной дезинформацией. Хотя полностью заменить человеческую фактчекинговую экспертизу сложно, такие модели могут служить фильтром первого уровня, помечая подозрительный контент для дальнейшей проверки. Также появляются концепции вроде “умных модераторов”, которые сидят поверх агрегатора и наблюдают за аномалиями (например, внезапно вирусная новость из неизвестного блога) – сигнализируя об этом человеку-редактору или автоматически уменьшая охват до выяснения обстоятельств.
Социальный контекст и персонализация. Новостная персонализация не ограничивается индивидуальными аппетитами – она вплетена в социальные процессы. Поэтому исследователи в области медиа обсуждают такие понятия, как поляризация, эхо-камеры (когда люди общаются только с единомышленниками и получают подтверждение своим взглядам), и влияние алгоритмов на общественное мнение. Некоторые работы даже проверяют, есть ли реально эффект пузыря. Отчёт Reuters Institute (2020) показал, что при обычном сценарии использования люди всё же получают достаточно разнообразия источников, и явного сильного пузыря персонализации они не обнаружили – скорее, пользователь сам склонен выбирать комфортные источники. Тем не менее, риск узости кругозора признаётся, и потому крупные новостные платформы продолжают вводить решения для контрольного впрыска разнообразия. На институциональном уровне идут дискуссии о «алгоритмической ответственности»: должны ли компании нести ответственность за деформацию информационной картины у пользователя, как измерять качество информационной диеты и т.п. Появляется даже термин “responsible recommendation” – подразумевающий этические принципы в дизайне таких алгоритмов (учёт общественного блага, избегание дискриминации, защита приватности и т.д.).Пробелы современных решений и перспективы развития
Несмотря на прогресс, в нынешних системах остаются существенные пробелы, которые открывают возможности для создания новой, улучшенной платформы персонализированных новостей:
Эффект пузыря и эхо-камеры. Полностью избавиться от фильтрационного пузыря пока не удалось. Даже с функциями вроде Full Coverage или политического слайдера, многие пользователи остаются в пределах комфортного им инфополя. Не каждый читатель будет нажимать специальные кнопки для разнообразия – зачастую люди пассивно потребляют, что дает лента. Поэтому новые решения могут глубже интегрировать разнообразие по умолчанию. Например, перспективно внедрять многокритериальные алгоритмы, которые оптимизируют не только персональную релевантность, но и “ценность” новости. Можно представить систему баллов важности: событие глобального масштаба получает высокий базовый вес, гарантирующий показ, даже если профиль пользователя и не совпадает. Некоторые эксперты предлагают дать самим пользователям инструменты контроля: например, ползунок персонализация–универсальность, где человек может настроить, хочет ли он более узкую или более широкую ленту. Пока таких интерфейсов почти нет, но их появление могло бы снизить проблему пузыря.
Качество и доверие к источникам. Сегодняшние агрегаторы в основном не объясняют, почему та или иная новость появилась у вас в ленте. Отсутствие прозрачности рождает недоверие и ощущение манипуляции. Новая система могла бы предложить прозрачный режим: например, при клике на новость показывать, какими факторами она выбрана («Популярно среди читателей в вашем городе», «Свежая статья по теме X, которой вы интересуетесь», «Важно: крупное событие дня» и т.п.). Также остается проблема фейков и пропаганды. Здесь можно улучшить фильтры, интегрировать больше сигналов. Перспективное направление – оценка надежности на лету: алгоритм вычисляет условный рейтинг доверия к статье, учитывая надежность источника, тональность (слишком эмоционально – подозрительно), совпадение с другими источниками и пр. Такой рейтинг мог бы сообщаться читателю (например, индикатором или предупреждением). К примеру, если новость подтверждена множеством независимых источников, система пометит ее как «верифицированная», а если информация сырая и исходит из одного соцсетевого поста – как «непроверенная». Пока подобное реализовано лишь фрагментарно (в виде меток фактчека), но дальнейшая автоматизация проверки фактов с ИИ – важный резерв.
Персонализация без перегибов. Современные алгоритмы в погоне за кликами иногда перегибают, зацикливаясь на одном типе контента (например, увидев интерес к скандальной хронике, могут заполнить ленту похожими историями). Пользователя это может быстро утомить или вызвать разочарование. Новый подход мог бы внедрить более человеческий такт: учитывать насыщение темой. Например, если за день вам показали уже 5 новостей про экономику, шестую стоит заменить чем-то другим – аналогично тому, как редактор газеты не станет печатать десять одинаковых статей. Здесь поможет и упомянутая концепция конечных изданий: подавать новости порциями, где каждая порция тщательно сбалансирована (как полоса в газете). Персонализация может происходить на уровне того, какие материалы войдут в эту порцию, но сама порция будет ограниченной и разнообразной. Такие эксперименты уже ведутся (JAMES, Flipboard и др.), и они перспективны для снижения информационного перенасыщения.
Учет индивидуальных ценностей и контекста. Текущие агрегаторы знают о наших кликах, но мало знают о нашем намерении или настроении. Перспективная система могла бы быть более контекстуальной: например, утром показывать сводку деловых новостей, а вечером – более развлекательный контент, исходя из предполагаемого настроения пользователя. Для этого ИИ может учитывать время суток, местоположение (на работе или дома), устройство (на смартфоне – короткие заметки, на планшете – лонгриды) и даже данные календаря (если у вас встреча с кем-то из финансовой отрасли, подсунуть последние финансовые новости для подготовки). Это ведет нас к идее умного новостного ассистента, который интегрирован в повседневную жизнь. Уже есть зачатки – голосовые помощники (Siri, Alexa) умеют зачитывать новости, но их персонализация примитивна. В будущем можно ожидать диалоговые системы, где вы можете спросить: «Что нового в науке?» – и получить сгенерированную ИИ сводку, релевантную вашим интересам, а затем уточнить «А что по моему городу?» и так далее. Это качественно новый уровень персонализации – по запросу и под ситуацию, а не только заранее спрогнозированные рекомендации.
Приватность и контроль данных. Наконец, важный пробел – доверие пользователей в плане конфиденциальности. Алгоритмы персонализации питаются данными о нас, и не всем это приятно. Новое решение могло бы привлекать аудиторию за счет приватности по дизайну: хранить профили локально на устройстве (как вариант, использовать технику federated learning, когда общая модель обучается без выгрузки личных данных на сервер). Или, как минимум, давать пользователю просмотреть и отредактировать свой «профиль интересов», который система про него составила. Это убьет двух зайцев: и прозрачность повысится (человек видит, что о нем «думает» ИИ, и может скорректировать), и лишних страхов не будет. В настоящее время мало кто из агрегаторов предоставляет такую возможность – это явный резерв для новых продуктов.
Перспективы развития. Вектор прогресса в области персонализированных новостей очевиден: системы будут становиться умнее, гибче и ответственнее. С возрастанием вычислительных мощностей и успехами AI мы увидим всё более тонкое понимание контента – вплоть до автоматического резюмирования новостей (чтобы в ленте показывался краткий тезис, а детально – по клику) и сквозного связывания сюжетов (например, ИИ будет напоминать, что это продолжение истории, о которой вы читали на прошлой неделе, обеспечивая контекст). Также вероятна интеграция мультимедиа: персонализация видео-новостей, подкастов по интересам. Уже сейчас YouTube и другие платформы рекомендуют новостные ролики по похожим алгоритмам.
Отдельно стоит ожидать усовершенствований в балансировке и достоверности. Давление общества и регуляторов (в свете проблем фейкньюс и поляризации) мотивирует компании делать алгоритмы более нейтральными и полезными для общества. Возможно, появятся этические рамки или независимые аудиты персонализированных лент, чтобы исключить злоупотребления (например, скрытую политическую цензуру или дискриминацию интересов меньшинств). Технологически это может реализоваться через добавление в модель целей по диверсификации и метрик “качества диеты”. Например, ИИ будет пытаться за неделю показать пользователю определенную норму разнообразия источников и тем, своего рода «информационную пирамиду питания».
Подводя итог, интеллектуальные новостные агрегаторы уже сейчас значительно облегчают нам жизнь, отфильтровывая тонны информации и подстраивая новости под наши интересы. Однако путь к идеально сбалансированной и надежной системе ещё не закончен. Необходимо и дальше совершенствовать алгоритмы, сочетать их с лучшими практиками журналистики и обеспечивать читателям как персональный, так и всеобъемлющий взгляд на мир. Технологии ИИ в этой области развиваются стремительно, и при критичном подходе и инновациях у нас есть шанс получить новостные сервисы, которые будут одновременно и увлекательными, и познавательными, и общественно значимымиtwipemobile.com
. Такой осознанный подход к персонализации позволит людям оставаться хорошо информированными, не тонуть в информационном шуме и не попадать в ловушки алгоритмов, а напротив – использовать их себе во благо.
Источники:
Cool-Fergus, S. Are Personalised News Aggregators Enhancing Our World or Echoing Our Biases? – Twipe (2024)
twipemobile.com
twipemobile.com
SmartNews Blog. “For You” – a smarter way to discover news (2017)
business.smartnews.com
business.smartnews.com
business.smartnews.com
Thenextweb. Google News has a new feature that may just pop your filter bubble (2018)
thenextweb.com
thenextweb.com
thenextweb.com
Seroundtable. Google: Our Personalized Results Do Not Create Filter Bubbles (2018)
seroundtable.com
Twipe (Case Studies). SmartNews, Newsadoo, VRT… (2024)
twipemobile.com
twipemobile.com
twipemobile.com
Twipe (Case Studies). Flipboard and JAMES… (2024)
twipemobile.com
twipemobile.com
Artsyltech. AI-Driven Insights: How SmartNews Top Stories are Reshaped (2023)
artsyltech.com
artsyltech.com
Artsyltech. SmartNews – Minimizing Bias (2023)
artsyltech.com
artsyltech.com
Wikipedia. News360 – personalized news app (2010–2022)
en.wikipedia.org
The Guardian. Apple News algorithms pick more celeb stories than human editors, study finds (2020)
ojs.aaai.org
Wu et al. Personalized News Recommendation: Methods and Challenges – ACM Computing Surveys (2021)
arxiv.org
arxiv.org
В повести Дмитрия Галковского «Друг утят» описана информационная система будущего, основанная на персональных модераторах. Эти модераторы представляют собой сложные программы с антропоморфной оболочкой, настроенные на индивидуальные предпочтения пользователя. Они фильтруют огромный поток информации по заданным критериям, таким как темы, объем, стиль подачи и внешность виртуального «диктора». Например, пользователь может настроить модератор на получение ежедневных 30 минут информации о Румынии, баскетболе и египтологии, поданной с легким скепсисом и элементами эротики, причем модератор будет выглядеть как его дедушка. Такая система позволяет человеку жить в информационном «коконе», общаясь через Интернет с единомышленниками или меняя фильтры по желанию. В этом обществе отсутствуют идеологические системы, а каждый человек сам определяет, что он хочет знать, исключая элемент драматургии и чужой воли из общения. Таким образом, общество становится настолько лживым, что даже правдиво, поскольку никто никого сознательно не обманывает, а каждый получает информацию в соответствии со своими настройками фильтра.
magazines.gorky.media
Система персональных модераторов, описанная в Друге утят, имеет много привлекательных черт, особенно с точки зрения когнитивной эффективности:
Плюсы:
Фильтрация информационного шума – исключение нежелательной информации снижает перегрузку мозга и экономит время.
Персонализация контента – каждый получает именно то, что ему интересно, в нужном формате и объеме.
Минимизация манипуляций – отсутствие навязанной идеологии снижает вероятность внешнего влияния.
Оптимизация обучения – возможность формировать поток знаний в удобной и интересной форме.
Эмоциональный комфорт – контент подается так, чтобы минимизировать стресс и дискомфорт.
Минусы и риски:
Эффект «информационного кокона» – человек перестает сталкиваться с неожиданными идеями, что может вести к интеллектуальной стагнации.
Подтверждение предвзятостей – фильтры только усиливают уже существующие убеждения, что ведет к поляризации общества.
Потеря критического мышления – если система подстраивается под желания, пользователь реже сталкивается с аргументами, которые его мировоззрение ставят под сомнение.
Упадок социальной реальности – люди перестают взаимодействовать с носителями иных точек зрения, что может привести к радикализации и узости восприятия.
Возможность скрытого управления – если модератором управляют внешние силы, можно незаметно менять картину мира пользователя, не вызывая у него дискомфорта.
Система действительно устраняет раздражающие факторы и делает поток информации удобным. Однако она превращает человека в заложника своих собственных предпочтений и заблуждений. Это идеальная машина для создания общества «удовлетворенных идиотов», где каждый варится в своем маленьком пузыре, не видя общей картины.
В идеале такая технология должна сочетать персонализацию с обязательной дозой случайности – чтобы время от времени подкидывать пользователю неожиданные, но потенциально полезные точки зрения. Тогда это будет инструментом развития, а не цифровым наркотиком.
Идеальная персонализированная новостная система.
Основные принципы системы
Персонализация + Контролируемая случайность – система фильтрует контент по интересам, но обязательным блоком включает события высокой значимости.
Многоуровневое представление – новости подаются разными способами: заголовками, краткими сводками, глубинным анализом.
Динамическая адаптация – система анализирует, как пользователь реагирует на новости, и корректирует подачу информации.
Геопривязка – интеграция с локальными событиями для оперативного информирования.
Модуль критического мышления – подача новостей с разбором альтернативных точек зрения и потенциальных манипуляций.
Архитектура системы
Научные прорывы (новые технологии, открытия, медицинские достижения).
Геополитические кризисы (войны, революции, санкции).
Экономические катаклизмы (кризисы, крахи рынков, изменения в мировых финансах).
Природные и техногенные катастрофы.
Культурные вехи (смерть знаковых личностей, революции в искусстве).
Изменения в законодательстве, затрагивающие базовые права.
Алгоритм определяет «нельзя пропустить» по ряду критериев:
✔ Влияние на мировую политику / экономику / технологии.
✔ Влияние на жизнь обычного человека.
✔ Историческая важность.
✅ Дебрифинг – утренний / вечерний персональный свод новостей с анализом.
✅ Температура информационного поля – график изменения «напряженности» в мире по темам.
✅ Архив событий – возможность «перемотать назад» и посмотреть развитие темы.
✅ Прогнозный анализ – система моделирует возможные последствия ключевых событий.
Вывод
Такая система объединяет персонализацию и объективную необходимость быть в курсе важного. Она не превращает пользователя в «инфо-наркомана», но и не оставляет его в пузыре собственных интересов.
Главный вызов – баланс между свободой выбора и необходимостью знать критически важное.
Проведем исследование по двум направлениям:
Существующие новостные системы, которые частично или полностью реализуют концепцию персонализированной новостной ленты с фильтрацией и анализом значимых событий.
Исследования и концепты, связанные с идеей интеллектуального новостного агрегатора, который минимизирует информационный шум, но не позволяет пропустить ключевые события.
Каждый день публикуются тысячи новостей, и без автоматической фильтрации пользователям трудно выделить важное. Современные новостные агрегаторы и персонализированные ленты используют алгоритмы искусственного интеллекта (ИИ), чтобы адаптировать поток новостей под интересы каждого читателя и облегчить информационную перегрузку. Такие системы анализируют, что читатель просматривал и что ему понравилось, и на этой основе предлагают релевантные статьи. Ниже представлен обзор основных решений, их возможностей и ограничений, а также перспективы развития технологий умной персонализации новостей.
Платформы с умной персонализацией новостей
Google News. Один из крупнейших новостных агрегаторов, Google News, активно применяет ИИ для подбора контента. После обновления 2018 года сервис использует алгоритмы машинного обучения для показа новостей, которые «вы больше всего захотите прочитать — как про события рядом с вами, так и по всему миру». При этом Google News строит персонализированную ленту «For You», учитывая историю запросов и чтения пользователя, но не отказывается и от общих разделов. Например, раздел “Top Stories” («Главные новости») в Google News вообще не персонализируется – он показывает всем одни и те же ключевые новости дня . Это гарантирует, что важнейшие мировые события будут видны каждому, даже если его личные интересы лежат в других темах. Кроме того, Google агрегирует новости из множества источников и группирует статьи по одному событию. В рамках функции “Full Coverage” («Полный охват») Google News отключает персональный рейтинг и показывает хронологическую ленту материалов по выбранной теме, включая разные точки зрения и источники. Такой подход помогает читателю получить панорамный обзор события без искажения алгоритмом.Apple News. Apple News сочетает алгоритмические рекомендации с человеческой редактурой. Секция Top Stories в приложении отбирается командой редакторов вручную, чтобы выделить главные новости дня, тогда как другие разделы (например, Trending Stories и персонализированные рекомендации For You) формируются алгоритмами на основе интересов пользователя. Исследования показали, что алгоритмическая лента склонна выбирать больше развлекательного контента и менее разнообразные источники по сравнению с подборкой людей-редакторов. В частности, автоматический раздел Trending в Apple News чаще выдавал новости о знаменитостях и поп-культуре, тогда как редакторы в Top Stories предлагали более сбалансированный и широкий круг тем. Это подчеркнуло важность гибридного подхода: Apple стремится найти баланс, доверяя ИИ в персональных рекомендациях, но одновременно используя опыт редакторов, чтобы покрыть критически важные темы и избежать перекоса в сторону «желтых» новостей. Пользователь Apple News также может влиять на ленту – например, отмечать “Suggest Less/More” (показывать меньше/больше подобного) для тонкой настройки рекомендаций.
Специализированные новостные приложения.
На рынке существует ряд независимых агрегаторов, делающих ставку на умную персонализацию. Например, приложение SmartNews применяет машинное обучение, чтобы анализировать миллионы статей в сети и отбирать для пользователя самое актуальное. SmartNews известен своим режимом “For You”, который позиционируется как «персонализированное открытие» новостей. В отличие от некоторых конкурентов, которые просто повторяют ваши прошлые просмотры, SmartNews старается предлагать новые темы, которые могут вас заинтересовать, даже если вы о них ранее не читали. Такой подход призван расширять кругозор читателя, а не только замыкать его в привычных темах. Чем больше вы пользуетесь приложением, тем точнее оно подбирает контент – SmartNews отмечает, что анализирует, какие материалы «другие пользователи, похожие на вас» находят интересными, и на этой основе рекомендует их и вам. Помимо этого, SmartNews внедряет специальные функции для разнообразия контента – например, политический «слайдер», позволяющий посмотреть, как различные медиа (правого или левого толка) освещают одну и ту же историю. Это помогает пользователю увидеть альтернативные точки зрения и сформировать более взвешенное мнение.Другой пример – Flipboard, популярный агрегатор, оформляющий новости в виде журнальной ленты. Flipboard позволяет пользователям выбирать интересующие темы и источники, а затем автоматически наполняет их «журнал» связанными статьями. Со временем алгоритм изучает предпочтения – что пользователь пролистывает, а что читает – и все точнее настраивает выдачу. Чтобы бороться с перегрузкой, Flipboard экспериментирует с «конечными подборками». В частности, формат Storyboards предлагает подборку материалов по определенной теме с четкой структурой и финалом, в отличие от бесконечной прокрутки стандартной ленты. Такой конечный пакет новостей позволяет читателю получить завершенный обзор темы и избежать ощущения, что новости «бездонны» – это повышает удовлетворенность и предотвращает утомление от бесконечного потока.
Региональные и социальные платформы.
В разных странах появились собственные системы персонализированной ленты. Например, в русскоязычном сегменте известна платформа Яндекс.Дзен – сервис, где алгоритмы Яндекса с помощью нейросетей формируют для каждого пользователя уникальную смесь новостей, статей и блог-постов. Яндекс.Дзен анализирует поведение (что читаете, на какие заголовки кликаете, сколько времени проводите) и наполняет ленту контентом, который с наибольшей вероятностью вам понравится. Пользователь может влиять на выдачу прямо – ставить «лайк» или «дизлайк» записям, подписываться на интересные каналы или блокировать неинтересные, и алгоритм учтёт эти сигналы при дальнейшей персонализации. Помимо агрегаторов, стоит упомянуть и социальные сети (Facebook, ВКонтакте, Twitter), ленты которых тоже фактически стали персональными новостными потоками. Лента Facebook знаменита своим алгоритмом, который с помощью машинного обучения оценивает сотни тысяч кандидатов на показ и выбирает те посты и новости, которые, по прогнозу, больше всего заинтересуют конкретного человека. Это превращает социальные сети в мощные персонализированные каналы новостей – хотя их цель скорее удерживать внимание, чем обеспечить полноту обзора событий.
ИИ-алгоритмы для выявления ключевых событий
Современные агрегаторы применяют ИИ не только для подбора интересного контента, но и для оперативного обнаружения важных событий в мире. Например, Google News автоматически кластеризует сотни статей по схожей тематике, фактически распознавая, когда множество источников пишут об одном и том же событии (будь то крупная авария, выборы или релиз нового продукта). Затем алгоритмы могут оценить значимость таких кластеров (например, по количеству публикаций, охвату аудитории, географии) и вынести наиболее важные события в раздел топ-новостей. Благодаря этому Google News быстро отражает новые мировые тренды: если где-то происходит нечто значимое, агрегатор вскоре покажет это всем пользователям в “Top Stories”. По словам Google, топ-новости обновляются очень часто именно потому, что они зависят от событий реального времени, а не от профиля пользователя.Многие платформы разрабатывают собственные системы автоматического детектирования новостей. Microsoft в рамках MSN News долгое время сочетала ручной отбор с алгоритмами, а в последние годы сделала шаг к полной автоматизации. В 2020 году сообщалось, что Microsoft сократила штат редакторов и перешла на ИИ-систему, которая должна сама выбирать трендовые новости, писать заголовки и подбирать изображения. Эта система мониторит сотни источников и метрик, чтобы определить, какие темы сейчас «на взлёте». Однако опыт показал, что полагаться только на ИИ рискованно – вскоре после перехода на роботов произошёл инцидент, когда MSN выдала новость с перепутанной фотографией участниц музыкальной группы (алгоритм неверно сопоставил картинку с персоной). Этот случай подчеркнул, что для корректного выявления событий ИИ пока необходим присмотр или доработка, особенно в части точности и контекстного понимания.Отдельного упоминания заслуживает подход SmartNews. Сервис позиционируется как «AI-driven news aggregator», то есть агрегатор, управляемый ИИ. Его алгоритмы интеллектуально отбирают топ-статьи из различных источников и удобно доставляют их пользователю. Фактически SmartNews выполняет роль автоматического редактора: просеивает огромный поток публикаций (в том числе локальные новости, блоги, нишевые издания) и собирает каждому читателю обновляемую подборку главных событий дня. Похожие идеи реализуются и в других проектах – например, платформа Newsadoo в Европе агрегирует новости с помощью ИИ и группирует их по событиям, сразу показывая несколько версий статьи об одном инфоповоде. В сфере медиаразведки (media intelligence) существуют системы вроде Event Registry, которые полностью посвящены отслеживанию мировых событий: они в реальном времени парсят тысячи новостных лент по всему миру, с помощью обработки естественного языка определяют, какие сообщения относятся к одному событию, и даже пытаются оценить его тон и влияние. Хотя такие системы чаще используются журналистами и аналитиками, сам факт их появления говорит о больших возможностях ИИ в обнаружении и ранжировании событий.В целом, ИИ-алгоритмы уже умеют выявлять “что важно” на основе колоссальных данных. Они ловят всплески обсуждений (в СМИ и соцсетях), определяют новости, которые быстро набирают популярность, и могут предупредить редакции или пользователей о “breaking news” (только что произошедших). Пользовательские агрегаторы вроде Google News и SmartNews внедряют эти технологии, чтобы читатели получали не только персональные, но и своевременные оповещения о ключевых мировых новостях.
Баланс между интересами и критически важными новостями
Проблема “пузыря фильтров”. Когда алгоритмы слишком узко подстраивают ленту под вкусы пользователя, возникает риск так называемого «информационного пузыря». Этот термин (filter bubble) ввёл интернет-активист Элай Паризер, описав ситуацию, когда человек видит только ту информацию, которая подтверждает его взгляды, а важные альтернативные мнения остаются за бортом. В новостях эффект пузыря особенно опасен: читатель может упускать события глобального значения или не получать критически важные новости, если они вне зоны его обычных интересов. Кроме того, замкнутая среда мнений усиливает поляризацию: лента показывает лишь то, с чем вы наверняка согласны, из-за чего взгляд на мир искажается. Современные агрегаторы осознают эту проблему и ищут способы балансировки между персонализацией и общественной значимостью контента.Алгоритмические решения. Несколько подходов внедрено на практике. Во-первых, как упоминалось, Google News умышленно оставляет в интерфейсе неперсонализированный блок главных новостей. Пользователь может сразу увидеть общенациональные и мировые топ-темы, даже если обычно он читает про спорт или технологии. Во-вторых, Google предлагает кнопку “Full Coverage”, которая позволяет выйти из пузыря одним нажатием – по конкретной теме показываются различные источники и точки зрения, а алгоритмический приоритет отменяется. Там же пользователь увидит хронологию развития события и даже посты из соцсетей, что даёт целостную картину. Таким образом, Google пытается сочетать индивидуальный подход (“Для вас”) с общим информационным полем.SmartNews пошёл другим путём: его концепция – “персонализированное открытие”. Приложение утверждает, что не хочет загонять читателя в пузырь, наоборот, старается постоянно подкидывать ему что-то новое. Раздел “For You” в SmartNews сочетает ваши интересы с совершенно новыми темами и трендами, которые алгоритм прогнозирует как потенциально интересные. Логика в том, что люди читают новости не только чтобы подтвердить знакомое, но и чтобы удивиться и узнать новое. SmartNews использует ИИ, чтобы предсказывать, что может заинтересовать пользователя дальше, даже если это вне его текущих увлечений. Благодаря этому в ленте появляются материалы, которые читатель сам бы не выбрал, но которые популярны у схожей аудитории и могут расширить его информационный кругозор. Дополнительно, как упомянуто выше, SmartNews ввёл “спектр новостей” – функцию, показывающую, как лево- и правополитические медиа освещают один сюжет. Этот «слайдер» мнений напрямую борется с пузырём, давая возможность взглянуть на новости под другим углом.Многообразие источников. Другие сервисы также экспериментируют с балансировкой. Платформа Newsadoo, к примеру, при персонализации по интересам всё равно показывает несколько версий одной новости из разных СМИ. Читая про событие, пользователь увидит рядом заголовки разных изданий – это напрямую разбивает монотонность и исключает одностороннее покрытие. Вещательная компания VRT (Фландрия) разработала рекомендательный алгоритм для своего новостного приложения, который сначала учитывает предпочтения, но затем постепенно расширяет спектр контента за счёт анализа метаданных. Алгоритм VRT старается аккуратно “подмешивать” в ленту материалы вне привычных вкусов, не перегружая, но понемногу разводя информационное меню пользователя. Цель – приучить аудиторию читать более разнообразные новости, выходя за рамки своих интересов, но делать это плавно, чтобы не потерять вовлечённость.
Роль человеческой модерации.
Отдельно стоит отметить редакционное вмешательство как способ балансировки. Apple News, как уже обсуждалось, доверяет редакторам отбор Top Stories для всех – по сути, люди-кураторы гарантируют, что утром все пользователи увидят подборку главных новостей, независимо от персональных настроек. Это включает в себя и потенциально неприятные, но важные темы. Например, если происходит глобальный кризис или чрезвычайное происшествие, Apple News вынесет его наверх для всех пользователей – даже тех, кто обычно такие темы избегает. Кроме Apple, подобный гибридный подход используют многие порталы: Yahoo! главную страницу наполняет редакция, MSN долгое время делал так же, а персональный контент размещался в отдельных виджетах. Такой баланс между алгоритмом и редактором призван сочетать два достоинства – масштаб и персонализация со стороны ИИ и общественная значимость и проверка со стороны человека.
В результате сегодня мы видим стремление агрегаторов обеспечить пользователю и то, что ему лично интересно, и то, что важно знать каждому гражданину. Полностью решить эту задачу непросто – нужно, чтобы алгоритм достаточно хорошо понимал, какие события имеют объективную важность. Тем не менее, комбинация методов (неперсональные блоки, режимы полноты обзора, разнообразие источников, ручной отбор) заметно улучшает ситуацию. При грамотном использовании таких функций читатель может одновременно наслаждаться контентом «для души» и не пропускать новости, которые определяют информационную картину дня.
Фильтрация информационного шума и манипуляций
Борьба с шумом. Информационный шум – это избыток нерелевантных или дублирующих сведений, мешающих увидеть суть. Персонализированные системы стараются минимизировать шум несколькими способами. Во-первых, почти все агрегаторы кластеризуют дубликаты статей: если десятки сайтов перепечатали одну и ту же новость, пользователь не увидит ее 50 раз, а получит один заголовок (с возможностью раскрыть другие источники при желании). Например, SmartNews агрегирует новости из разных изданий в одном интерфейсе, благодаря чему исключается необходимость переходить по множеству сайтов отдельно. Пользователь экономит время и не утопает в повторяющемся контенте – приложение само “собирает и склеивает” сходные новости. Во-вторых, умные алгоритмы пытаются отсеивать нерелевантное на этапе выбора: анализируют текст, тематику, даже тон публикации, чтобы определить, интересна ли она конкретному читателю. Шумом может считаться и несоответствие предпочтениям – например, если человеку неинтересен спорт, лента должна фильтровать спортивные статьи. Настройки и обратная связь помогают в этом: многие сервисы позволяют выбрать любимые темы/источники или, наоборот, скрыть нежелательные. В SmartNews, к примеру, пользователь может указывать доверенные источники и приоритетные темы, чтобы алгоритм фокусировался на них. По мере взаимодействия (чтения, скрытия, лайки) система «учится» все точнее отбирать релевантный и надежный контент.Еще одна тактика – ограничение потока. В отличие от соцсетей с бесконечной прокруткой, некоторые новостные приложения намеренно не перегружают ленту. Они могут выдавать определенное число статей в день (как делал, например, Yahoo News Digest) или формировать издания по расписанию (утренний и вечерний дайджест). Это предотвращает бесконтрольный поток сведений. Хотя такой подход менее популярен сейчас, элементы его появляются (как обсуждалось с Flipboard Storyboards – фиксированными подборками).
Противодействие дезинформации.
Манипуляции и фейковые новости – серьезный вызов для алгоритмических лент. С одной стороны, крупные агрегаторы стремятся работать только с авторитетными источниками. Google News, Apple News и др. имеют списки одобренных издателей; прежде чем неизвестный сайт попадет в выдачу, он проходит модерацию. Это отсеивает откровенно сомнительные ресурсы. С другой стороны, даже у признанных медиа бывают ошибки или предвзятость, а полностью исключить проникновение вирусных фейков трудно (особенно в соцсетях, где пользователи сами делятся новостями). Поэтому разрабатываются и автоматические фильтры. Например, Facebook внедрил алгоритмы для выявления явных фейков и кликбейта (анализа заголовков на типичные сенсационные шаблоны), понижения их в выдаче или маркировки. В новостных агрегаторах также используются метаданные: Google News помечает некоторые статьи как “Fact check” (проверка фактов) – эти метки присваиваются материалам, в которых содержится вывод независимой фактчекинговой организации. Если по громкой теме распространяются противоречивые сведения, Google News может показать карточку со сводкой от фактчекеров рядом с новостями, чтобы предупредить читателей. Кроме того, режимы множественных источников (вроде упомянутого Full Coverage или показа параллельно нескольких новостей на одну тему) сами по себе являются инструментом борьбы с манипуляциями. Когда читатель видит одновременно несколько интерпретаций события и сопоставляет их, сложнее утаить искаженную информацию. SmartNews, показывая новости “бок о бок” от разных изданий, поощряет аудиторию обращать внимание на расхождения и выявлять возможный уклон. Это снижает шанс, что фейк или пропагандистский нарратив останется незамеченным – другие источники дадут альтернативные факты.Тем не менее, эффективность этих мер не абсолютна. Алгоритмы не обладают истинным здравым смыслом и могут допускать курьезы. Уже упоминался случай, когда ИИ-редактор Microsoft перепутал фотографии в новости– такой визуальный фейл способен дезинформировать аудиторию (например, ошибочно идентифицировать человека на фото). Другой пример – сенсационность и пристрастность алгоритмов. Системы рекомендаций часто оптимизируются на метрику кликов и вовлеченности, что невольно поощряет “кричащий” контент. Исследование, сравнившее работу людей и машин в Apple News, показало, что алгоритм склонен выбирать более развлекательные и скандальные темы, чем редакторы. Меньшее разнообразие источников в автоматической выдаче тоже может быть формой информационной манипуляции – пользователь видит только ограниченный набор мнений. Эти ограничения признают и сами разработчики. Например, компания Twipe (занимается цифровыми новостными продуктами) отмечает, что пользователи ценят персонализацию, но опасаются предвзятости и изоляции во мнениях. Кроме того, многих волнуют приватность (что алгоритм знает о них слишком много) и прозрачность работы таких систем. Ведь если лента что-то скрыла, пользователь редко узнает об этом и не может проконтролировать или оспорить решение алгоритма.В итоге борьба с шумом и дезинформацией продолжается на нескольких фронтах: улучшение алгоритмических фильтров, привлечение независимых проверок, повышение разнообразия контента для самокоррекции, а также внедрение возможностей для пользователей влиять на выдачу (например, кнопки “Мне это не важно” или “Пожаловаться на новость”). Полностью автоматическое решение пока недостижимо, но сочетание технических и гуманитарных методов помогает сделать новостной поток более чистым и надёжным. Многие сервисы сегодня стремятся давать “полезную смесь” – с одной стороны, отфильтрованную от спама и фейков, с другой – достаточно широкую, чтобы человек сам мог сделать вывод, сравнив разные данные.
Технологии и исследования интеллектуальной фильтрации новостей
Анализ контента и профиля.
Персонализированная выдача новостей опирается на ряд ключевых технологий. Одно из центральных мест занимает контентная фильтрация: алгоритмы анализируют тексты статей с помощью NLP (обработки естественного языка), чтобы понять их тематику, ключевые сущности (персоны, организации, места) и даже тональность. На основе этого строятся профили интересов. Так, уже упомянутый сервис News360 применял семантический анализ и строил для каждого пользователя «граф интересов», отражающий его любимые темы. Схожие принципы используются и крупными компаниями – например, у Microsoft News и Google News есть модели, которые представляют интересы как набор тематических признаков или слов, полученных из ранее прочитанных статей. Другой распространенный метод – коллаборативная фильтрация, когда система смотрит не только на ваш личный профиль, но и на поведение похожих пользователей. Если люди со сходными интересами вдруг начали читать новую тему, возможно, и вам она будет интересна. Мы уже видели это на примере SmartNews, где явно говорится об учёте того, что читают «другие, похожие на вас»business.smartnews.com
. Большие данные о поведении множества пользователей позволяют рекомендательной системе делать такие перекрестные выводы.
Диверсификация и серендипность.
В академических исследованиях новостных рекомендаций много внимания уделяется проблеме разнообразия выдачи. Считается, что помимо точного соответствия интересам, лента должна включать контент, который расширяет кругозор и не дает скучать. В частности, повышение разнообразия напрямую предлагается как способ смягчить эффект фильтр-пузыря. Учёные ввели метрики для оценки разнообразия новостных рекомендаций – например, Intra-List Diversity (ILD), которая измеряет, насколько непохожи друг на друга статьи в предложенном списке. Если алгоритм слишком монотонен, ILD будет низкой. В ответ появились модели, учитывающие новизну (novelty) и серендипность. Одной из ранних систем была Newsjunkie, которая ранжировала новости для пользователя по принципу «насколько эта статья нова относительно уже прочитанного». То есть если вы весь день читали про экономику, Newsjunkie поднимала выше новости других тематик, чтобы разбавить информационное поле. Современные подходы интегрируют такие идеи в нейросетевые рекомендации: например, оценивают различие в эмоциональной тональности новостей или следят, чтобы в топ не попали все новости с одного источника. Диверсификация стала настолько важна, что её рассматривают как отдельную задачу при разработке новостных рекомендателей.
Обучение и модели ИИ.
За кулисами персональных лент работают сложные алгоритмы machine learning. Раньше это были в основном решающие деревья с множеством признаков или методы factorization (матричные разложения) для коллаборативной фильтрации. Сейчас доминируют нейросетевые модели, специально обученные на новостных данных. Крупные игроки (тот же Microsoft) публиковали научные работы о своих моделях: например, NPA (Neural News Recommendation) – нейросеть, учитывающая новостной заголовок, тело статьи и персональные интересы через механизмы внимания; или Wide & Deep модели, комбинирующие запоминание частых интересов и обобщение новых. В 2020 году был открыт датасет MIND (от Microsoft) – большой набор данных о том, какие новости читали миллионы пользователей MSN, с целью стимуляции исследований в этой области. Это позволило академическим группам разрабатывать и тестировать новые подходы. Среди интересных направлений – учёт временных факторов (modeling news sequence, поскольку интересы меняются день ото дня), учёт контекста (например, с какого устройства или в какое время суток потребляются новости, чтобы адаптировать формат), и даже попытки внедрять объяснимость. Последнее особенно важно: если алгоритм сможет объяснить, почему он рекомендует ту или иную статью, это повысит доверие пользователей. Пока что объяснимость достигается простыми средствами (например, подписью «потому что вы читали X»), но исследования ведутся и в сторону более интеллектуальных объяснений (например, выделять, что «эта новость упоминает ту же тему, что и вчерашняя вами прочитанная статья»).
Фильтрация фейков и качественных метрик.
Интересным суб-направлением является определение качества и достоверности новостей. Алгоритмы в будущем могут научиться автоматически различать качественную журналистику от поверхностной. Уже есть попытки учитывать репутацию источника, сложность изложения, наличие фактов vs мнений. Отдельно развивается детекция фейковых новостей с помощью ИИ: обучаются классификаторы, которые по тексту и метаданным стараются понять, является ли новость намеренной дезинформацией. Хотя полностью заменить человеческую фактчекинговую экспертизу сложно, такие модели могут служить фильтром первого уровня, помечая подозрительный контент для дальнейшей проверки. Также появляются концепции вроде “умных модераторов”, которые сидят поверх агрегатора и наблюдают за аномалиями (например, внезапно вирусная новость из неизвестного блога) – сигнализируя об этом человеку-редактору или автоматически уменьшая охват до выяснения обстоятельств.
Социальный контекст и персонализация. Новостная персонализация не ограничивается индивидуальными аппетитами – она вплетена в социальные процессы. Поэтому исследователи в области медиа обсуждают такие понятия, как поляризация, эхо-камеры (когда люди общаются только с единомышленниками и получают подтверждение своим взглядам), и влияние алгоритмов на общественное мнение. Некоторые работы даже проверяют, есть ли реально эффект пузыря. Отчёт Reuters Institute (2020) показал, что при обычном сценарии использования люди всё же получают достаточно разнообразия источников, и явного сильного пузыря персонализации они не обнаружили – скорее, пользователь сам склонен выбирать комфортные источники. Тем не менее, риск узости кругозора признаётся, и потому крупные новостные платформы продолжают вводить решения для контрольного впрыска разнообразия. На институциональном уровне идут дискуссии о «алгоритмической ответственности»: должны ли компании нести ответственность за деформацию информационной картины у пользователя, как измерять качество информационной диеты и т.п. Появляется даже термин “responsible recommendation” – подразумевающий этические принципы в дизайне таких алгоритмов (учёт общественного блага, избегание дискриминации, защита приватности и т.д.).Пробелы современных решений и перспективы развития
Несмотря на прогресс, в нынешних системах остаются существенные пробелы, которые открывают возможности для создания новой, улучшенной платформы персонализированных новостей:
Эффект пузыря и эхо-камеры. Полностью избавиться от фильтрационного пузыря пока не удалось. Даже с функциями вроде Full Coverage или политического слайдера, многие пользователи остаются в пределах комфортного им инфополя. Не каждый читатель будет нажимать специальные кнопки для разнообразия – зачастую люди пассивно потребляют, что дает лента. Поэтому новые решения могут глубже интегрировать разнообразие по умолчанию. Например, перспективно внедрять многокритериальные алгоритмы, которые оптимизируют не только персональную релевантность, но и “ценность” новости. Можно представить систему баллов важности: событие глобального масштаба получает высокий базовый вес, гарантирующий показ, даже если профиль пользователя и не совпадает. Некоторые эксперты предлагают дать самим пользователям инструменты контроля: например, ползунок персонализация–универсальность, где человек может настроить, хочет ли он более узкую или более широкую ленту. Пока таких интерфейсов почти нет, но их появление могло бы снизить проблему пузыря.
Качество и доверие к источникам. Сегодняшние агрегаторы в основном не объясняют, почему та или иная новость появилась у вас в ленте. Отсутствие прозрачности рождает недоверие и ощущение манипуляции. Новая система могла бы предложить прозрачный режим: например, при клике на новость показывать, какими факторами она выбрана («Популярно среди читателей в вашем городе», «Свежая статья по теме X, которой вы интересуетесь», «Важно: крупное событие дня» и т.п.). Также остается проблема фейков и пропаганды. Здесь можно улучшить фильтры, интегрировать больше сигналов. Перспективное направление – оценка надежности на лету: алгоритм вычисляет условный рейтинг доверия к статье, учитывая надежность источника, тональность (слишком эмоционально – подозрительно), совпадение с другими источниками и пр. Такой рейтинг мог бы сообщаться читателю (например, индикатором или предупреждением). К примеру, если новость подтверждена множеством независимых источников, система пометит ее как «верифицированная», а если информация сырая и исходит из одного соцсетевого поста – как «непроверенная». Пока подобное реализовано лишь фрагментарно (в виде меток фактчека), но дальнейшая автоматизация проверки фактов с ИИ – важный резерв.
Персонализация без перегибов. Современные алгоритмы в погоне за кликами иногда перегибают, зацикливаясь на одном типе контента (например, увидев интерес к скандальной хронике, могут заполнить ленту похожими историями). Пользователя это может быстро утомить или вызвать разочарование. Новый подход мог бы внедрить более человеческий такт: учитывать насыщение темой. Например, если за день вам показали уже 5 новостей про экономику, шестую стоит заменить чем-то другим – аналогично тому, как редактор газеты не станет печатать десять одинаковых статей. Здесь поможет и упомянутая концепция конечных изданий: подавать новости порциями, где каждая порция тщательно сбалансирована (как полоса в газете). Персонализация может происходить на уровне того, какие материалы войдут в эту порцию, но сама порция будет ограниченной и разнообразной. Такие эксперименты уже ведутся (JAMES, Flipboard и др.), и они перспективны для снижения информационного перенасыщения.
Учет индивидуальных ценностей и контекста. Текущие агрегаторы знают о наших кликах, но мало знают о нашем намерении или настроении. Перспективная система могла бы быть более контекстуальной: например, утром показывать сводку деловых новостей, а вечером – более развлекательный контент, исходя из предполагаемого настроения пользователя. Для этого ИИ может учитывать время суток, местоположение (на работе или дома), устройство (на смартфоне – короткие заметки, на планшете – лонгриды) и даже данные календаря (если у вас встреча с кем-то из финансовой отрасли, подсунуть последние финансовые новости для подготовки). Это ведет нас к идее умного новостного ассистента, который интегрирован в повседневную жизнь. Уже есть зачатки – голосовые помощники (Siri, Alexa) умеют зачитывать новости, но их персонализация примитивна. В будущем можно ожидать диалоговые системы, где вы можете спросить: «Что нового в науке?» – и получить сгенерированную ИИ сводку, релевантную вашим интересам, а затем уточнить «А что по моему городу?» и так далее. Это качественно новый уровень персонализации – по запросу и под ситуацию, а не только заранее спрогнозированные рекомендации.
Приватность и контроль данных. Наконец, важный пробел – доверие пользователей в плане конфиденциальности. Алгоритмы персонализации питаются данными о нас, и не всем это приятно. Новое решение могло бы привлекать аудиторию за счет приватности по дизайну: хранить профили локально на устройстве (как вариант, использовать технику federated learning, когда общая модель обучается без выгрузки личных данных на сервер). Или, как минимум, давать пользователю просмотреть и отредактировать свой «профиль интересов», который система про него составила. Это убьет двух зайцев: и прозрачность повысится (человек видит, что о нем «думает» ИИ, и может скорректировать), и лишних страхов не будет. В настоящее время мало кто из агрегаторов предоставляет такую возможность – это явный резерв для новых продуктов.
Перспективы развития. Вектор прогресса в области персонализированных новостей очевиден: системы будут становиться умнее, гибче и ответственнее. С возрастанием вычислительных мощностей и успехами AI мы увидим всё более тонкое понимание контента – вплоть до автоматического резюмирования новостей (чтобы в ленте показывался краткий тезис, а детально – по клику) и сквозного связывания сюжетов (например, ИИ будет напоминать, что это продолжение истории, о которой вы читали на прошлой неделе, обеспечивая контекст). Также вероятна интеграция мультимедиа: персонализация видео-новостей, подкастов по интересам. Уже сейчас YouTube и другие платформы рекомендуют новостные ролики по похожим алгоритмам.
Отдельно стоит ожидать усовершенствований в балансировке и достоверности. Давление общества и регуляторов (в свете проблем фейкньюс и поляризации) мотивирует компании делать алгоритмы более нейтральными и полезными для общества. Возможно, появятся этические рамки или независимые аудиты персонализированных лент, чтобы исключить злоупотребления (например, скрытую политическую цензуру или дискриминацию интересов меньшинств). Технологически это может реализоваться через добавление в модель целей по диверсификации и метрик “качества диеты”. Например, ИИ будет пытаться за неделю показать пользователю определенную норму разнообразия источников и тем, своего рода «информационную пирамиду питания».
Подводя итог, интеллектуальные новостные агрегаторы уже сейчас значительно облегчают нам жизнь, отфильтровывая тонны информации и подстраивая новости под наши интересы. Однако путь к идеально сбалансированной и надежной системе ещё не закончен. Необходимо и дальше совершенствовать алгоритмы, сочетать их с лучшими практиками журналистики и обеспечивать читателям как персональный, так и всеобъемлющий взгляд на мир. Технологии ИИ в этой области развиваются стремительно, и при критичном подходе и инновациях у нас есть шанс получить новостные сервисы, которые будут одновременно и увлекательными, и познавательными, и общественно значимымиtwipemobile.com
. Такой осознанный подход к персонализации позволит людям оставаться хорошо информированными, не тонуть в информационном шуме и не попадать в ловушки алгоритмов, а напротив – использовать их себе во благо.
Источники:
Cool-Fergus, S. Are Personalised News Aggregators Enhancing Our World or Echoing Our Biases? – Twipe (2024)
twipemobile.com
twipemobile.com
SmartNews Blog. “For You” – a smarter way to discover news (2017)
business.smartnews.com
business.smartnews.com
business.smartnews.com
Thenextweb. Google News has a new feature that may just pop your filter bubble (2018)
thenextweb.com
thenextweb.com
thenextweb.com
Seroundtable. Google: Our Personalized Results Do Not Create Filter Bubbles (2018)
seroundtable.com
Twipe (Case Studies). SmartNews, Newsadoo, VRT… (2024)
twipemobile.com
twipemobile.com
twipemobile.com
Twipe (Case Studies). Flipboard and JAMES… (2024)
twipemobile.com
twipemobile.com
Artsyltech. AI-Driven Insights: How SmartNews Top Stories are Reshaped (2023)
artsyltech.com
artsyltech.com
Artsyltech. SmartNews – Minimizing Bias (2023)
artsyltech.com
artsyltech.com
Wikipedia. News360 – personalized news app (2010–2022)
en.wikipedia.org
The Guardian. Apple News algorithms pick more celeb stories than human editors, study finds (2020)
ojs.aaai.org
Wu et al. Personalized News Recommendation: Methods and Challenges – ACM Computing Surveys (2021)
arxiv.org
arxiv.orgВ повести Дм
итрия Галковского «Друг утят» описана информационная система будущего, основанная на персональных модераторах. Эти модераторы представляют собой сложные программы с антропоморфной оболочкой, настроенные на индивидуальные предпочтения пользователя. Они фильтруют огромный поток информации по заданным критериям, таким как темы, объем, стиль подачи и внешность виртуального «диктора». Например, пользователь может настроить модератор на получение ежедневных 30 минут информации о Румынии, баскетболе и египтологии, поданной с легким скепсисом и элементами эротики, причем модератор будет выглядеть как его дедушка. Такая система позволяет человеку жить в информационном «коконе», общаясь через Интернет с единомышленниками или меняя фильтры по желанию. В этом обществе отсутствуют идеологические системы, а каждый человек сам определяет, что он хочет знать, исключая элемент драматургии и чужой воли из общения. Таким образом, общество становится настолько лживым, что даже правдиво, поскольку никто никого сознательно не обманывает, а каждый получает информацию в соответствии со своими настройками фильтра.
magazines.gorky.media
Система персональных модераторов, описанная в Друге утят, имеет много привлекательных черт, особенно с точки зрения когнитивной эффективности:
Плюсы:
Фильтрация информационного шума – исключение нежелательной информации снижает перегрузку мозга и экономит время.
Персонализация контента – каждый получает именно то, что ему интересно, в нужном формате и объеме.
Минимизация манипуляций – отсутствие навязанной идеологии снижает вероятность внешнего влияния.
Оптимизация обучения – возможность формировать поток знаний в удобной и интересной форме.
Эмоциональный комфорт – контент подается так, чтобы минимизировать стресс и дискомфорт.
Минусы и риски:
Эффект «информационного кокона» – человек перестает сталкиваться с неожиданными идеями, что может вести к интеллектуальной стагнации.
Подтверждение предвзятостей – фильтры только усиливают уже существующие убеждения, что ведет к поляризации общества.
Потеря критического мышления – если система подстраивается под желания, пользователь реже сталкивается с аргументами, которые его мировоззрение ставят под сомнение.
Упадок социальной реальности – люди перестают взаимодействовать с носителями иных точек зрения, что может привести к радикализации и узости восприятия.
Возможность скрытого управления – если модератором управляют внешние силы, можно незаметно менять картину мира пользователя, не вызывая у него дискомфорта.
Система действительно устраняет раздражающие факторы и делает поток информации удобным. Однако она превращает человека в заложника своих собственных предпочтений и заблуждений. Это идеальная машина для создания общества «удовлетворенных идиотов», где каждый варится в своем маленьком пузыре, не видя общей картины.
В идеале такая технология должна сочетать персонализацию с обязательной дозой случайности – чтобы время от времени подкидывать пользователю неожиданные, но потенциально полезные точки зрения. Тогда это будет инструментом развития, а не цифровым наркотиком.
Идеальная персонализированная новостная система.
Основные принципы системы
Персонализация + Контролируемая случайность – система фильтрует контент по интересам, но обязательным блоком включает события высокой значимости.
Многоуровневое представление – новости подаются разными способами: заголовками, краткими сводками, глубинным анализом.
Динамическая адаптация – система анализирует, как пользователь реагирует на новости, и корректирует подачу информации.
Геопривязка – интеграция с локальными событиями для оперативного информирования.
Модуль критического мышления – подача новостей с разбором альтернативных точек зрения и потенциальных манипуляций.
Архитектура системы
Научные прорывы (новые технологии, открытия, медицинские достижения).
Геополитические кризисы (войны, революции, санкции).
Экономические катаклизмы (кризисы, крахи рынков, изменения в мировых финансах).
Природные и техногенные катастрофы.
Культурные вехи (смерть знаковых личностей, революции в искусстве).
Изменения в законодательстве, затрагивающие базовые права.
Алгоритм определяет «нельзя пропустить» по ряду критериев:
✔ Влияние на мировую политику / экономику / технологии.
✔ Влияние на жизнь обычного человека.
✔ Историческая важность.
✅ Дебрифинг – утренний / вечерний персональный свод новостей с анализом.
✅ Температура информационного поля – график изменения «напряженности» в мире по темам.
✅ Архив событий – возможность «перемотать назад» и посмотреть развитие темы.
✅ Прогнозный анализ – система моделирует возможные последствия ключевых событий.
Вывод
Такая система объединяет персонализацию и объективную необходимость быть в курсе важного. Она не превращает пользователя в «инфо-наркомана», но и не оставляет его в пузыре собственных интересов.
Главный вызов – баланс между свободой выбора и необходимостью знать критически важное.
Проведем исследование по двум направлениям:
Существующие новостные системы, которые частично или полностью реализуют концепцию персонализированной новостной ленты с фильтрацией и анализом значимых событий.
Исследования и концепты, связанные с идеей интеллектуального новостного агрегатора, который минимизирует информационный шум, но не позволяет пропустить ключевые события.
Каждый день публикуются тысячи новостей, и без автоматической фильтрации пользователям трудно выделить важное. Современные новостные агрегаторы и персонализированные ленты используют алгоритмы искусственного интеллекта (ИИ), чтобы адаптировать поток новостей под интересы каждого читателя и облегчить информационную перегрузку. Такие системы анализируют, что читатель просматривал и что ему понравилось, и на этой основе предлагают релевантные статьи. Ниже представлен обзор основных решений, их возможностей и ограничений, а также перспективы развития технологий умной персонализации новостей.
Платформы с умной персонализацией новостей
Google News. Один из крупнейших новостных агрегаторов, Google News, активно применяет ИИ для подбора контента. После обновления 2018 года сервис использует алгоритмы машинного обучения для показа новостей, которые «вы больше всего захотите прочитать — как про события рядом с вами, так и по всему миру». При этом Google News строит персонализированную ленту «For You», учитывая историю запросов и чтения пользователя, но не отказывается и от общих разделов. Например, раздел “Top Stories” («Главные новости») в Google News вообще не персонализируется – он показывает всем одни и те же ключевые новости дня . Это гарантирует, что важнейшие мировые события будут видны каждому, даже если его личные интересы лежат в других темах. Кроме того, Google агрегирует новости из множества источников и группирует статьи по одному событию. В рамках функции “Full Coverage” («Полный охват») Google News отключает персональный рейтинг и показывает хронологическую ленту материалов по выбранной теме, включая разные точки зрения и источники. Такой подход помогает читателю получить панорамный обзор события без искажения алгоритмом.Apple News. Apple News сочетает алгоритмические рекомендации с человеческой редактурой. Секция Top Stories в приложении отбирается командой редакторов вручную, чтобы выделить главные новости дня, тогда как другие разделы (например, Trending Stories и персонализированные рекомендации For You) формируются алгоритмами на основе интересов пользователя. Исследования показали, что алгоритмическая лента склонна выбирать больше развлекательного контента и менее разнообразные источники по сравнению с подборкой людей-редакторов. В частности, автоматический раздел Trending в Apple News чаще выдавал новости о знаменитостях и поп-культуре, тогда как редакторы в Top Stories предлагали более сбалансированный и широкий круг тем. Это подчеркнуло важность гибридного подхода: Apple стремится найти баланс, доверяя ИИ в персональных рекомендациях, но одновременно используя опыт редакторов, чтобы покрыть критически важные темы и избежать перекоса в сторону «желтых» новостей. Пользователь Apple News также может влиять на ленту – например, отмечать “Suggest Less/More” (показывать меньше/больше подобного) для тонкой настройки рекомендаций.
Специализированные новостные приложения.
На рынке существует ряд независимых агрегаторов, делающих ставку на умную персонализацию. Например, приложение SmartNews применяет машинное обучение, чтобы анализировать миллионы статей в сети и отбирать для пользователя самое актуальное. SmartNews известен своим режимом “For You”, который позиционируется как «персонализированное открытие» новостей. В отличие от некоторых конкурентов, которые просто повторяют ваши прошлые просмотры, SmartNews старается предлагать новые темы, которые могут вас заинтересовать, даже если вы о них ранее не читали. Такой подход призван расширять кругозор читателя, а не только замыкать его в привычных темах. Чем больше вы пользуетесь приложением, тем точнее оно подбирает контент – SmartNews отмечает, что анализирует, какие материалы «другие пользователи, похожие на вас» находят интересными, и на этой основе рекомендует их и вам. Помимо этого, SmartNews внедряет специальные функции для разнообразия контента – например, политический «слайдер», позволяющий посмотреть, как различные медиа (правого или левого толка) освещают одну и ту же историю. Это помогает пользователю увидеть альтернативные точки зрения и сформировать более взвешенное мнение.Другой пример – Flipboard, популярный агрегатор, оформляющий новости в виде журнальной ленты. Flipboard позволяет пользователям выбирать интересующие темы и источники, а затем автоматически наполняет их «журнал» связанными статьями. Со временем алгоритм изучает предпочтения – что пользователь пролистывает, а что читает – и все точнее настраивает выдачу. Чтобы бороться с перегрузкой, Flipboard экспериментирует с «конечными подборками». В частности, формат Storyboards предлагает подборку материалов по определенной теме с четкой структурой и финалом, в отличие от бесконечной прокрутки стандартной ленты. Такой конечный пакет новостей позволяет читателю получить завершенный обзор темы и избежать ощущения, что новости «бездонны» – это повышает удовлетворенность и предотвращает утомление от бесконечного потока.
Региональные и социальные платформы.
В разных странах появились собственные системы персонализированной ленты. Например, в русскоязычном сегменте известна платформа Яндекс.Дзен – сервис, где алгоритмы Яндекса с помощью нейросетей формируют для каждого пользователя уникальную смесь новостей, статей и блог-постов. Яндекс.Дзен анализирует поведение (что читаете, на какие заголовки кликаете, сколько времени проводите) и наполняет ленту контентом, который с наибольшей вероятностью вам понравится. Пользователь может влиять на выдачу прямо – ставить «лайк» или «дизлайк» записям, подписываться на интересные каналы или блокировать неинтересные, и алгоритм учтёт эти сигналы при дальнейшей персонализации. Помимо агрегаторов, стоит упомянуть и социальные сети (Facebook, ВКонтакте, Twitter), ленты которых тоже фактически стали персональными новостными потоками. Лента Facebook знаменита своим алгоритмом, который с помощью машинного обучения оценивает сотни тысяч кандидатов на показ и выбирает те посты и новости, которые, по прогнозу, больше всего заинтересуют конкретного человека. Это превращает социальные сети в мощные персонализированные каналы новостей – хотя их цель скорее удерживать внимание, чем обеспечить полноту обзора событий.
ИИ-алгоритмы для выявления ключевых событий
Современные агрегаторы применяют ИИ не только для подбора интересного контента, но и для оперативного обнаружения важных событий в мире. Например, Google News автоматически кластеризует сотни статей по схожей тематике, фактически распознавая, когда множество источников пишут об одном и том же событии (будь то крупная авария, выборы или релиз нового продукта). Затем алгоритмы могут оценить значимость таких кластеров (например, по количеству публикаций, охвату аудитории, географии) и вынести наиболее важные события в раздел топ-новостей. Благодаря этому Google News быстро отражает новые мировые тренды: если где-то происходит нечто значимое, агрегатор вскоре покажет это всем пользователям в “Top Stories”. По словам Google, топ-новости обновляются очень часто именно потому, что они зависят от событий реального времени, а не от профиля пользователя.Многие платформы разрабатывают собственные системы автоматического детектирования новостей. Microsoft в рамках MSN News долгое время сочетала ручной отбор с алгоритмами, а в последние годы сделала шаг к полной автоматизации. В 2020 году сообщалось, что Microsoft сократила штат редакторов и перешла на ИИ-систему, которая должна сама выбирать трендовые новости, писать заголовки и подбирать изображения. Эта система мониторит сотни источников и метрик, чтобы определить, какие темы сейчас «на взлёте». Однако опыт показал, что полагаться только на ИИ рискованно – вскоре после перехода на роботов произошёл инцидент, когда MSN выдала новость с перепутанной фотографией участниц музыкальной группы (алгоритм неверно сопоставил картинку с персоной). Этот случай подчеркнул, что для корректного выявления событий ИИ пока необходим присмотр или доработка, особенно в части точности и контекстного понимания.Отдельного упоминания заслуживает подход SmartNews. Сервис позиционируется как «AI-driven news aggregator», то есть агрегатор, управляемый ИИ. Его алгоритмы интеллектуально отбирают топ-статьи из различных источников и удобно доставляют их пользователю. Фактически SmartNews выполняет роль автоматического редактора: просеивает огромный поток публикаций (в том числе локальные новости, блоги, нишевые издания) и собирает каждому читателю обновляемую подборку главных событий дня. Похожие идеи реализуются и в других проектах – например, платформа Newsadoo в Европе агрегирует новости с помощью ИИ и группирует их по событиям, сразу показывая несколько версий статьи об одном инфоповоде. В сфере медиаразведки (media intelligence) существуют системы вроде Event Registry, которые полностью посвящены отслеживанию мировых событий: они в реальном времени парсят тысячи новостных лент по всему миру, с помощью обработки естественного языка определяют, какие сообщения относятся к одному событию, и даже пытаются оценить его тон и влияние. Хотя такие системы чаще используются журналистами и аналитиками, сам факт их появления говорит о больших возможностях ИИ в обнаружении и ранжировании событий.В целом, ИИ-алгоритмы уже умеют выявлять “что важно” на основе колоссальных данных. Они ловят всплески обсуждений (в СМИ и соцсетях), определяют новости, которые быстро набирают популярность, и могут предупредить редакции или пользователей о “breaking news” (только что произошедших). Пользовательские агрегаторы вроде Google News и SmartNews внедряют эти технологии, чтобы читатели получали не только персональные, но и своевременные оповещения о ключевых мировых новостях.
Баланс между интересами и критически важными новостями
Проблема “пузыря фильтров”. Когда алгоритмы слишком узко подстраивают ленту под вкусы пользователя, возникает риск так называемого «информационного пузыря». Этот термин (filter bubble) ввёл интернет-активист Элай Паризер, описав ситуацию, когда человек видит только ту информацию, которая подтверждает его взгляды, а важные альтернативные мнения остаются за бортом. В новостях эффект пузыря особенно опасен: читатель может упускать события глобального значения или не получать критически важные новости, если они вне зоны его обычных интересов. Кроме того, замкнутая среда мнений усиливает поляризацию: лента показывает лишь то, с чем вы наверняка согласны, из-за чего взгляд на мир искажается. Современные агрегаторы осознают эту проблему и ищут способы балансировки между персонализацией и общественной значимостью контента.Алгоритмические решения. Несколько подходов внедрено на практике. Во-первых, как упоминалось, Google News умышленно оставляет в интерфейсе неперсонализированный блок главных новостей. Пользователь может сразу увидеть общенациональные и мировые топ-темы, даже если обычно он читает про спорт или технологии. Во-вторых, Google предлагает кнопку “Full Coverage”, которая позволяет выйти из пузыря одним нажатием – по конкретной теме показываются различные источники и точки зрения, а алгоритмический приоритет отменяется. Там же пользователь увидит хронологию развития события и даже посты из соцсетей, что даёт целостную картину. Таким образом, Google пытается сочетать индивидуальный подход (“Для вас”) с общим информационным полем.SmartNews пошёл другим путём: его концепция – “персонализированное открытие”. Приложение утверждает, что не хочет загонять читателя в пузырь, наоборот, старается постоянно подкидывать ему что-то новое. Раздел “For You” в SmartNews сочетает ваши интересы с совершенно новыми темами и трендами, которые алгоритм прогнозирует как потенциально интересные. Логика в том, что люди читают новости не только чтобы подтвердить знакомое, но и чтобы удивиться и узнать новое. SmartNews использует ИИ, чтобы предсказывать, что может заинтересовать пользователя дальше, даже если это вне его текущих увлечений. Благодаря этому в ленте появляются материалы, которые читатель сам бы не выбрал, но которые популярны у схожей аудитории и могут расширить его информационный кругозор. Дополнительно, как упомянуто выше, SmartNews ввёл “спектр новостей” – функцию, показывающую, как лево- и правополитические медиа освещают один сюжет. Этот «слайдер» мнений напрямую борется с пузырём, давая возможность взглянуть на новости под другим углом.Многообразие источников. Другие сервисы также экспериментируют с балансировкой. Платформа Newsadoo, к примеру, при персонализации по интересам всё равно показывает несколько версий одной новости из разных СМИ. Читая про событие, пользователь увидит рядом заголовки разных изданий – это напрямую разбивает монотонность и исключает одностороннее покрытие. Вещательная компания VRT (Фландрия) разработала рекомендательный алгоритм для своего новостного приложения, который сначала учитывает предпочтения, но затем постепенно расширяет спектр контента за счёт анализа метаданных. Алгоритм VRT старается аккуратно “подмешивать” в ленту материалы вне привычных вкусов, не перегружая, но понемногу разводя информационное меню пользователя. Цель – приучить аудиторию читать более разнообразные новости, выходя за рамки своих интересов, но делать это плавно, чтобы не потерять вовлечённость.
Роль человеческой модерации.
Отдельно стоит отметить редакционное вмешательство как способ балансировки. Apple News, как уже обсуждалось, доверяет редакторам отбор Top Stories для всех – по сути, люди-кураторы гарантируют, что утром все пользователи увидят подборку главных новостей, независимо от персональных настроек. Это включает в себя и потенциально неприятные, но важные темы. Например, если происходит глобальный кризис или чрезвычайное происшествие, Apple News вынесет его наверх для всех пользователей – даже тех, кто обычно такие темы избегает. Кроме Apple, подобный гибридный подход используют многие порталы: Yahoo! главную страницу наполняет редакция, MSN долгое время делал так же, а персональный контент размещался в отдельных виджетах. Такой баланс между алгоритмом и редактором призван сочетать два достоинства – масштаб и персонализация со стороны ИИ и общественная значимость и проверка со стороны человека.
В результате сегодня мы видим стремление агрегаторов обеспечить пользователю и то, что ему лично интересно, и то, что важно знать каждому гражданину. Полностью решить эту задачу непросто – нужно, чтобы алгоритм достаточно хорошо понимал, какие события имеют объективную важность. Тем не менее, комбинация методов (неперсональные блоки, режимы полноты обзора, разнообразие источников, ручной отбор) заметно улучшает ситуацию. При грамотном использовании таких функций читатель может одновременно наслаждаться контентом «для души» и не пропускать новости, которые определяют информационную картину дня.
Фильтрация информационного шума и манипуляций
Борьба с шумом. Информационный шум – это избыток нерелевантных или дублирующих сведений, мешающих увидеть суть. Персонализированные системы стараются минимизировать шум несколькими способами. Во-первых, почти все агрегаторы кластеризуют дубликаты статей: если десятки сайтов перепечатали одну и ту же новость, пользователь не увидит ее 50 раз, а получит один заголовок (с возможностью раскрыть другие источники при желании). Например, SmartNews агрегирует новости из разных изданий в одном интерфейсе, благодаря чему исключается необходимость переходить по множеству сайтов отдельно. Пользователь экономит время и не утопает в повторяющемся контенте – приложение само “собирает и склеивает” сходные новости. Во-вторых, умные алгоритмы пытаются отсеивать нерелевантное на этапе выбора: анализируют текст, тематику, даже тон публикации, чтобы определить, интересна ли она конкретному читателю. Шумом может считаться и несоответствие предпочтениям – например, если человеку неинтересен спорт, лента должна фильтровать спортивные статьи. Настройки и обратная связь помогают в этом: многие сервисы позволяют выбрать любимые темы/источники или, наоборот, скрыть нежелательные. В SmartNews, к примеру, пользователь может указывать доверенные источники и приоритетные темы, чтобы алгоритм фокусировался на них. По мере взаимодействия (чтения, скрытия, лайки) система «учится» все точнее отбирать релевантный и надежный контент.Еще одна тактика – ограничение потока. В отличие от соцсетей с бесконечной прокруткой, некоторые новостные приложения намеренно не перегружают ленту. Они могут выдавать определенное число статей в день (как делал, например, Yahoo News Digest) или формировать издания по расписанию (утренний и вечерний дайджест). Это предотвращает бесконтрольный поток сведений. Хотя такой подход менее популярен сейчас, элементы его появляются (как обсуждалось с Flipboard Storyboards – фиксированными подборками).
Противодействие дезинформации.
Манипуляции и фейковые новости – серьезный вызов для алгоритмических лент. С одной стороны, крупные агрегаторы стремятся работать только с авторитетными источниками. Google News, Apple News и др. имеют списки одобренных издателей; прежде чем неизвестный сайт попадет в выдачу, он проходит модерацию. Это отсеивает откровенно сомнительные ресурсы. С другой стороны, даже у признанных медиа бывают ошибки или предвзятость, а полностью исключить проникновение вирусных фейков трудно (особенно в соцсетях, где пользователи сами делятся новостями). Поэтому разрабатываются и автоматические фильтры. Например, Facebook внедрил алгоритмы для выявления явных фейков и кликбейта (анализа заголовков на типичные сенсационные шаблоны), понижения их в выдаче или маркировки. В новостных агрегаторах также используются метаданные: Google News помечает некоторые статьи как “Fact check” (проверка фактов) – эти метки присваиваются материалам, в которых содержится вывод независимой фактчекинговой организации. Если по громкой теме распространяются противоречивые сведения, Google News может показать карточку со сводкой от фактчекеров рядом с новостями, чтобы предупредить читателей. Кроме того, режимы множественных источников (вроде упомянутого Full Coverage или показа параллельно нескольких новостей на одну тему) сами по себе являются инструментом борьбы с манипуляциями. Когда читатель видит одновременно несколько интерпретаций события и сопоставляет их, сложнее утаить искаженную информацию. SmartNews, показывая новости “бок о бок” от разных изданий, поощряет аудиторию обращать внимание на расхождения и выявлять возможный уклон. Это снижает шанс, что фейк или пропагандистский нарратив останется незамеченным – другие источники дадут альтернативные факты.Тем не менее, эффективность этих мер не абсолютна. Алгоритмы не обладают истинным здравым смыслом и могут допускать курьезы. Уже упоминался случай, когда ИИ-редактор Microsoft перепутал фотографии в новости– такой визуальный фейл способен дезинформировать аудиторию (например, ошибочно идентифицировать человека на фото). Другой пример – сенсационность и пристрастность алгоритмов. Системы рекомендаций часто оптимизируются на метрику кликов и вовлеченности, что невольно поощряет “кричащий” контент. Исследование, сравнившее работу людей и машин в Apple News, показало, что алгоритм склонен выбирать более развлекательные и скандальные темы, чем редакторы. Меньшее разнообразие источников в автоматической выдаче тоже может быть формой информационной манипуляции – пользователь видит только ограниченный набор мнений. Эти ограничения признают и сами разработчики. Например, компания Twipe (занимается цифровыми новостными продуктами) отмечает, что пользователи ценят персонализацию, но опасаются предвзятости и изоляции во мнениях. Кроме того, многих волнуют приватность (что алгоритм знает о них слишком много) и прозрачность работы таких систем. Ведь если лента что-то скрыла, пользователь редко узнает об этом и не может проконтролировать или оспорить решение алгоритма.В итоге борьба с шумом и дезинформацией продолжается на нескольких фронтах: улучшение алгоритмических фильтров, привлечение независимых проверок, повышение разнообразия контента для самокоррекции, а также внедрение возможностей для пользователей влиять на выдачу (например, кнопки “Мне это не важно” или “Пожаловаться на новость”). Полностью автоматическое решение пока недостижимо, но сочетание технических и гуманитарных методов помогает сделать новостной поток более чистым и надёжным. Многие сервисы сегодня стремятся давать “полезную смесь” – с одной стороны, отфильтрованную от спама и фейков, с другой – достаточно широкую, чтобы человек сам мог сделать вывод, сравнив разные данные.
Технологии и исследования интеллектуальной фильтрации новостей
Анализ контента и профиля.
Персонализированная выдача новостей опирается на ряд ключевых технологий. Одно из центральных мест занимает контентная фильтрация: алгоритмы анализируют тексты статей с помощью NLP (обработки естественного языка), чтобы понять их тематику, ключевые сущности (персоны, организации, места) и даже тональность. На основе этого строятся профили интересов. Так, уже упомянутый сервис News360 применял семантический анализ и строил для каждого пользователя «граф интересов», отражающий его любимые темы. Схожие принципы используются и крупными компаниями – например, у Microsoft News и Google News есть модели, которые представляют интересы как набор тематических признаков или слов, полученных из ранее прочитанных статей. Другой распространенный метод – коллаборативная фильтрация, когда система смотрит не только на ваш личный профиль, но и на поведение похожих пользователей. Если люди со сходными интересами вдруг начали читать новую тему, возможно, и вам она будет интересна. Мы уже видели это на примере SmartNews, где явно говорится об учёте того, что читают «другие, похожие на вас»business.smartnews.com
. Большие данные о поведении множества пользователей позволяют рекомендательной системе делать такие перекрестные выводы.
Диверсификация и серендипность.
В академических исследованиях новостных рекомендаций много внимания уделяется проблеме разнообразия выдачи. Считается, что помимо точного соответствия интересам, лента должна включать контент, который расширяет кругозор и не дает скучать. В частности, повышение разнообразия напрямую предлагается как способ смягчить эффект фильтр-пузыря. Учёные ввели метрики для оценки разнообразия новостных рекомендаций – например, Intra-List Diversity (ILD), которая измеряет, насколько непохожи друг на друга статьи в предложенном списке. Если алгоритм слишком монотонен, ILD будет низкой. В ответ появились модели, учитывающие новизну (novelty) и серендипность. Одной из ранних систем была Newsjunkie, которая ранжировала новости для пользователя по принципу «насколько эта статья нова относительно уже прочитанного». То есть если вы весь день читали про экономику, Newsjunkie поднимала выше новости других тематик, чтобы разбавить информационное поле. Современные подходы интегрируют такие идеи в нейросетевые рекомендации: например, оценивают различие в эмоциональной тональности новостей или следят, чтобы в топ не попали все новости с одного источника. Диверсификация стала настолько важна, что её рассматривают как отдельную задачу при разработке новостных рекомендателей.
Обучение и модели ИИ.
За кулисами персональных лент работают сложные алгоритмы machine learning. Раньше это были в основном решающие деревья с множеством признаков или методы factorization (матричные разложения) для коллаборативной фильтрации. Сейчас доминируют нейросетевые модели, специально обученные на новостных данных. Крупные игроки (тот же Microsoft) публиковали научные работы о своих моделях: например, NPA (Neural News Recommendation) – нейросеть, учитывающая новостной заголовок, тело статьи и персональные интересы через механизмы внимания; или Wide & Deep модели, комбинирующие запоминание частых интересов и обобщение новых. В 2020 году был открыт датасет MIND (от Microsoft) – большой набор данных о том, какие новости читали миллионы пользователей MSN, с целью стимуляции исследований в этой области. Это позволило академическим группам разрабатывать и тестировать новые подходы. Среди интересных направлений – учёт временных факторов (modeling news sequence, поскольку интересы меняются день ото дня), учёт контекста (например, с какого устройства или в какое время суток потребляются новости, чтобы адаптировать формат), и даже попытки внедрять объяснимость. Последнее особенно важно: если алгоритм сможет объяснить, почему он рекомендует ту или иную статью, это повысит доверие пользователей. Пока что объяснимость достигается простыми средствами (например, подписью «потому что вы читали X»), но исследования ведутся и в сторону более интеллектуальных объяснений (например, выделять, что «эта новость упоминает ту же тему, что и вчерашняя вами прочитанная статья»).
Фильтрация фейков и качественных метрик.
Интересным суб-направлением является определение качества и достоверности новостей. Алгоритмы в будущем могут научиться автоматически различать качественную журналистику от поверхностной. Уже есть попытки учитывать репутацию источника, сложность изложения, наличие фактов vs мнений. Отдельно развивается детекция фейковых новостей с помощью ИИ: обучаются классификаторы, которые по тексту и метаданным стараются понять, является ли новость намеренной дезинформацией. Хотя полностью заменить человеческую фактчекинговую экспертизу сложно, такие модели могут служить фильтром первого уровня, помечая подозрительный контент для дальнейшей проверки. Также появляются концепции вроде “умных модераторов”, которые сидят поверх агрегатора и наблюдают за аномалиями (например, внезапно вирусная новость из неизвестного блога) – сигнализируя об этом человеку-редактору или автоматически уменьшая охват до выяснения обстоятельств.
Социальный контекст и персонализация. Новостная персонализация не ограничивается индивидуальными аппетитами – она вплетена в социальные процессы. Поэтому исследователи в области медиа обсуждают такие понятия, как поляризация, эхо-камеры (когда люди общаются только с единомышленниками и получают подтверждение своим взглядам), и влияние алгоритмов на общественное мнение. Некоторые работы даже проверяют, есть ли реально эффект пузыря. Отчёт Reuters Institute (2020) показал, что при обычном сценарии использования люди всё же получают достаточно разнообразия источников, и явного сильного пузыря персонализации они не обнаружили – скорее, пользователь сам склонен выбирать комфортные источники. Тем не менее, риск узости кругозора признаётся, и потому крупные новостные платформы продолжают вводить решения для контрольного впрыска разнообразия. На институциональном уровне идут дискуссии о «алгоритмической ответственности»: должны ли компании нести ответственность за деформацию информационной картины у пользователя, как измерять качество информационной диеты и т.п. Появляется даже термин “responsible recommendation” – подразумевающий этические принципы в дизайне таких алгоритмов (учёт общественного блага, избегание дискриминации, защита приватности и т.д.).Пробелы современных решений и перспективы развития
Несмотря на прогресс, в нынешних системах остаются существенные пробелы, которые открывают возможности для создания новой, улучшенной платформы персонализированных новостей:
Эффект пузыря и эхо-камеры. Полностью избавиться от фильтрационного пузыря пока не удалось. Даже с функциями вроде Full Coverage или политического слайдера, многие пользователи остаются в пределах комфортного им инфополя. Не каждый читатель будет нажимать специальные кнопки для разнообразия – зачастую люди пассивно потребляют, что дает лента. Поэтому новые решения могут глубже интегрировать разнообразие по умолчанию. Например, перспективно внедрять многокритериальные алгоритмы, которые оптимизируют не только персональную релевантность, но и “ценность” новости. Можно представить систему баллов важности: событие глобального масштаба получает высокий базовый вес, гарантирующий показ, даже если профиль пользователя и не совпадает. Некоторые эксперты предлагают дать самим пользователям инструменты контроля: например, ползунок персонализация–универсальность, где человек может настроить, хочет ли он более узкую или более широкую ленту. Пока таких интерфейсов почти нет, но их появление могло бы снизить проблему пузыря.
Качество и доверие к источникам. Сегодняшние агрегаторы в основном не объясняют, почему та или иная новость появилась у вас в ленте. Отсутствие прозрачности рождает недоверие и ощущение манипуляции. Новая система могла бы предложить прозрачный режим: например, при клике на новость показывать, какими факторами она выбрана («Популярно среди читателей в вашем городе», «Свежая статья по теме X, которой вы интересуетесь», «Важно: крупное событие дня» и т.п.). Также остается проблема фейков и пропаганды. Здесь можно улучшить фильтры, интегрировать больше сигналов. Перспективное направление – оценка надежности на лету: алгоритм вычисляет условный рейтинг доверия к статье, учитывая надежность источника, тональность (слишком эмоционально – подозрительно), совпадение с другими источниками и пр. Такой рейтинг мог бы сообщаться читателю (например, индикатором или предупреждением). К примеру, если новость подтверждена множеством независимых источников, система пометит ее как «верифицированная», а если информация сырая и исходит из одного соцсетевого поста – как «непроверенная». Пока подобное реализовано лишь фрагментарно (в виде меток фактчека), но дальнейшая автоматизация проверки фактов с ИИ – важный резерв.
Персонализация без перегибов. Современные алгоритмы в погоне за кликами иногда перегибают, зацикливаясь на одном типе контента (например, увидев интерес к скандальной хронике, могут заполнить ленту похожими историями). Пользователя это может быстро утомить или вызвать разочарование. Новый подход мог бы внедрить более человеческий такт: учитывать насыщение темой. Например, если за день вам показали уже 5 новостей про экономику, шестую стоит заменить чем-то другим – аналогично тому, как редактор газеты не станет печатать десять одинаковых статей. Здесь поможет и упомянутая концепция конечных изданий: подавать новости порциями, где каждая порция тщательно сбалансирована (как полоса в газете). Персонализация может происходить на уровне того, какие материалы войдут в эту порцию, но сама порция будет ограниченной и разнообразной. Такие эксперименты уже ведутся (JAMES, Flipboard и др.), и они перспективны для снижения информационного перенасыщения.
Учет индивидуальных ценностей и контекста. Текущие агрегаторы знают о наших кликах, но мало знают о нашем намерении или настроении. Перспективная система могла бы быть более контекстуальной: например, утром показывать сводку деловых новостей, а вечером – более развлекательный контент, исходя из предполагаемого настроения пользователя. Для этого ИИ может учитывать время суток, местоположение (на работе или дома), устройство (на смартфоне – короткие заметки, на планшете – лонгриды) и даже данные календаря (если у вас встреча с кем-то из финансовой отрасли, подсунуть последние финансовые новости для подготовки). Это ведет нас к идее умного новостного ассистента, который интегрирован в повседневную жизнь. Уже есть зачатки – голосовые помощники (Siri, Alexa) умеют зачитывать новости, но их персонализация примитивна. В будущем можно ожидать диалоговые системы, где вы можете спросить: «Что нового в науке?» – и получить сгенерированную ИИ сводку, релевантную вашим интересам, а затем уточнить «А что по моему городу?» и так далее. Это качественно новый уровень персонализации – по запросу и под ситуацию, а не только заранее спрогнозированные рекомендации.
Приватность и контроль данных. Наконец, важный пробел – доверие пользователей в плане конфиденциальности. Алгоритмы персонализации питаются данными о нас, и не всем это приятно. Новое решение могло бы привлекать аудиторию за счет приватности по дизайну: хранить профили локально на устройстве (как вариант, использовать технику federated learning, когда общая модель обучается без выгрузки личных данных на сервер). Или, как минимум, давать пользователю просмотреть и отредактировать свой «профиль интересов», который система про него составила. Это убьет двух зайцев: и прозрачность повысится (человек видит, что о нем «думает» ИИ, и может скорректировать), и лишних страхов не будет. В настоящее время мало кто из агрегаторов предоставляет такую возможность – это явный резерв для новых продуктов.
Перспективы развития. Вектор прогресса в области персонализированных новостей очевиден: системы будут становиться умнее, гибче и ответственнее. С возрастанием вычислительных мощностей и успехами AI мы увидим всё более тонкое понимание контента – вплоть до автоматического резюмирования новостей (чтобы в ленте показывался краткий тезис, а детально – по клику) и сквозного связывания сюжетов (например, ИИ будет напоминать, что это продолжение истории, о которой вы читали на прошлой неделе, обеспечивая контекст). Также вероятна интеграция мультимедиа: персонализация видео-новостей, подкастов по интересам. Уже сейчас YouTube и другие платформы рекомендуют новостные ролики по похожим алгоритмам.
Отдельно стоит ожидать усовершенствований в балансировке и достоверности. Давление общества и регуляторов (в свете проблем фейкньюс и поляризации) мотивирует компании делать алгоритмы более нейтральными и полезными для общества. Возможно, появятся этические рамки или независимые аудиты персонализированных лент, чтобы исключить злоупотребления (например, скрытую политическую цензуру или дискриминацию интересов меньшинств). Технологически это может реализоваться через добавление в модель целей по диверсификации и метрик “качества диеты”. Например, ИИ будет пытаться за неделю показать пользователю определенную норму разнообразия источников и тем, своего рода «информационную пирамиду питания».
Подводя итог, интеллектуальные новостные агрегаторы уже сейчас значительно облегчают нам жизнь, отфильтровывая тонны информации и подстраивая новости под наши интересы. Однако путь к идеально сбалансированной и надежной системе ещё не закончен. Необходимо и дальше совершенствовать алгоритмы, сочетать их с лучшими практиками журналистики и обеспечивать читателям как персональный, так и всеобъемлющий взгляд на мир. Технологии ИИ в этой области развиваются стремительно, и при критичном подходе и инновациях у нас есть шанс получить новостные сервисы, которые будут одновременно и увлекательными, и познавательными, и общественно значимымиtwipemobile.com
. Такой осознанный подход к персонализации позволит людям оставаться хорошо информированными, не тонуть в информационном шуме и не попадать в ловушки алгоритмов, а напротив – использовать их себе во благо.
Источники:
Cool-Fergus, S. Are Personalised News Aggregators Enhancing Our World or Echoing Our Biases? – Twipe (2024)
twipemobile.com
twipemobile.com
SmartNews Blog. “For You” – a smarter way to discover news (2017)
business.smartnews.com
business.smartnews.com
business.smartnews.com
Thenextweb. Google News has a new feature that may just pop your filter bubble (2018)
thenextweb.com
thenextweb.com
thenextweb.com
Seroundtable. Google: Our Personalized Results Do Not Create Filter Bubbles (2018)
seroundtable.com
Twipe (Case Studies). SmartNews, Newsadoo, VRT… (2024)
twipemobile.com
twipemobile.com
twipemobile.com
Twipe (Case Studies). Flipboard and JAMES… (2024)
twipemobile.com
twipemobile.com
Artsyltech. AI-Driven Insights: How SmartNews Top Stories are Reshaped (2023)
artsyltech.com
artsyltech.com
Artsyltech. SmartNews – Minimizing Bias (2023)
artsyltech.com
artsyltech.com
Wikipedia. News360 – personalized news app (2010–2022)
en.wikipedia.org
The Guardian. Apple News algorithms pick more celeb stories than human editors, study finds (2020)
ojs.aaai.org
Wu et al. Personalized News Recommendation: Methods and Challenges – ACM Computing Surveys (2021)
arxiv.org
arxiv.org
В повести Дмитрия Галковского «Друг утят» описана информационная система будущего, основанная на персональных модераторах. Эти модераторы представляют собой сложные программы с антропоморфной оболочкой, настроенные на индивидуальные предпочтения пользователя. Они фильтруют огромный поток информации по заданным критериям, таким как темы, объем, стиль подачи и внешность виртуального «диктора». Например, пользователь может настроить модератор на получение ежедневных 30 минут информации о Румынии, баскетболе и египтологии, поданной с легким скепсисом и элементами эротики, причем модератор будет выглядеть как его дедушка. Такая система позволяет человеку жить в информационном «коконе», общаясь через Интернет с единомышленниками или меняя фильтры по желанию. В этом обществе отсутствуют идеологические системы, а каждый человек сам определяет, что он хочет знать, исключая элемент драматургии и чужой воли из общения. Таким образом, общество становится настолько лживым, что даже правдиво, поскольку никто никого сознательно не обманывает, а каждый получает информацию в соответствии со своими настройками фильтра.
magazines.gorky.media
Система персональных модераторов, описанная в Друге утят, имеет много привлекательных черт, особенно с точки зрения когнитивной эффективности:
Плюсы:
Фильтрация информационного шума – исключение нежелательной информации снижает перегрузку мозга и экономит время.
Персонализация контента – каждый получает именно то, что ему интересно, в нужном формате и объеме.
Минимизация манипуляций – отсутствие навязанной идеологии снижает вероятность внешнего влияния.
Оптимизация обучения – возможность формировать поток знаний в удобной и интересной форме.
Эмоциональный комфорт – контент подается так, чтобы минимизировать стресс и дискомфорт.
Минусы и риски:
Эффект «информационного кокона» – человек перестает сталкиваться с неожиданными идеями, что может вести к интеллектуальной стагнации.
Подтверждение предвзятостей – фильтры только усиливают уже существующие убеждения, что ведет к поляризации общества.
Потеря критического мышления – если система подстраивается под желания, пользователь реже сталкивается с аргументами, которые его мировоззрение ставят под сомнение.
Упадок социальной реальности – люди перестают взаимодействовать с носителями иных точек зрения, что может привести к радикализации и узости восприятия.
Возможность скрытого управления – если модератором управляют внешние силы, можно незаметно менять картину мира пользователя, не вызывая у него дискомфорта.
Система действительно устраняет раздражающие факторы и делает поток информации удобным. Однако она превращает человека в заложника своих собственных предпочтений и заблуждений. Это идеальная машина для создания общества «удовлетворенных идиотов», где каждый варится в своем маленьком пузыре, не видя общей картины.
В идеале такая технология должна сочетать персонализацию с обязательной дозой случайности – чтобы время от времени подкидывать пользователю неожиданные, но потенциально полезные точки зрения. Тогда это будет инструментом развития, а не цифровым наркотиком.
Идеальная персонализированная новостная система.
Основные принципы системы
Персонализация + Контролируемая случайность – система фильтрует контент по интересам, но обязательным блоком включает события высокой значимости.
Многоуровневое представление – новости подаются разными способами: заголовками, краткими сводками, глубинным анализом.
Динамическая адаптация – система анализирует, как пользователь реагирует на новости, и корректирует подачу информации.
Геопривязка – интеграция с локальными событиями для оперативного информирования.
Модуль критического мышления – подача новостей с разбором альтернативных точек зрения и потенциальных манипуляций.
Архитектура системы
Научные прорывы (новые технологии, открытия, медицинские достижения).
Геополитические кризисы (войны, революции, санкции).
Экономические катаклизмы (кризисы, крахи рынков, изменения в мировых финансах).
Природные и техногенные катастрофы.
Культурные вехи (смерть знаковых личностей, революции в искусстве).
Изменения в законодательстве, затрагивающие базовые права.
Алгоритм определяет «нельзя пропустить» по ряду критериев:
✔ Влияние на мировую политику / экономику / технологии.
✔ Влияние на жизнь обычного человека.
✔ Историческая важность.
✅ Дебрифинг – утренний / вечерний персональный свод новостей с анализом.
✅ Температура информационного поля – график изменения «напряженности» в мире по темам.
✅ Архив событий – возможность «перемотать назад» и посмотреть развитие темы.
✅ Прогнозный анализ – система моделирует возможные последствия ключевых событий.
Вывод
Такая система объединяет персонализацию и объективную необходимость быть в курсе важного. Она не превращает пользователя в «инфо-наркомана», но и не оставляет его в пузыре собственных интересов.
Главный вызов – баланс между свободой выбора и необходимостью знать критически важное.
Проведем исследование по двум направлениям:
Существующие новостные системы, которые частично или полностью реализуют концепцию персонализированной новостной ленты с фильтрацией и анализом значимых событий.
Исследования и концепты, связанные с идеей интеллектуального новостного агрегатора, который минимизирует информационный шум, но не позволяет пропустить ключевые события.
Каждый день публикуются тысячи новостей, и без автоматической фильтрации пользователям трудно выделить важное. Современные новостные агрегаторы и персонализированные ленты используют алгоритмы искусственного интеллекта (ИИ), чтобы адаптировать поток новостей под интересы каждого читателя и облегчить информационную перегрузку. Такие системы анализируют, что читатель просматривал и что ему понравилось, и на этой основе предлагают релевантные статьи. Ниже представлен обзор основных решений, их возможностей и ограничений, а также перспективы развития технологий умной персонализации новостей.
Платформы с умной персонализацией новостей
Google News. Один из крупнейших новостных агрегаторов, Google News, активно применяет ИИ для подбора контента. После обновления 2018 года сервис использует алгоритмы машинного обучения для показа новостей, которые «вы больше всего захотите прочитать — как про события рядом с вами, так и по всему миру». При этом Google News строит персонализированную ленту «For You», учитывая историю запросов и чтения пользователя, но не отказывается и от общих разделов. Например, раздел “Top Stories” («Главные новости») в Google News вообще не персонализируется – он показывает всем одни и те же ключевые новости дня . Это гарантирует, что важнейшие мировые события будут видны каждому, даже если его личные интересы лежат в других темах. Кроме того, Google агрегирует новости из множества источников и группирует статьи по одному событию. В рамках функции “Full Coverage” («Полный охват») Google News отключает персональный рейтинг и показывает хронологическую ленту материалов по выбранной теме, включая разные точки зрения и источники. Такой подход помогает читателю получить панорамный обзор события без искажения алгоритмом.Apple News. Apple News сочетает алгоритмические рекомендации с человеческой редактурой. Секция Top Stories в приложении отбирается командой редакторов вручную, чтобы выделить главные новости дня, тогда как другие разделы (например, Trending Stories и персонализированные рекомендации For You) формируются алгоритмами на основе интересов пользователя. Исследования показали, что алгоритмическая лента склонна выбирать больше развлекательного контента и менее разнообразные источники по сравнению с подборкой людей-редакторов. В частности, автоматический раздел Trending в Apple News чаще выдавал новости о знаменитостях и поп-культуре, тогда как редакторы в Top Stories предлагали более сбалансированный и широкий круг тем. Это подчеркнуло важность гибридного подхода: Apple стремится найти баланс, доверяя ИИ в персональных рекомендациях, но одновременно используя опыт редакторов, чтобы покрыть критически важные темы и избежать перекоса в сторону «желтых» новостей. Пользователь Apple News также может влиять на ленту – например, отмечать “Suggest Less/More” (показывать меньше/больше подобного) для тонкой настройки рекомендаций.
Специализированные новостные приложения.
На рынке существует ряд независимых агрегаторов, делающих ставку на умную персонализацию. Например, приложение SmartNews применяет машинное обучение, чтобы анализировать миллионы статей в сети и отбирать для пользователя самое актуальное. SmartNews известен своим режимом “For You”, который позиционируется как «персонализированное открытие» новостей. В отличие от некоторых конкурентов, которые просто повторяют ваши прошлые просмотры, SmartNews старается предлагать новые темы, которые могут вас заинтересовать, даже если вы о них ранее не читали. Такой подход призван расширять кругозор читателя, а не только замыкать его в привычных темах. Чем больше вы пользуетесь приложением, тем точнее оно подбирает контент – SmartNews отмечает, что анализирует, какие материалы «другие пользователи, похожие на вас» находят интересными, и на этой основе рекомендует их и вам. Помимо этого, SmartNews внедряет специальные функции для разнообразия контента – например, политический «слайдер», позволяющий посмотреть, как различные медиа (правого или левого толка) освещают одну и ту же историю. Это помогает пользователю увидеть альтернативные точки зрения и сформировать более взвешенное мнение.Другой пример – Flipboard, популярный агрегатор, оформляющий новости в виде журнальной ленты. Flipboard позволяет пользователям выбирать интересующие темы и источники, а затем автоматически наполняет их «журнал» связанными статьями. Со временем алгоритм изучает предпочтения – что пользователь пролистывает, а что читает – и все точнее настраивает выдачу. Чтобы бороться с перегрузкой, Flipboard экспериментирует с «конечными подборками». В частности, формат Storyboards предлагает подборку материалов по определенной теме с четкой структурой и финалом, в отличие от бесконечной прокрутки стандартной ленты. Такой конечный пакет новостей позволяет читателю получить завершенный обзор темы и избежать ощущения, что новости «бездонны» – это повышает удовлетворенность и предотвращает утомление от бесконечного потока.
Региональные и социальные платформы.
В разных странах появились собственные системы персонализированной ленты. Например, в русскоязычном сегменте известна платформа Яндекс.Дзен – сервис, где алгоритмы Яндекса с помощью нейросетей формируют для каждого пользователя уникальную смесь новостей, статей и блог-постов. Яндекс.Дзен анализирует поведение (что читаете, на какие заголовки кликаете, сколько времени проводите) и наполняет ленту контентом, который с наибольшей вероятностью вам понравится. Пользователь может влиять на выдачу прямо – ставить «лайк» или «дизлайк» записям, подписываться на интересные каналы или блокировать неинтересные, и алгоритм учтёт эти сигналы при дальнейшей персонализации. Помимо агрегаторов, стоит упомянуть и социальные сети (Facebook, ВКонтакте, Twitter), ленты которых тоже фактически стали персональными новостными потоками. Лента Facebook знаменита своим алгоритмом, который с помощью машинного обучения оценивает сотни тысяч кандидатов на показ и выбирает те посты и новости, которые, по прогнозу, больше всего заинтересуют конкретного человека. Это превращает социальные сети в мощные персонализированные каналы новостей – хотя их цель скорее удерживать внимание, чем обеспечить полноту обзора событий.
ИИ-алгоритмы для выявления ключевых событий
Современные агрегаторы применяют ИИ не только для подбора интересного контента, но и для оперативного обнаружения важных событий в мире. Например, Google News автоматически кластеризует сотни статей по схожей тематике, фактически распознавая, когда множество источников пишут об одном и том же событии (будь то крупная авария, выборы или релиз нового продукта). Затем алгоритмы могут оценить значимость таких кластеров (например, по количеству публикаций, охвату аудитории, географии) и вынести наиболее важные события в раздел топ-новостей. Благодаря этому Google News быстро отражает новые мировые тренды: если где-то происходит нечто значимое, агрегатор вскоре покажет это всем пользователям в “Top Stories”. По словам Google, топ-новости обновляются очень часто именно потому, что они зависят от событий реального времени, а не от профиля пользователя.Многие платформы разрабатывают собственные системы автоматического детектирования новостей. Microsoft в рамках MSN News долгое время сочетала ручной отбор с алгоритмами, а в последние годы сделала шаг к полной автоматизации. В 2020 году сообщалось, что Microsoft сократила штат редакторов и перешла на ИИ-систему, которая должна сама выбирать трендовые новости, писать заголовки и подбирать изображения. Эта система мониторит сотни источников и метрик, чтобы определить, какие темы сейчас «на взлёте». Однако опыт показал, что полагаться только на ИИ рискованно – вскоре после перехода на роботов произошёл инцидент, когда MSN выдала новость с перепутанной фотографией участниц музыкальной группы (алгоритм неверно сопоставил картинку с персоной). Этот случай подчеркнул, что для корректного выявления событий ИИ пока необходим присмотр или доработка, особенно в части точности и контекстного понимания.Отдельного упоминания заслуживает подход SmartNews. Сервис позиционируется как «AI-driven news aggregator», то есть агрегатор, управляемый ИИ. Его алгоритмы интеллектуально отбирают топ-статьи из различных источников и удобно доставляют их пользователю. Фактически SmartNews выполняет роль автоматического редактора: просеивает огромный поток публикаций (в том числе локальные новости, блоги, нишевые издания) и собирает каждому читателю обновляемую подборку главных событий дня. Похожие идеи реализуются и в других проектах – например, платформа Newsadoo в Европе агрегирует новости с помощью ИИ и группирует их по событиям, сразу показывая несколько версий статьи об одном инфоповоде. В сфере медиаразведки (media intelligence) существуют системы вроде Event Registry, которые полностью посвящены отслеживанию мировых событий: они в реальном времени парсят тысячи новостных лент по всему миру, с помощью обработки естественного языка определяют, какие сообщения относятся к одному событию, и даже пытаются оценить его тон и влияние. Хотя такие системы чаще используются журналистами и аналитиками, сам факт их появления говорит о больших возможностях ИИ в обнаружении и ранжировании событий.В целом, ИИ-алгоритмы уже умеют выявлять “что важно” на основе колоссальных данных. Они ловят всплески обсуждений (в СМИ и соцсетях), определяют новости, которые быстро набирают популярность, и могут предупредить редакции или пользователей о “breaking news” (только что произошедших). Пользовательские агрегаторы вроде Google News и SmartNews внедряют эти технологии, чтобы читатели получали не только персональные, но и своевременные оповещения о ключевых мировых новостях.
Баланс между интересами и критически важными новостями
Проблема “пузыря фильтров”. Когда алгоритмы слишком узко подстраивают ленту под вкусы пользователя, возникает риск так называемого «информационного пузыря». Этот термин (filter bubble) ввёл интернет-активист Элай Паризер, описав ситуацию, когда человек видит только ту информацию, которая подтверждает его взгляды, а важные альтернативные мнения остаются за бортом. В новостях эффект пузыря особенно опасен: читатель может упускать события глобального значения или не получать критически важные новости, если они вне зоны его обычных интересов. Кроме того, замкнутая среда мнений усиливает поляризацию: лента показывает лишь то, с чем вы наверняка согласны, из-за чего взгляд на мир искажается. Современные агрегаторы осознают эту проблему и ищут способы балансировки между персонализацией и общественной значимостью контента.Алгоритмические решения. Несколько подходов внедрено на практике. Во-первых, как упоминалось, Google News умышленно оставляет в интерфейсе неперсонализированный блок главных новостей. Пользователь может сразу увидеть общенациональные и мировые топ-темы, даже если обычно он читает про спорт или технологии. Во-вторых, Google предлагает кнопку “Full Coverage”, которая позволяет выйти из пузыря одним нажатием – по конкретной теме показываются различные источники и точки зрения, а алгоритмический приоритет отменяется. Там же пользователь увидит хронологию развития события и даже посты из соцсетей, что даёт целостную картину. Таким образом, Google пытается сочетать индивидуальный подход (“Для вас”) с общим информационным полем.SmartNews пошёл другим путём: его концепция – “персонализированное открытие”. Приложение утверждает, что не хочет загонять читателя в пузырь, наоборот, старается постоянно подкидывать ему что-то новое. Раздел “For You” в SmartNews сочетает ваши интересы с совершенно новыми темами и трендами, которые алгоритм прогнозирует как потенциально интересные. Логика в том, что люди читают новости не только чтобы подтвердить знакомое, но и чтобы удивиться и узнать новое. SmartNews использует ИИ, чтобы предсказывать, что может заинтересовать пользователя дальше, даже если это вне его текущих увлечений. Благодаря этому в ленте появляются материалы, которые читатель сам бы не выбрал, но которые популярны у схожей аудитории и могут расширить его информационный кругозор. Дополнительно, как упомянуто выше, SmartNews ввёл “спектр новостей” – функцию, показывающую, как лево- и правополитические медиа освещают один сюжет. Этот «слайдер» мнений напрямую борется с пузырём, давая возможность взглянуть на новости под другим углом.Многообразие источников. Другие сервисы также экспериментируют с балансировкой. Платформа Newsadoo, к примеру, при персонализации по интересам всё равно показывает несколько версий одной новости из разных СМИ. Читая про событие, пользователь увидит рядом заголовки разных изданий – это напрямую разбивает монотонность и исключает одностороннее покрытие. Вещательная компания VRT (Фландрия) разработала рекомендательный алгоритм для своего новостного приложения, который сначала учитывает предпочтения, но затем постепенно расширяет спектр контента за счёт анализа метаданных. Алгоритм VRT старается аккуратно “подмешивать” в ленту материалы вне привычных вкусов, не перегружая, но понемногу разводя информационное меню пользователя. Цель – приучить аудиторию читать более разнообразные новости, выходя за рамки своих интересов, но делать это плавно, чтобы не потерять вовлечённость.
Роль человеческой модерации.
Отдельно стоит отметить редакционное вмешательство как способ балансировки. Apple News, как уже обсуждалось, доверяет редакторам отбор Top Stories для всех – по сути, люди-кураторы гарантируют, что утром все пользователи увидят подборку главных новостей, независимо от персональных настроек. Это включает в себя и потенциально неприятные, но важные темы. Например, если происходит глобальный кризис или чрезвычайное происшествие, Apple News вынесет его наверх для всех пользователей – даже тех, кто обычно такие темы избегает. Кроме Apple, подобный гибридный подход используют многие порталы: Yahoo! главную страницу наполняет редакция, MSN долгое время делал так же, а персональный контент размещался в отдельных виджетах. Такой баланс между алгоритмом и редактором призван сочетать два достоинства – масштаб и персонализация со стороны ИИ и общественная значимость и проверка со стороны человека.
В результате сегодня мы видим стремление агрегаторов обеспечить пользователю и то, что ему лично интересно, и то, что важно знать каждому гражданину. Полностью решить эту задачу непросто – нужно, чтобы алгоритм достаточно хорошо понимал, какие события имеют объективную важность. Тем не менее, комбинация методов (неперсональные блоки, режимы полноты обзора, разнообразие источников, ручной отбор) заметно улучшает ситуацию. При грамотном использовании таких функций читатель может одновременно наслаждаться контентом «для души» и не пропускать новости, которые определяют информационную картину дня.
Фильтрация информационного шума и манипуляций
Борьба с шумом. Информационный шум – это избыток нерелевантных или дублирующих сведений, мешающих увидеть суть. Персонализированные системы стараются минимизировать шум несколькими способами. Во-первых, почти все агрегаторы кластеризуют дубликаты статей: если десятки сайтов перепечатали одну и ту же новость, пользователь не увидит ее 50 раз, а получит один заголовок (с возможностью раскрыть другие источники при желании). Например, SmartNews агрегирует новости из разных изданий в одном интерфейсе, благодаря чему исключается необходимость переходить по множеству сайтов отдельно. Пользователь экономит время и не утопает в повторяющемся контенте – приложение само “собирает и склеивает” сходные новости. Во-вторых, умные алгоритмы пытаются отсеивать нерелевантное на этапе выбора: анализируют текст, тематику, даже тон публикации, чтобы определить, интересна ли она конкретному читателю. Шумом может считаться и несоответствие предпочтениям – например, если человеку неинтересен спорт, лента должна фильтровать спортивные статьи. Настройки и обратная связь помогают в этом: многие сервисы позволяют выбрать любимые темы/источники или, наоборот, скрыть нежелательные. В SmartNews, к примеру, пользователь может указывать доверенные источники и приоритетные темы, чтобы алгоритм фокусировался на них. По мере взаимодействия (чтения, скрытия, лайки) система «учится» все точнее отбирать релевантный и надежный контент.Еще одна тактика – ограничение потока. В отличие от соцсетей с бесконечной прокруткой, некоторые новостные приложения намеренно не перегружают ленту. Они могут выдавать определенное число статей в день (как делал, например, Yahoo News Digest) или формировать издания по расписанию (утренний и вечерний дайджест). Это предотвращает бесконтрольный поток сведений. Хотя такой подход менее популярен сейчас, элементы его появляются (как обсуждалось с Flipboard Storyboards – фиксированными подборками).
Противодействие дезинформации.
Манипуляции и фейковые новости – серьезный вызов для алгоритмических лент. С одной стороны, крупные агрегаторы стремятся работать только с авторитетными источниками. Google News, Apple News и др. имеют списки одобренных издателей; прежде чем неизвестный сайт попадет в выдачу, он проходит модерацию. Это отсеивает откровенно сомнительные ресурсы. С другой стороны, даже у признанных медиа бывают ошибки или предвзятость, а полностью исключить проникновение вирусных фейков трудно (особенно в соцсетях, где пользователи сами делятся новостями). Поэтому разрабатываются и автоматические фильтры. Например, Facebook внедрил алгоритмы для выявления явных фейков и кликбейта (анализа заголовков на типичные сенсационные шаблоны), понижения их в выдаче или маркировки. В новостных агрегаторах также используются метаданные: Google News помечает некоторые статьи как “Fact check” (проверка фактов) – эти метки присваиваются материалам, в которых содержится вывод независимой фактчекинговой организации. Если по громкой теме распространяются противоречивые сведения, Google News может показать карточку со сводкой от фактчекеров рядом с новостями, чтобы предупредить читателей. Кроме того, режимы множественных источников (вроде упомянутого Full Coverage или показа параллельно нескольких новостей на одну тему) сами по себе являются инструментом борьбы с манипуляциями. Когда читатель видит одновременно несколько интерпретаций события и сопоставляет их, сложнее утаить искаженную информацию. SmartNews, показывая новости “бок о бок” от разных изданий, поощряет аудиторию обращать внимание на расхождения и выявлять возможный уклон. Это снижает шанс, что фейк или пропагандистский нарратив останется незамеченным – другие источники дадут альтернативные факты.Тем не менее, эффективность этих мер не абсолютна. Алгоритмы не обладают истинным здравым смыслом и могут допускать курьезы. Уже упоминался случай, когда ИИ-редактор Microsoft перепутал фотографии в новости– такой визуальный фейл способен дезинформировать аудиторию (например, ошибочно идентифицировать человека на фото). Другой пример – сенсационность и пристрастность алгоритмов. Системы рекомендаций часто оптимизируются на метрику кликов и вовлеченности, что невольно поощряет “кричащий” контент. Исследование, сравнившее работу людей и машин в Apple News, показало, что алгоритм склонен выбирать более развлекательные и скандальные темы, чем редакторы. Меньшее разнообразие источников в автоматической выдаче тоже может быть формой информационной манипуляции – пользователь видит только ограниченный набор мнений. Эти ограничения признают и сами разработчики. Например, компания Twipe (занимается цифровыми новостными продуктами) отмечает, что пользователи ценят персонализацию, но опасаются предвзятости и изоляции во мнениях. Кроме того, многих волнуют приватность (что алгоритм знает о них слишком много) и прозрачность работы таких систем. Ведь если лента что-то скрыла, пользователь редко узнает об этом и не может проконтролировать или оспорить решение алгоритма.В итоге борьба с шумом и дезинформацией продолжается на нескольких фронтах: улучшение алгоритмических фильтров, привлечение независимых проверок, повышение разнообразия контента для самокоррекции, а также внедрение возможностей для пользователей влиять на выдачу (например, кнопки “Мне это не важно” или “Пожаловаться на новость”). Полностью автоматическое решение пока недостижимо, но сочетание технических и гуманитарных методов помогает сделать новостной поток более чистым и надёжным. Многие сервисы сегодня стремятся давать “полезную смесь” – с одной стороны, отфильтрованную от спама и фейков, с другой – достаточно широкую, чтобы человек сам мог сделать вывод, сравнив разные данные.
Технологии и исследования интеллектуальной фильтрации новостей
Анализ контента и профиля.
Персонализированная выдача новостей опирается на ряд ключевых технологий. Одно из центральных мест занимает контентная фильтрация: алгоритмы анализируют тексты статей с помощью NLP (обработки естественного языка), чтобы понять их тематику, ключевые сущности (персоны, организации, места) и даже тональность. На основе этого строятся профили интересов. Так, уже упомянутый сервис News360 применял семантический анализ и строил для каждого пользователя «граф интересов», отражающий его любимые темы. Схожие принципы используются и крупными компаниями – например, у Microsoft News и Google News есть модели, которые представляют интересы как набор тематических признаков или слов, полученных из ранее прочитанных статей. Другой распространенный метод – коллаборативная фильтрация, когда система смотрит не только на ваш личный профиль, но и на поведение похожих пользователей. Если люди со сходными интересами вдруг начали читать новую тему, возможно, и вам она будет интересна. Мы уже видели это на примере SmartNews, где явно говорится об учёте того, что читают «другие, похожие на вас»business.smartnews.com
. Большие данные о поведении множества пользователей позволяют рекомендательной системе делать такие перекрестные выводы.
Диверсификация и серендипность.
В академических исследованиях новостных рекомендаций много внимания уделяется проблеме разнообразия выдачи. Считается, что помимо точного соответствия интересам, лента должна включать контент, который расширяет кругозор и не дает скучать. В частности, повышение разнообразия напрямую предлагается как способ смягчить эффект фильтр-пузыря. Учёные ввели метрики для оценки разнообразия новостных рекомендаций – например, Intra-List Diversity (ILD), которая измеряет, насколько непохожи друг на друга статьи в предложенном списке. Если алгоритм слишком монотонен, ILD будет низкой. В ответ появились модели, учитывающие новизну (novelty) и серендипность. Одной из ранних систем была Newsjunkie, которая ранжировала новости для пользователя по принципу «насколько эта статья нова относительно уже прочитанного». То есть если вы весь день читали про экономику, Newsjunkie поднимала выше новости других тематик, чтобы разбавить информационное поле. Современные подходы интегрируют такие идеи в нейросетевые рекомендации: например, оценивают различие в эмоциональной тональности новостей или следят, чтобы в топ не попали все новости с одного источника. Диверсификация стала настолько важна, что её рассматривают как отдельную задачу при разработке новостных рекомендателей.
Обучение и модели ИИ.
За кулисами персональных лент работают сложные алгоритмы machine learning. Раньше это были в основном решающие деревья с множеством признаков или методы factorization (матричные разложения) для коллаборативной фильтрации. Сейчас доминируют нейросетевые модели, специально обученные на новостных данных. Крупные игроки (тот же Microsoft) публиковали научные работы о своих моделях: например, NPA (Neural News Recommendation) – нейросеть, учитывающая новостной заголовок, тело статьи и персональные интересы через механизмы внимания; или Wide & Deep модели, комбинирующие запоминание частых интересов и обобщение новых. В 2020 году был открыт датасет MIND (от Microsoft) – большой набор данных о том, какие новости читали миллионы пользователей MSN, с целью стимуляции исследований в этой области. Это позволило академическим группам разрабатывать и тестировать новые подходы. Среди интересных направлений – учёт временных факторов (modeling news sequence, поскольку интересы меняются день ото дня), учёт контекста (например, с какого устройства или в какое время суток потребляются новости, чтобы адаптировать формат), и даже попытки внедрять объяснимость. Последнее особенно важно: если алгоритм сможет объяснить, почему он рекомендует ту или иную статью, это повысит доверие пользователей. Пока что объяснимость достигается простыми средствами (например, подписью «потому что вы читали X»), но исследования ведутся и в сторону более интеллектуальных объяснений (например, выделять, что «эта новость упоминает ту же тему, что и вчерашняя вами прочитанная статья»).
Фильтрация фейков и качественных метрик.
Интересным суб-направлением является определение качества и достоверности новостей. Алгоритмы в будущем могут научиться автоматически различать качественную журналистику от поверхностной. Уже есть попытки учитывать репутацию источника, сложность изложения, наличие фактов vs мнений. Отдельно развивается детекция фейковых новостей с помощью ИИ: обучаются классификаторы, которые по тексту и метаданным стараются понять, является ли новость намеренной дезинформацией. Хотя полностью заменить человеческую фактчекинговую экспертизу сложно, такие модели могут служить фильтром первого уровня, помечая подозрительный контент для дальнейшей проверки. Также появляются концепции вроде “умных модераторов”, которые сидят поверх агрегатора и наблюдают за аномалиями (например, внезапно вирусная новость из неизвестного блога) – сигнализируя об этом человеку-редактору или автоматически уменьшая охват до выяснения обстоятельств.
Социальный контекст и персонализация. Новостная персонализация не ограничивается индивидуальными аппетитами – она вплетена в социальные процессы. Поэтому исследователи в области медиа обсуждают такие понятия, как поляризация, эхо-камеры (когда люди общаются только с единомышленниками и получают подтверждение своим взглядам), и влияние алгоритмов на общественное мнение. Некоторые работы даже проверяют, есть ли реально эффект пузыря. Отчёт Reuters Institute (2020) показал, что при обычном сценарии использования люди всё же получают достаточно разнообразия источников, и явного сильного пузыря персонализации они не обнаружили – скорее, пользователь сам склонен выбирать комфортные источники. Тем не менее, риск узости кругозора признаётся, и потому крупные новостные платформы продолжают вводить решения для контрольного впрыска разнообразия. На институциональном уровне идут дискуссии о «алгоритмической ответственности»: должны ли компании нести ответственность за деформацию информационной картины у пользователя, как измерять качество информационной диеты и т.п. Появляется даже термин “responsible recommendation” – подразумевающий этические принципы в дизайне таких алгоритмов (учёт общественного блага, избегание дискриминации, защита приватности и т.д.).Пробелы современных решений и перспективы развития
Несмотря на прогресс, в нынешних системах остаются существенные пробелы, которые открывают возможности для создания новой, улучшенной платформы персонализированных новостей:
Эффект пузыря и эхо-камеры. Полностью избавиться от фильтрационного пузыря пока не удалось. Даже с функциями вроде Full Coverage или политического слайдера, многие пользователи остаются в пределах комфортного им инфополя. Не каждый читатель будет нажимать специальные кнопки для разнообразия – зачастую люди пассивно потребляют, что дает лента. Поэтому новые решения могут глубже интегрировать разнообразие по умолчанию. Например, перспективно внедрять многокритериальные алгоритмы, которые оптимизируют не только персональную релевантность, но и “ценность” новости. Можно представить систему баллов важности: событие глобального масштаба получает высокий базовый вес, гарантирующий показ, даже если профиль пользователя и не совпадает. Некоторые эксперты предлагают дать самим пользователям инструменты контроля: например, ползунок персонализация–универсальность, где человек может настроить, хочет ли он более узкую или более широкую ленту. Пока таких интерфейсов почти нет, но их появление могло бы снизить проблему пузыря.
Качество и доверие к источникам. Сегодняшние агрегаторы в основном не объясняют, почему та или иная новость появилась у вас в ленте. Отсутствие прозрачности рождает недоверие и ощущение манипуляции. Новая система могла бы предложить прозрачный режим: например, при клике на новость показывать, какими факторами она выбрана («Популярно среди читателей в вашем городе», «Свежая статья по теме X, которой вы интересуетесь», «Важно: крупное событие дня» и т.п.). Также остается проблема фейков и пропаганды. Здесь можно улучшить фильтры, интегрировать больше сигналов. Перспективное направление – оценка надежности на лету: алгоритм вычисляет условный рейтинг доверия к статье, учитывая надежность источника, тональность (слишком эмоционально – подозрительно), совпадение с другими источниками и пр. Такой рейтинг мог бы сообщаться читателю (например, индикатором или предупреждением). К примеру, если новость подтверждена множеством независимых источников, система пометит ее как «верифицированная», а если информация сырая и исходит из одного соцсетевого поста – как «непроверенная». Пока подобное реализовано лишь фрагментарно (в виде меток фактчека), но дальнейшая автоматизация проверки фактов с ИИ – важный резерв.
Персонализация без перегибов. Современные алгоритмы в погоне за кликами иногда перегибают, зацикливаясь на одном типе контента (например, увидев интерес к скандальной хронике, могут заполнить ленту похожими историями). Пользователя это может быстро утомить или вызвать разочарование. Новый подход мог бы внедрить более человеческий такт: учитывать насыщение темой. Например, если за день вам показали уже 5 новостей про экономику, шестую стоит заменить чем-то другим – аналогично тому, как редактор газеты не станет печатать десять одинаковых статей. Здесь поможет и упомянутая концепция конечных изданий: подавать новости порциями, где каждая порция тщательно сбалансирована (как полоса в газете). Персонализация может происходить на уровне того, какие материалы войдут в эту порцию, но сама порция будет ограниченной и разнообразной. Такие эксперименты уже ведутся (JAMES, Flipboard и др.), и они перспективны для снижения информационного перенасыщения.
Учет индивидуальных ценностей и контекста. Текущие агрегаторы знают о наших кликах, но мало знают о нашем намерении или настроении. Перспективная система могла бы быть более контекстуальной: например, утром показывать сводку деловых новостей, а вечером – более развлекательный контент, исходя из предполагаемого настроения пользователя. Для этого ИИ может учитывать время суток, местоположение (на работе или дома), устройство (на смартфоне – короткие заметки, на планшете – лонгриды) и даже данные календаря (если у вас встреча с кем-то из финансовой отрасли, подсунуть последние финансовые новости для подготовки). Это ведет нас к идее умного новостного ассистента, который интегрирован в повседневную жизнь. Уже есть зачатки – голосовые помощники (Siri, Alexa) умеют зачитывать новости, но их персонализация примитивна. В будущем можно ожидать диалоговые системы, где вы можете спросить: «Что нового в науке?» – и получить сгенерированную ИИ сводку, релевантную вашим интересам, а затем уточнить «А что по моему городу?» и так далее. Это качественно новый уровень персонализации – по запросу и под ситуацию, а не только заранее спрогнозированные рекомендации.
Приватность и контроль данных. Наконец, важный пробел – доверие пользователей в плане конфиденциальности. Алгоритмы персонализации питаются данными о нас, и не всем это приятно. Новое решение могло бы привлекать аудиторию за счет приватности по дизайну: хранить профили локально на устройстве (как вариант, использовать технику federated learning, когда общая модель обучается без выгрузки личных данных на сервер). Или, как минимум, давать пользователю просмотреть и отредактировать свой «профиль интересов», который система про него составила. Это убьет двух зайцев: и прозрачность повысится (человек видит, что о нем «думает» ИИ, и может скорректировать), и лишних страхов не будет. В настоящее время мало кто из агрегаторов предоставляет такую возможность – это явный резерв для новых продуктов.
Перспективы развития. Вектор прогресса в области персонализированных новостей очевиден: системы будут становиться умнее, гибче и ответственнее. С возрастанием вычислительных мощностей и успехами AI мы увидим всё более тонкое понимание контента – вплоть до автоматического резюмирования новостей (чтобы в ленте показывался краткий тезис, а детально – по клику) и сквозного связывания сюжетов (например, ИИ будет напоминать, что это продолжение истории, о которой вы читали на прошлой неделе, обеспечивая контекст). Также вероятна интеграция мультимедиа: персонализация видео-новостей, подкастов по интересам. Уже сейчас YouTube и другие платформы рекомендуют новостные ролики по похожим алгоритмам.
Отдельно стоит ожидать усовершенствований в балансировке и достоверности. Давление общества и регуляторов (в свете проблем фейкньюс и поляризации) мотивирует компании делать алгоритмы более нейтральными и полезными для общества. Возможно, появятся этические рамки или независимые аудиты персонализированных лент, чтобы исключить злоупотребления (например, скрытую политическую цензуру или дискриминацию интересов меньшинств). Технологически это может реализоваться через добавление в модель целей по диверсификации и метрик “качества диеты”. Например, ИИ будет пытаться за неделю показать пользователю определенную норму разнообразия источников и тем, своего рода «информационную пирамиду питания».
Подводя итог, интеллектуальные новостные агрегаторы уже сейчас значительно облегчают нам жизнь, отфильтровывая тонны информации и подстраивая новости под наши интересы. Однако путь к идеально сбалансированной и надежной системе ещё не закончен. Необходимо и дальше совершенствовать алгоритмы, сочетать их с лучшими практиками журналистики и обеспечивать читателям как персональный, так и всеобъемлющий взгляд на мир. Технологии ИИ в этой области развиваются стремительно, и при критичном подходе и инновациях у нас есть шанс получить новостные сервисы, которые будут одновременно и увлекательными, и познавательными, и общественно значимымиtwipemobile.com
. Такой осознанный подход к персонализации позволит людям оставаться хорошо информированными, не тонуть в информационном шуме и не попадать в ловушки алгоритмов, а напротив – использовать их себе во благо.
Источники:
Cool-Fergus, S. Are Personalised News Aggregators Enhancing Our World or Echoing Our Biases? – Twipe (2024)
twipemobile.com
twipemobile.com
SmartNews Blog. “For You” – a smarter way to discover news (2017)
business.smartnews.com
business.smartnews.com
business.smartnews.com
Thenextweb. Google News has a new feature that may just pop your filter bubble (2018)
thenextweb.com
thenextweb.com
thenextweb.com
Seroundtable. Google: Our Personalized Results Do Not Create Filter Bubbles (2018)
seroundtable.com
Twipe (Case Studies). SmartNews, Newsadoo, VRT… (2024)
twipemobile.com
twipemobile.com
twipemobile.com
Twipe (Case Studies). Flipboard and JAMES… (2024)
twipemobile.com
twipemobile.com
Artsyltech. AI-Driven Insights: How SmartNews Top Stories are Reshaped (2023)
artsyltech.com
artsyltech.com
Artsyltech. SmartNews – Minimizing Bias (2023)
artsyltech.com
artsyltech.com
Wikipedia. News360 – personalized news app (2010–2022)
en.wikipedia.org
The Guardian. Apple News algorithms pick more celeb stories than human editors, study finds (2020)
ojs.aaai.org
Wu et al. Personalized News Recommendation: Methods and Challenges – ACM Computing Surveys (2021)
arxiv.org
arxiv.org
В повести Дмитрия Галковского «Друг утят» описана информационная система будущего, основанная на персональных модераторах. Эти модераторы представляют собой сложные программы с антропоморфной оболочкой, настроенные на индивидуальные предпочтения пользователя. Они фильтруют огромный поток информации по заданным критериям, таким как темы, объем, стиль подачи и внешность виртуального «диктора». Например, пользователь может настроить модератор на получение ежедневных 30 минут информации о Румынии, баскетболе и египтологии, поданной с легким скепсисом и элементами эротики, причем модератор будет выглядеть как его дедушка. Такая система позволяет человеку жить в информационном «коконе», общаясь через Интернет с единомышленниками или меняя фильтры по желанию. В этом обществе отсутствуют идеологические системы, а каждый человек сам определяет, что он хочет знать, исключая элемент драматургии и чужой воли из общения. Таким образом, общество становится настолько лживым, что даже правдиво, поскольку никто никого сознательно не обманывает, а каждый получает информацию в соответствии со своими настройками фильтра.
magazines.gorky.media
Система персональных модераторов, описанная в Друге утят, имеет много привлекательных черт, особенно с точки зрения когнитивной эффективности:
Плюсы:
Фильтрация информационного шума – исключение нежелательной информации снижает перегрузку мозга и экономит время.
Персонализация контента – каждый получает именно то, что ему интересно, в нужном формате и объеме.
Минимизация манипуляций – отсутствие навязанной идеологии снижает вероятность внешнего влияния.
Оптимизация обучения – возможность формировать поток знаний в удобной и интересной форме.
Эмоциональный комфорт – контент подается так, чтобы минимизировать стресс и дискомфорт.
Минусы и риски:
Эффект «информационного кокона» – человек перестает сталкиваться с неожиданными идеями, что может вести к интеллектуальной стагнации.
Подтверждение предвзятостей – фильтры только усиливают уже существующие убеждения, что ведет к поляризации общества.
Потеря критического мышления – если система подстраивается под желания, пользователь реже сталкивается с аргументами, которые его мировоззрение ставят под сомнение.
Упадок социальной реальности – люди перестают взаимодействовать с носителями иных точек зрения, что может привести к радикализации и узости восприятия.
Возможность скрытого управления – если модератором управляют внешние силы, можно незаметно менять картину мира пользователя, не вызывая у него дискомфорта.
Система действительно устраняет раздражающие факторы и делает поток информации удобным. Однако она превращает человека в заложника своих собственных предпочтений и заблуждений. Это идеальная машина для создания общества «удовлетворенных идиотов», где каждый варится в своем маленьком пузыре, не видя общей картины.
В идеале такая технология должна сочетать персонализацию с обязательной дозой случайности – чтобы время от времени подкидывать пользователю неожиданные, но потенциально полезные точки зрения. Тогда это будет инструментом развития, а не цифровым наркотиком.
Идеальная персонализированная новостная система.
Основные принципы системы
Персонализация + Контролируемая случайность – система фильтрует контент по интересам, но обязательным блоком включает события высокой значимости.
Многоуровневое представление – новости подаются разными способами: заголовками, краткими сводками, глубинным анализом.
Динамическая адаптация – система анализирует, как пользователь реагирует на новости, и корректирует подачу информации.
Геопривязка – интеграция с локальными событиями для оперативного информирования.
Модуль критического мышления – подача новостей с разбором альтернативных точек зрения и потенциальных манипуляций.
Архитектура системы
Научные прорывы (новые технологии, открытия, медицинские достижения).
Геополитические кризисы (войны, революции, санкции).
Экономические катаклизмы (кризисы, крахи рынков, изменения в мировых финансах).
Природные и техногенные катастрофы.
Культурные вехи (смерть знаковых личностей, революции в искусстве).
Изменения в законодательстве, затрагивающие базовые права.
Алгоритм определяет «нельзя пропустить» по ряду критериев:
✔ Влияние на мировую политику / экономику / технологии.
✔ Влияние на жизнь обычного человека.
✔ Историческая важность.
✅ Дебрифинг – утренний / вечерний персональный свод новостей с анализом.
✅ Температура информационного поля – график изменения «напряженности» в мире по темам.
✅ Архив событий – возможность «перемотать назад» и посмотреть развитие темы.
✅ Прогнозный анализ – система моделирует возможные последствия ключевых событий.
Вывод
Такая система объединяет персонализацию и объективную необходимость быть в курсе важного. Она не превращает пользователя в «инфо-наркомана», но и не оставляет его в пузыре собственных интересов.
Главный вызов – баланс между свободой выбора и необходимостью знать критически важное.
Проведем исследование по двум направлениям:
Существующие новостные системы, которые частично или полностью реализуют концепцию персонализированной новостной ленты с фильтрацией и анализом значимых событий.
Исследования и концепты, связанные с идеей интеллектуального новостного агрегатора, который минимизирует информационный шум, но не позволяет пропустить ключевые события.
Каждый день публикуются тысячи новостей, и без автоматической фильтрации пользователям трудно выделить важное. Современные новостные агрегаторы и персонализированные ленты используют алгоритмы искусственного интеллекта (ИИ), чтобы адаптировать поток новостей под интересы каждого читателя и облегчить информационную перегрузку. Такие системы анализируют, что читатель просматривал и что ему понравилось, и на этой основе предлагают релевантные статьи. Ниже представлен обзор основных решений, их возможностей и ограничений, а также перспективы развития технологий умной персонализации новостей.
Платформы с умной персонализацией новостей
Google News. Один из крупнейших новостных агрегаторов, Google News, активно применяет ИИ для подбора контента. После обновления 2018 года сервис использует алгоритмы машинного обучения для показа новостей, которые «вы больше всего захотите прочитать — как про события рядом с вами, так и по всему миру». При этом Google News строит персонализированную ленту «For You», учитывая историю запросов и чтения пользователя, но не отказывается и от общих разделов. Например, раздел “Top Stories” («Главные новости») в Google News вообще не персонализируется – он показывает всем одни и те же ключевые новости дня . Это гарантирует, что важнейшие мировые события будут видны каждому, даже если его личные интересы лежат в других темах. Кроме того, Google агрегирует новости из множества источников и группирует статьи по одному событию. В рамках функции “Full Coverage” («Полный охват») Google News отключает персональный рейтинг и показывает хронологическую ленту материалов по выбранной теме, включая разные точки зрения и источники. Такой подход помогает читателю получить панорамный обзор события без искажения алгоритмом.Apple News. Apple News сочетает алгоритмические рекомендации с человеческой редактурой. Секция Top Stories в приложении отбирается командой редакторов вручную, чтобы выделить главные новости дня, тогда как другие разделы (например, Trending Stories и персонализированные рекомендации For You) формируются алгоритмами на основе интересов пользователя. Исследования показали, что алгоритмическая лента склонна выбирать больше развлекательного контента и менее разнообразные источники по сравнению с подборкой людей-редакторов. В частности, автоматический раздел Trending в Apple News чаще выдавал новости о знаменитостях и поп-культуре, тогда как редакторы в Top Stories предлагали более сбалансированный и широкий круг тем. Это подчеркнуло важность гибридного подхода: Apple стремится найти баланс, доверяя ИИ в персональных рекомендациях, но одновременно используя опыт редакторов, чтобы покрыть критически важные темы и избежать перекоса в сторону «желтых» новостей. Пользователь Apple News также может влиять на ленту – например, отмечать “Suggest Less/More” (показывать меньше/больше подобного) для тонкой настройки рекомендаций.
Специализированные новостные приложения.
На рынке существует ряд независимых агрегаторов, делающих ставку на умную персонализацию. Например, приложение SmartNews применяет машинное обучение, чтобы анализировать миллионы статей в сети и отбирать для пользователя самое актуальное. SmartNews известен своим режимом “For You”, который позиционируется как «персонализированное открытие» новостей. В отличие от некоторых конкурентов, которые просто повторяют ваши прошлые просмотры, SmartNews старается предлагать новые темы, которые могут вас заинтересовать, даже если вы о них ранее не читали. Такой подход призван расширять кругозор читателя, а не только замыкать его в привычных темах. Чем больше вы пользуетесь приложением, тем точнее оно подбирает контент – SmartNews отмечает, что анализирует, какие материалы «другие пользователи, похожие на вас» находят интересными, и на этой основе рекомендует их и вам. Помимо этого, SmartNews внедряет специальные функции для разнообразия контента – например, политический «слайдер», позволяющий посмотреть, как различные медиа (правого или левого толка) освещают одну и ту же историю. Это помогает пользователю увидеть альтернативные точки зрения и сформировать более взвешенное мнение.Другой пример – Flipboard, популярный агрегатор, оформляющий новости в виде журнальной ленты. Flipboard позволяет пользователям выбирать интересующие темы и источники, а затем автоматически наполняет их «журнал» связанными статьями. Со временем алгоритм изучает предпочтения – что пользователь пролистывает, а что читает – и все точнее настраивает выдачу. Чтобы бороться с перегрузкой, Flipboard экспериментирует с «конечными подборками». В частности, формат Storyboards предлагает подборку материалов по определенной теме с четкой структурой и финалом, в отличие от бесконечной прокрутки стандартной ленты. Такой конечный пакет новостей позволяет читателю получить завершенный обзор темы и избежать ощущения, что новости «бездонны» – это повышает удовлетворенность и предотвращает утомление от бесконечного потока.
Региональные и социальные платформы.
В разных странах появились собственные системы персонализированной ленты. Например, в русскоязычном сегменте известна платформа Яндекс.Дзен – сервис, где алгоритмы Яндекса с помощью нейросетей формируют для каждого пользователя уникальную смесь новостей, статей и блог-постов. Яндекс.Дзен анализирует поведение (что читаете, на какие заголовки кликаете, сколько времени проводите) и наполняет ленту контентом, который с наибольшей вероятностью вам понравится. Пользователь может влиять на выдачу прямо – ставить «лайк» или «дизлайк» записям, подписываться на интересные каналы или блокировать неинтересные, и алгоритм учтёт эти сигналы при дальнейшей персонализации. Помимо агрегаторов, стоит упомянуть и социальные сети (Facebook, ВКонтакте, Twitter), ленты которых тоже фактически стали персональными новостными потоками. Лента Facebook знаменита своим алгоритмом, который с помощью машинного обучения оценивает сотни тысяч кандидатов на показ и выбирает те посты и новости, которые, по прогнозу, больше всего заинтересуют конкретного человека. Это превращает социальные сети в мощные персонализированные каналы новостей – хотя их цель скорее удерживать внимание, чем обеспечить полноту обзора событий.
ИИ-алгоритмы для выявления ключевых событий
Современные агрегаторы применяют ИИ не только для подбора интересного контента, но и для оперативного обнаружения важных событий в мире. Например, Google News автоматически кластеризует сотни статей по схожей тематике, фактически распознавая, когда множество источников пишут об одном и том же событии (будь то крупная авария, выборы или релиз нового продукта). Затем алгоритмы могут оценить значимость таких кластеров (например, по количеству публикаций, охвату аудитории, географии) и вынести наиболее важные события в раздел топ-новостей. Благодаря этому Google News быстро отражает новые мировые тренды: если где-то происходит нечто значимое, агрегатор вскоре покажет это всем пользователям в “Top Stories”. По словам Google, топ-новости обновляются очень часто именно потому, что они зависят от событий реального времени, а не от профиля пользователя.Многие платформы разрабатывают собственные системы автоматического детектирования новостей. Microsoft в рамках MSN News долгое время сочетала ручной отбор с алгоритмами, а в последние годы сделала шаг к полной автоматизации. В 2020 году сообщалось, что Microsoft сократила штат редакторов и перешла на ИИ-систему, которая должна сама выбирать трендовые новости, писать заголовки и подбирать изображения. Эта система мониторит сотни источников и метрик, чтобы определить, какие темы сейчас «на взлёте». Однако опыт показал, что полагаться только на ИИ рискованно – вскоре после перехода на роботов произошёл инцидент, когда MSN выдала новость с перепутанной фотографией участниц музыкальной группы (алгоритм неверно сопоставил картинку с персоной). Этот случай подчеркнул, что для корректного выявления событий ИИ пока необходим присмотр или доработка, особенно в части точности и контекстного понимания.Отдельного упоминания заслуживает подход SmartNews. Сервис позиционируется как «AI-driven news aggregator», то есть агрегатор, управляемый ИИ. Его алгоритмы интеллектуально отбирают топ-статьи из различных источников и удобно доставляют их пользователю. Фактически SmartNews выполняет роль автоматического редактора: просеивает огромный поток публикаций (в том числе локальные новости, блоги, нишевые издания) и собирает каждому читателю обновляемую подборку главных событий дня. Похожие идеи реализуются и в других проектах – например, платформа Newsadoo в Европе агрегирует новости с помощью ИИ и группирует их по событиям, сразу показывая несколько версий статьи об одном инфоповоде. В сфере медиаразведки (media intelligence) существуют системы вроде Event Registry, которые полностью посвящены отслеживанию мировых событий: они в реальном времени парсят тысячи новостных лент по всему миру, с помощью обработки естественного языка определяют, какие сообщения относятся к одному событию, и даже пытаются оценить его тон и влияние. Хотя такие системы чаще используются журналистами и аналитиками, сам факт их появления говорит о больших возможностях ИИ в обнаружении и ранжировании событий.В целом, ИИ-алгоритмы уже умеют выявлять “что важно” на основе колоссальных данных. Они ловят всплески обсуждений (в СМИ и соцсетях), определяют новости, которые быстро набирают популярность, и могут предупредить редакции или пользователей о “breaking news” (только что произошедших). Пользовательские агрегаторы вроде Google News и SmartNews внедряют эти технологии, чтобы читатели получали не только персональные, но и своевременные оповещения о ключевых мировых новостях.
Баланс между интересами и критически важными новостями
Проблема “пузыря фильтров”. Когда алгоритмы слишком узко подстраивают ленту под вкусы пользователя, возникает риск так называемого «информационного пузыря». Этот термин (filter bubble) ввёл интернет-активист Элай Паризер, описав ситуацию, когда человек видит только ту информацию, которая подтверждает его взгляды, а важные альтернативные мнения остаются за бортом. В новостях эффект пузыря особенно опасен: читатель может упускать события глобального значения или не получать критически важные новости, если они вне зоны его обычных интересов. Кроме того, замкнутая среда мнений усиливает поляризацию: лента показывает лишь то, с чем вы наверняка согласны, из-за чего взгляд на мир искажается. Современные агрегаторы осознают эту проблему и ищут способы балансировки между персонализацией и общественной значимостью контента.Алгоритмические решения. Несколько подходов внедрено на практике. Во-первых, как упоминалось, Google News умышленно оставляет в интерфейсе неперсонализированный блок главных новостей. Пользователь может сразу увидеть общенациональные и мировые топ-темы, даже если обычно он читает про спорт или технологии. Во-вторых, Google предлагает кнопку “Full Coverage”, которая позволяет выйти из пузыря одним нажатием – по конкретной теме показываются различные источники и точки зрения, а алгоритмический приоритет отменяется. Там же пользователь увидит хронологию развития события и даже посты из соцсетей, что даёт целостную картину. Таким образом, Google пытается сочетать индивидуальный подход (“Для вас”) с общим информационным полем.SmartNews пошёл другим путём: его концепция – “персонализированное открытие”. Приложение утверждает, что не хочет загонять читателя в пузырь, наоборот, старается постоянно подкидывать ему что-то новое. Раздел “For You” в SmartNews сочетает ваши интересы с совершенно новыми темами и трендами, которые алгоритм прогнозирует как потенциально интересные. Логика в том, что люди читают новости не только чтобы подтвердить знакомое, но и чтобы удивиться и узнать новое. SmartNews использует ИИ, чтобы предсказывать, что может заинтересовать пользователя дальше, даже если это вне его текущих увлечений. Благодаря этому в ленте появляются материалы, которые читатель сам бы не выбрал, но которые популярны у схожей аудитории и могут расширить его информационный кругозор. Дополнительно, как упомянуто выше, SmartNews ввёл “спектр новостей” – функцию, показывающую, как лево- и правополитические медиа освещают один сюжет. Этот «слайдер» мнений напрямую борется с пузырём, давая возможность взглянуть на новости под другим углом.Многообразие источников. Другие сервисы также экспериментируют с балансировкой. Платформа Newsadoo, к примеру, при персонализации по интересам всё равно показывает несколько версий одной новости из разных СМИ. Читая про событие, пользователь увидит рядом заголовки разных изданий – это напрямую разбивает монотонность и исключает одностороннее покрытие. Вещательная компания VRT (Фландрия) разработала рекомендательный алгоритм для своего новостного приложения, который сначала учитывает предпочтения, но затем постепенно расширяет спектр контента за счёт анализа метаданных. Алгоритм VRT старается аккуратно “подмешивать” в ленту материалы вне привычных вкусов, не перегружая, но понемногу разводя информационное меню пользователя. Цель – приучить аудиторию читать более разнообразные новости, выходя за рамки своих интересов, но делать это плавно, чтобы не потерять вовлечённость.
Роль человеческой модерации.
Отдельно стоит отметить редакционное вмешательство как способ балансировки. Apple News, как уже обсуждалось, доверяет редакторам отбор Top Stories для всех – по сути, люди-кураторы гарантируют, что утром все пользователи увидят подборку главных новостей, независимо от персональных настроек. Это включает в себя и потенциально неприятные, но важные темы. Например, если происходит глобальный кризис или чрезвычайное происшествие, Apple News вынесет его наверх для всех пользователей – даже тех, кто обычно такие темы избегает. Кроме Apple, подобный гибридный подход используют многие порталы: Yahoo! главную страницу наполняет редакция, MSN долгое время делал так же, а персональный контент размещался в отдельных виджетах. Такой баланс между алгоритмом и редактором призван сочетать два достоинства – масштаб и персонализация со стороны ИИ и общественная значимость и проверка со стороны человека.
В результате сегодня мы видим стремление агрегаторов обеспечить пользователю и то, что ему лично интересно, и то, что важно знать каждому гражданину. Полностью решить эту задачу непросто – нужно, чтобы алгоритм достаточно хорошо понимал, какие события имеют объективную важность. Тем не менее, комбинация методов (неперсональные блоки, режимы полноты обзора, разнообразие источников, ручной отбор) заметно улучшает ситуацию. При грамотном использовании таких функций читатель может одновременно наслаждаться контентом «для души» и не пропускать новости, которые определяют информационную картину дня.
Фильтрация информационного шума и манипуляций
Борьба с шумом. Информационный шум – это избыток нерелевантных или дублирующих сведений, мешающих увидеть суть. Персонализированные системы стараются минимизировать шум несколькими способами. Во-первых, почти все агрегаторы кластеризуют дубликаты статей: если десятки сайтов перепечатали одну и ту же новость, пользователь не увидит ее 50 раз, а получит один заголовок (с возможностью раскрыть другие источники при желании). Например, SmartNews агрегирует новости из разных изданий в одном интерфейсе, благодаря чему исключается необходимость переходить по множеству сайтов отдельно. Пользователь экономит время и не утопает в повторяющемся контенте – приложение само “собирает и склеивает” сходные новости. Во-вторых, умные алгоритмы пытаются отсеивать нерелевантное на этапе выбора: анализируют текст, тематику, даже тон публикации, чтобы определить, интересна ли она конкретному читателю. Шумом может считаться и несоответствие предпочтениям – например, если человеку неинтересен спорт, лента должна фильтровать спортивные статьи. Настройки и обратная связь помогают в этом: многие сервисы позволяют выбрать любимые темы/источники или, наоборот, скрыть нежелательные. В SmartNews, к примеру, пользователь может указывать доверенные источники и приоритетные темы, чтобы алгоритм фокусировался на них. По мере взаимодействия (чтения, скрытия, лайки) система «учится» все точнее отбирать релевантный и надежный контент.Еще одна тактика – ограничение потока. В отличие от соцсетей с бесконечной прокруткой, некоторые новостные приложения намеренно не перегружают ленту. Они могут выдавать определенное число статей в день (как делал, например, Yahoo News Digest) или формировать издания по расписанию (утренний и вечерний дайджест). Это предотвращает бесконтрольный поток сведений. Хотя такой подход менее популярен сейчас, элементы его появляются (как обсуждалось с Flipboard Storyboards – фиксированными подборками).
Противодействие дезинформации.
Манипуляции и фейковые новости – серьезный вызов для алгоритмических лент. С одной стороны, крупные агрегаторы стремятся работать только с авторитетными источниками. Google News, Apple News и др. имеют списки одобренных издателей; прежде чем неизвестный сайт попадет в выдачу, он проходит модерацию. Это отсеивает откровенно сомнительные ресурсы. С другой стороны, даже у признанных медиа бывают ошибки или предвзятость, а полностью исключить проникновение вирусных фейков трудно (особенно в соцсетях, где пользователи сами делятся новостями). Поэтому разрабатываются и автоматические фильтры. Например, Facebook внедрил алгоритмы для выявления явных фейков и кликбейта (анализа заголовков на типичные сенсационные шаблоны), понижения их в выдаче или маркировки. В новостных агрегаторах также используются метаданные: Google News помечает некоторые статьи как “Fact check” (проверка фактов) – эти метки присваиваются материалам, в которых содержится вывод независимой фактчекинговой организации. Если по громкой теме распространяются противоречивые сведения, Google News может показать карточку со сводкой от фактчекеров рядом с новостями, чтобы предупредить читателей. Кроме того, режимы множественных источников (вроде упомянутого Full Coverage или показа параллельно нескольких новостей на одну тему) сами по себе являются инструментом борьбы с манипуляциями. Когда читатель видит одновременно несколько интерпретаций события и сопоставляет их, сложнее утаить искаженную информацию. SmartNews, показывая новости “бок о бок” от разных изданий, поощряет аудиторию обращать внимание на расхождения и выявлять возможный уклон. Это снижает шанс, что фейк или пропагандистский нарратив останется незамеченным – другие источники дадут альтернативные факты.Тем не менее, эффективность этих мер не абсолютна. Алгоритмы не обладают истинным здравым смыслом и могут допускать курьезы. Уже упоминался случай, когда ИИ-редактор Microsoft перепутал фотографии в новости– такой визуальный фейл способен дезинформировать аудиторию (например, ошибочно идентифицировать человека на фото). Другой пример – сенсационность и пристрастность алгоритмов. Системы рекомендаций часто оптимизируются на метрику кликов и вовлеченности, что невольно поощряет “кричащий” контент. Исследование, сравнившее работу людей и машин в Apple News, показало, что алгоритм склонен выбирать более развлекательные и скандальные темы, чем редакторы. Меньшее разнообразие источников в автоматической выдаче тоже может быть формой информационной манипуляции – пользователь видит только ограниченный набор мнений. Эти ограничения признают и сами разработчики. Например, компания Twipe (занимается цифровыми новостными продуктами) отмечает, что пользователи ценят персонализацию, но опасаются предвзятости и изоляции во мнениях. Кроме того, многих волнуют приватность (что алгоритм знает о них слишком много) и прозрачность работы таких систем. Ведь если лента что-то скрыла, пользователь редко узнает об этом и не может проконтролировать или оспорить решение алгоритма.В итоге борьба с шумом и дезинформацией продолжается на нескольких фронтах: улучшение алгоритмических фильтров, привлечение независимых проверок, повышение разнообразия контента для самокоррекции, а также внедрение возможностей для пользователей влиять на выдачу (например, кнопки “Мне это не важно” или “Пожаловаться на новость”). Полностью автоматическое решение пока недостижимо, но сочетание технических и гуманитарных методов помогает сделать новостной поток более чистым и надёжным. Многие сервисы сегодня стремятся давать “полезную смесь” – с одной стороны, отфильтрованную от спама и фейков, с другой – достаточно широкую, чтобы человек сам мог сделать вывод, сравнив разные данные.
Технологии и исследования интеллектуальной фильтрации новостей
Анализ контента и профиля.
Персонализированная выдача новостей опирается на ряд ключевых технологий. Одно из центральных мест занимает контентная фильтрация: алгоритмы анализируют тексты статей с помощью NLP (обработки естественного языка), чтобы понять их тематику, ключевые сущности (персоны, организации, места) и даже тональность. На основе этого строятся профили интересов. Так, уже упомянутый сервис News360 применял семантический анализ и строил для каждого пользователя «граф интересов», отражающий его любимые темы. Схожие принципы используются и крупными компаниями – например, у Microsoft News и Google News есть модели, которые представляют интересы как набор тематических признаков или слов, полученных из ранее прочитанных статей. Другой распространенный метод – коллаборативная фильтрация, когда система смотрит не только на ваш личный профиль, но и на поведение похожих пользователей. Если люди со сходными интересами вдруг начали читать новую тему, возможно, и вам она будет интересна. Мы уже видели это на примере SmartNews, где явно говорится об учёте того, что читают «другие, похожие на вас»business.smartnews.com
. Большие данные о поведении множества пользователей позволяют рекомендательной системе делать такие перекрестные выводы.
Диверсификация и серендипность.
В академических исследованиях новостных рекомендаций много внимания уделяется проблеме разнообразия выдачи. Считается, что помимо точного соответствия интересам, лента должна включать контент, который расширяет кругозор и не дает скучать. В частности, повышение разнообразия напрямую предлагается как способ смягчить эффект фильтр-пузыря. Учёные ввели метрики для оценки разнообразия новостных рекомендаций – например, Intra-List Diversity (ILD), которая измеряет, насколько непохожи друг на друга статьи в предложенном списке. Если алгоритм слишком монотонен, ILD будет низкой. В ответ появились модели, учитывающие новизну (novelty) и серендипность. Одной из ранних систем была Newsjunkie, которая ранжировала новости для пользователя по принципу «насколько эта статья нова относительно уже прочитанного». То есть если вы весь день читали про экономику, Newsjunkie поднимала выше новости других тематик, чтобы разбавить информационное поле. Современные подходы интегрируют такие идеи в нейросетевые рекомендации: например, оценивают различие в эмоциональной тональности новостей или следят, чтобы в топ не попали все новости с одного источника. Диверсификация стала настолько важна, что её рассматривают как отдельную задачу при разработке новостных рекомендателей.
Обучение и модели ИИ.
За кулисами персональных лент работают сложные алгоритмы machine learning. Раньше это были в основном решающие деревья с множеством признаков или методы factorization (матричные разложения) для коллаборативной фильтрации. Сейчас доминируют нейросетевые модели, специально обученные на новостных данных. Крупные игроки (тот же Microsoft) публиковали научные работы о своих моделях: например, NPA (Neural News Recommendation) – нейросеть, учитывающая новостной заголовок, тело статьи и персональные интересы через механизмы внимания; или Wide & Deep модели, комбинирующие запоминание частых интересов и обобщение новых. В 2020 году был открыт датасет MIND (от Microsoft) – большой набор данных о том, какие новости читали миллионы пользователей MSN, с целью стимуляции исследований в этой области. Это позволило академическим группам разрабатывать и тестировать новые подходы. Среди интересных направлений – учёт временных факторов (modeling news sequence, поскольку интересы меняются день ото дня), учёт контекста (например, с какого устройства или в какое время суток потребляются новости, чтобы адаптировать формат), и даже попытки внедрять объяснимость. Последнее особенно важно: если алгоритм сможет объяснить, почему он рекомендует ту или иную статью, это повысит доверие пользователей. Пока что объяснимость достигается простыми средствами (например, подписью «потому что вы читали X»), но исследования ведутся и в сторону более интеллектуальных объяснений (например, выделять, что «эта новость упоминает ту же тему, что и вчерашняя вами прочитанная статья»).
Фильтрация фейков и качественных метрик.
Интересным суб-направлением является определение качества и достоверности новостей. Алгоритмы в будущем могут научиться автоматически различать качественную журналистику от поверхностной. Уже есть попытки учитывать репутацию источника, сложность изложения, наличие фактов vs мнений. Отдельно развивается детекция фейковых новостей с помощью ИИ: обучаются классификаторы, которые по тексту и метаданным стараются понять, является ли новость намеренной дезинформацией. Хотя полностью заменить человеческую фактчекинговую экспертизу сложно, такие модели могут служить фильтром первого уровня, помечая подозрительный контент для дальнейшей проверки. Также появляются концепции вроде “умных модераторов”, которые сидят поверх агрегатора и наблюдают за аномалиями (например, внезапно вирусная новость из неизвестного блога) – сигнализируя об этом человеку-редактору или автоматически уменьшая охват до выяснения обстоятельств.
Социальный контекст и персонализация. Новостная персонализация не ограничивается индивидуальными аппетитами – она вплетена в социальные процессы. Поэтому исследователи в области медиа обсуждают такие понятия, как поляризация, эхо-камеры (когда люди общаются только с единомышленниками и получают подтверждение своим взглядам), и влияние алгоритмов на общественное мнение. Некоторые работы даже проверяют, есть ли реально эффект пузыря. Отчёт Reuters Institute (2020) показал, что при обычном сценарии использования люди всё же получают достаточно разнообразия источников, и явного сильного пузыря персонализации они не обнаружили – скорее, пользователь сам склонен выбирать комфортные источники. Тем не менее, риск узости кругозора признаётся, и потому крупные новостные платформы продолжают вводить решения для контрольного впрыска разнообразия. На институциональном уровне идут дискуссии о «алгоритмической ответственности»: должны ли компании нести ответственность за деформацию информационной картины у пользователя, как измерять качество информационной диеты и т.п. Появляется даже термин “responsible recommendation” – подразумевающий этические принципы в дизайне таких алгоритмов (учёт общественного блага, избегание дискриминации, защита приватности и т.д.).Пробелы современных решений и перспективы развития
Несмотря на прогресс, в нынешних системах остаются существенные пробелы, которые открывают возможности для создания новой, улучшенной платформы персонализированных новостей:
Эффект пузыря и эхо-камеры. Полностью избавиться от фильтрационного пузыря пока не удалось. Даже с функциями вроде Full Coverage или политического слайдера, многие пользователи остаются в пределах комфортного им инфополя. Не каждый читатель будет нажимать специальные кнопки для разнообразия – зачастую люди пассивно потребляют, что дает лента. Поэтому новые решения могут глубже интегрировать разнообразие по умолчанию. Например, перспективно внедрять многокритериальные алгоритмы, которые оптимизируют не только персональную релевантность, но и “ценность” новости. Можно представить систему баллов важности: событие глобального масштаба получает высокий базовый вес, гарантирующий показ, даже если профиль пользователя и не совпадает. Некоторые эксперты предлагают дать самим пользователям инструменты контроля: например, ползунок персонализация–универсальность, где человек может настроить, хочет ли он более узкую или более широкую ленту. Пока таких интерфейсов почти нет, но их появление могло бы снизить проблему пузыря.
Качество и доверие к источникам. Сегодняшние агрегаторы в основном не объясняют, почему та или иная новость появилась у вас в ленте. Отсутствие прозрачности рождает недоверие и ощущение манипуляции. Новая система могла бы предложить прозрачный режим: например, при клике на новость показывать, какими факторами она выбрана («Популярно среди читателей в вашем городе», «Свежая статья по теме X, которой вы интересуетесь», «Важно: крупное событие дня» и т.п.). Также остается проблема фейков и пропаганды. Здесь можно улучшить фильтры, интегрировать больше сигналов. Перспективное направление – оценка надежности на лету: алгоритм вычисляет условный рейтинг доверия к статье, учитывая надежность источника, тональность (слишком эмоционально – подозрительно), совпадение с другими источниками и пр. Такой рейтинг мог бы сообщаться читателю (например, индикатором или предупреждением). К примеру, если новость подтверждена множеством независимых источников, система пометит ее как «верифицированная», а если информация сырая и исходит из одного соцсетевого поста – как «непроверенная». Пока подобное реализовано лишь фрагментарно (в виде меток фактчека), но дальнейшая автоматизация проверки фактов с ИИ – важный резерв.
Персонализация без перегибов. Современные алгоритмы в погоне за кликами иногда перегибают, зацикливаясь на одном типе контента (например, увидев интерес к скандальной хронике, могут заполнить ленту похожими историями). Пользователя это может быстро утомить или вызвать разочарование. Новый подход мог бы внедрить более человеческий такт: учитывать насыщение темой. Например, если за день вам показали уже 5 новостей про экономику, шестую стоит заменить чем-то другим – аналогично тому, как редактор газеты не станет печатать десять одинаковых статей. Здесь поможет и упомянутая концепция конечных изданий: подавать новости порциями, где каждая порция тщательно сбалансирована (как полоса в газете). Персонализация может происходить на уровне того, какие материалы войдут в эту порцию, но сама порция будет ограниченной и разнообразной. Такие эксперименты уже ведутся (JAMES, Flipboard и др.), и они перспективны для снижения информационного перенасыщения.
Учет индивидуальных ценностей и контекста. Текущие агрегаторы знают о наших кликах, но мало знают о нашем намерении или настроении. Перспективная система могла бы быть более контекстуальной: например, утром показывать сводку деловых новостей, а вечером – более развлекательный контент, исходя из предполагаемого настроения пользователя. Для этого ИИ может учитывать время суток, местоположение (на работе или дома), устройство (на смартфоне – короткие заметки, на планшете – лонгриды) и даже данные календаря (если у вас встреча с кем-то из финансовой отрасли, подсунуть последние финансовые новости для подготовки). Это ведет нас к идее умного новостного ассистента, который интегрирован в повседневную жизнь. Уже есть зачатки – голосовые помощники (Siri, Alexa) умеют зачитывать новости, но их персонализация примитивна. В будущем можно ожидать диалоговые системы, где вы можете спросить: «Что нового в науке?» – и получить сгенерированную ИИ сводку, релевантную вашим интересам, а затем уточнить «А что по моему городу?» и так далее. Это качественно новый уровень персонализации – по запросу и под ситуацию, а не только заранее спрогнозированные рекомендации.
Приватность и контроль данных. Наконец, важный пробел – доверие пользователей в плане конфиденциальности. Алгоритмы персонализации питаются данными о нас, и не всем это приятно. Новое решение могло бы привлекать аудиторию за счет приватности по дизайну: хранить профили локально на устройстве (как вариант, использовать технику federated learning, когда общая модель обучается без выгрузки личных данных на сервер). Или, как минимум, давать пользователю просмотреть и отредактировать свой «профиль интересов», который система про него составила. Это убьет двух зайцев: и прозрачность повысится (человек видит, что о нем «думает» ИИ, и может скорректировать), и лишних страхов не будет. В настоящее время мало кто из агрегаторов предоставляет такую возможность – это явный резерв для новых продуктов.
Перспективы развития. Вектор прогресса в области персонализированных новостей очевиден: системы будут становиться умнее, гибче и ответственнее. С возрастанием вычислительных мощностей и успехами AI мы увидим всё более тонкое понимание контента – вплоть до автоматического резюмирования новостей (чтобы в ленте показывался краткий тезис, а детально – по клику) и сквозного связывания сюжетов (например, ИИ будет напоминать, что это продолжение истории, о которой вы читали на прошлой неделе, обеспечивая контекст). Также вероятна интеграция мультимедиа: персонализация видео-новостей, подкастов по интересам. Уже сейчас YouTube и другие платформы рекомендуют новостные ролики по похожим алгоритмам.
Отдельно стоит ожидать усовершенствований в балансировке и достоверности. Давление общества и регуляторов (в свете проблем фейкньюс и поляризации) мотивирует компании делать алгоритмы более нейтральными и полезными для общества. Возможно, появятся этические рамки или независимые аудиты персонализированных лент, чтобы исключить злоупотребления (например, скрытую политическую цензуру или дискриминацию интересов меньшинств). Технологически это может реализоваться через добавление в модель целей по диверсификации и метрик “качества диеты”. Например, ИИ будет пытаться за неделю показать пользователю определенную норму разнообразия источников и тем, своего рода «информационную пирамиду питания».
Подводя итог, интеллектуальные новостные агрегаторы уже сейчас значительно облегчают нам жизнь, отфильтровывая тонны информации и подстраивая новости под наши интересы. Однако путь к идеально сбалансированной и надежной системе ещё не закончен. Необходимо и дальше совершенствовать алгоритмы, сочетать их с лучшими практиками журналистики и обеспечивать читателям как персональный, так и всеобъемлющий взгляд на мир. Технологии ИИ в этой области развиваются стремительно, и при критичном подходе и инновациях у нас есть шанс получить новостные сервисы, которые будут одновременно и увлекательными, и познавательными, и общественно значимымиtwipemobile.com
. Такой осознанный подход к персонализации позволит людям оставаться хорошо информированными, не тонуть в информационном шуме и не попадать в ловушки алгоритмов, а напротив – использовать их себе во благо.
Источники:
Cool-Fergus, S. Are Personalised News Aggregators Enhancing Our World or Echoing Our Biases? – Twipe (2024)
twipemobile.com
twipemobile.com
SmartNews Blog. “For You” – a smarter way to discover news (2017)
business.smartnews.com
business.smartnews.com
business.smartnews.com
Thenextweb. Google News has a new feature that may just pop your filter bubble (2018)
thenextweb.com
thenextweb.com
thenextweb.com
Seroundtable. Google: Our Personalized Results Do Not Create Filter Bubbles (2018)
seroundtable.com
Twipe (Case Studies). SmartNews, Newsadoo, VRT… (2024)
twipemobile.com
twipemobile.com
twipemobile.com
Twipe (Case Studies). Flipboard and JAMES… (2024)
twipemobile.com
twipemobile.com
Artsyltech. AI-Driven Insights: How SmartNews Top Stories are Reshaped (2023)
artsyltech.com
artsyltech.com
Artsyltech. SmartNews – Minimizing Bias (2023)
artsyltech.com
artsyltech.com
Wikipedia. News360 – personalized news app (2010–2022)
en.wikipedia.org
The Guardian. Apple News algorithms pick more celeb stories than human editors, study finds (2020)
ojs.aaai.org
Wu et al. Personalized News Recommendation: Methods and Challenges – ACM Computing Surveys (2021)
arxiv.org
arxiv.org
В повести Дмитрия Галковского «Друг утят» описана информационная система будущего, основанная на персональных модераторах. Эти модераторы представляют собой сложные программы с антропоморфной оболочкой, настроенные на индивидуальные предпочтения пользователя. Они фильтруют огромный поток информации по заданным критериям, таким как темы, объем, стиль подачи и внешность виртуального «диктора». Например, пользователь может настроить модератор на получение ежедневных 30 минут информации о Румынии, баскетболе и египтологии, поданной с легким скепсисом и элементами эротики, причем модератор будет выглядеть как его дедушка. Такая система позволяет человеку жить в информационном «коконе», общаясь через Интернет с единомышленниками или меняя фильтры по желанию. В этом обществе отсутствуют идеологические системы, а каждый человек сам определяет, что он хочет знать, исключая элемент драматургии и чужой воли из общения. Таким образом, общество становится настолько лживым, что даже правдиво, поскольку никто никого сознательно не обманывает, а каждый получает информацию в соответствии со своими настройками фильтра.
magazines.gorky.media
Система персональных модераторов, описанная в Друге утят, имеет много привлекательных черт, особенно с точки зрения когнитивной эффективности:
Плюсы:
Фильтрация информационного шума – исключение нежелательной информации снижает перегрузку мозга и экономит время.
Персонализация контента – каждый получает именно то, что ему интересно, в нужном формате и объеме.
Минимизация манипуляций – отсутствие навязанной идеологии снижает вероятность внешнего влияния.
Оптимизация обучения – возможность формировать поток знаний в удобной и интересной форме.
Эмоциональный комфорт – контент подается так, чтобы минимизировать стресс и дискомфорт.
Минусы и риски:
Эффект «информационного кокона» – человек перестает сталкиваться с неожиданными идеями, что может вести к интеллектуальной стагнации.
Подтверждение предвзятостей – фильтры только усиливают уже существующие убеждения, что ведет к поляризации общества.
Потеря критического мышления – если система подстраивается под желания, пользователь реже сталкивается с аргументами, которые его мировоззрение ставят под сомнение.
Упадок социальной реальности – люди перестают взаимодействовать с носителями иных точек зрения, что может привести к радикализации и узости восприятия.
Возможность скрытого управления – если модератором управляют внешние силы, можно незаметно менять картину мира пользователя, не вызывая у него дискомфорта.
Система действительно устраняет раздражающие факторы и делает поток информации удобным. Однако она превращает человека в заложника своих собственных предпочтений и заблуждений. Это идеальная машина для создания общества «удовлетворенных идиотов», где каждый варится в своем маленьком пузыре, не видя общей картины.
В идеале такая технология должна сочетать персонализацию с обязательной дозой случайности – чтобы время от времени подкидывать пользователю неожиданные, но потенциально полезные точки зрения. Тогда это будет инструментом развития, а не цифровым наркотиком.
Идеальная персонализированная новостная система.
Основные принципы системы
Персонализация + Контролируемая случайность – система фильтрует контент по интересам, но обязательным блоком включает события высокой значимости.
Многоуровневое представление – новости подаются разными способами: заголовками, краткими сводками, глубинным анализом.
Динамическая адаптация – система анализирует, как пользователь реагирует на новости, и корректирует подачу информации.
Геопривязка – интеграция с локальными событиями для оперативного информирования.
Модуль критического мышления – подача новостей с разбором альтернативных точек зрения и потенциальных манипуляций.
Архитектура системы
Научные прорывы (новые технологии, открытия, медицинские достижения).
Геополитические кризисы (войны, революции, санкции).
Экономические катаклизмы (кризисы, крахи рынков, изменения в мировых финансах).
Природные и техногенные катастрофы.
Культурные вехи (смерть знаковых личностей, революции в искусстве).
Изменения в законодательстве, затрагивающие базовые права.
Алгоритм определяет «нельзя пропустить» по ряду критериев:
✔ Влияние на мировую политику / экономику / технологии.
✔ Влияние на жизнь обычного человека.
✔ Историческая важность.
✅ Дебрифинг – утренний / вечерний персональный свод новостей с анализом.
✅ Температура информационного поля – график изменения «напряженности» в мире по темам.
✅ Архив событий – возможность «перемотать назад» и посмотреть развитие темы.
✅ Прогнозный анализ – система моделирует возможные последствия ключевых событий.
Вывод
Такая система объединяет персонализацию и объективную необходимость быть в курсе важного. Она не превращает пользователя в «инфо-наркомана», но и не оставляет его в пузыре собственных интересов.
Главный вызов – баланс между свободой выбора и необходимостью знать критически важное.
Проведем исследование по двум направлениям:
Существующие новостные системы, которые частично или полностью реализуют концепцию персонализированной новостной ленты с фильтрацией и анализом значимых событий.
Исследования и концепты, связанные с идеей интеллектуального новостного агрегатора, который минимизирует информационный шум, но не позволяет пропустить ключевые события.
Каждый день публикуются тысячи новостей, и без автоматической фильтрации пользователям трудно выделить важное. Современные новостные агрегаторы и персонализированные ленты используют алгоритмы искусственного интеллекта (ИИ), чтобы адаптировать поток новостей под интересы каждого читателя и облегчить информационную перегрузку. Такие системы анализируют, что читатель просматривал и что ему понравилось, и на этой основе предлагают релевантные статьи. Ниже представлен обзор основных решений, их возможностей и ограничений, а также перспективы развития технологий умной персонализации новостей.
Платформы с умной персонализацией новостей
Google News. Один из крупнейших новостных агрегаторов, Google News, активно применяет ИИ для подбора контента. После обновления 2018 года сервис использует алгоритмы машинного обучения для показа новостей, которые «вы больше всего захотите прочитать — как про события рядом с вами, так и по всему миру». При этом Google News строит персонализированную ленту «For You», учитывая историю запросов и чтения пользователя, но не отказывается и от общих разделов. Например, раздел “Top Stories” («Главные новости») в Google News вообще не персонализируется – он показывает всем одни и те же ключевые новости дня . Это гарантирует, что важнейшие мировые события будут видны каждому, даже если его личные интересы лежат в других темах. Кроме того, Google агрегирует новости из множества источников и группирует статьи по одному событию. В рамках функции “Full Coverage” («Полный охват») Google News отключает персональный рейтинг и показывает хронологическую ленту материалов по выбранной теме, включая разные точки зрения и источники. Такой подход помогает читателю получить панорамный обзор события без искажения алгоритмом.Apple News. Apple News сочетает алгоритмические рекомендации с человеческой редактурой. Секция Top Stories в приложении отбирается командой редакторов вручную, чтобы выделить главные новости дня, тогда как другие разделы (например, Trending Stories и персонализированные рекомендации For You) формируются алгоритмами на основе интересов пользователя. Исследования показали, что алгоритмическая лента склонна выбирать больше развлекательного контента и менее разнообразные источники по сравнению с подборкой людей-редакторов. В частности, автоматический раздел Trending в Apple News чаще выдавал новости о знаменитостях и поп-культуре, тогда как редакторы в Top Stories предлагали более сбалансированный и широкий круг тем. Это подчеркнуло важность гибридного подхода: Apple стремится найти баланс, доверяя ИИ в персональных рекомендациях, но одновременно используя опыт редакторов, чтобы покрыть критически важные темы и избежать перекоса в сторону «желтых» новостей. Пользователь Apple News также может влиять на ленту – например, отмечать “Suggest Less/More” (показывать меньше/больше подобного) для тонкой настройки рекомендаций.
Специализированные новостные приложения.
На рынке существует ряд независимых агрегаторов, делающих ставку на умную персонализацию. Например, приложение SmartNews применяет машинное обучение, чтобы анализировать миллионы статей в сети и отбирать для пользователя самое актуальное. SmartNews известен своим режимом “For You”, который позиционируется как «персонализированное открытие» новостей. В отличие от некоторых конкурентов, которые просто повторяют ваши прошлые просмотры, SmartNews старается предлагать новые темы, которые могут вас заинтересовать, даже если вы о них ранее не читали. Такой подход призван расширять кругозор читателя, а не только замыкать его в привычных темах. Чем больше вы пользуетесь приложением, тем точнее оно подбирает контент – SmartNews отмечает, что анализирует, какие материалы «другие пользователи, похожие на вас» находят интересными, и на этой основе рекомендует их и вам. Помимо этого, SmartNews внедряет специальные функции для разнообразия контента – например, политический «слайдер», позволяющий посмотреть, как различные медиа (правого или левого толка) освещают одну и ту же историю. Это помогает пользователю увидеть альтернативные точки зрения и сформировать более взвешенное мнение.Другой пример – Flipboard, популярный агрегатор, оформляющий новости в виде журнальной ленты. Flipboard позволяет пользователям выбирать интересующие темы и источники, а затем автоматически наполняет их «журнал» связанными статьями. Со временем алгоритм изучает предпочтения – что пользователь пролистывает, а что читает – и все точнее настраивает выдачу. Чтобы бороться с перегрузкой, Flipboard экспериментирует с «конечными подборками». В частности, формат Storyboards предлагает подборку материалов по определенной теме с четкой структурой и финалом, в отличие от бесконечной прокрутки стандартной ленты. Такой конечный пакет новостей позволяет читателю получить завершенный обзор темы и избежать ощущения, что новости «бездонны» – это повышает удовлетворенность и предотвращает утомление от бесконечного потока.
Региональные и социальные платформы.
В разных странах появились собственные системы персонализированной ленты. Например, в русскоязычном сегменте известна платформа Яндекс.Дзен – сервис, где алгоритмы Яндекса с помощью нейросетей формируют для каждого пользователя уникальную смесь новостей, статей и блог-постов. Яндекс.Дзен анализирует поведение (что читаете, на какие заголовки кликаете, сколько времени проводите) и наполняет ленту контентом, который с наибольшей вероятностью вам понравится. Пользователь может влиять на выдачу прямо – ставить «лайк» или «дизлайк» записям, подписываться на интересные каналы или блокировать неинтересные, и алгоритм учтёт эти сигналы при дальнейшей персонализации. Помимо агрегаторов, стоит упомянуть и социальные сети (Facebook, ВКонтакте, Twitter), ленты которых тоже фактически стали персональными новостными потоками. Лента Facebook знаменита своим алгоритмом, который с помощью машинного обучения оценивает сотни тысяч кандидатов на показ и выбирает те посты и новости, которые, по прогнозу, больше всего заинтересуют конкретного человека. Это превращает социальные сети в мощные персонализированные каналы новостей – хотя их цель скорее удерживать внимание, чем обеспечить полноту обзора событий.
ИИ-алгоритмы для выявления ключевых событий
Современные агрегаторы применяют ИИ не только для подбора интересного контента, но и для оперативного обнаружения важных событий в мире. Например, Google News автоматически кластеризует сотни статей по схожей тематике, фактически распознавая, когда множество источников пишут об одном и том же событии (будь то крупная авария, выборы или релиз нового продукта). Затем алгоритмы могут оценить значимость таких кластеров (например, по количеству публикаций, охвату аудитории, географии) и вынести наиболее важные события в раздел топ-новостей. Благодаря этому Google News быстро отражает новые мировые тренды: если где-то происходит нечто значимое, агрегатор вскоре покажет это всем пользователям в “Top Stories”. По словам Google, топ-новости обновляются очень часто именно потому, что они зависят от событий реального времени, а не от профиля пользователя.Многие платформы разрабатывают собственные системы автоматического детектирования новостей. Microsoft в рамках MSN News долгое время сочетала ручной отбор с алгоритмами, а в последние годы сделала шаг к полной автоматизации. В 2020 году сообщалось, что Microsoft сократила штат редакторов и перешла на ИИ-систему, которая должна сама выбирать трендовые новости, писать заголовки и подбирать изображения. Эта система мониторит сотни источников и метрик, чтобы определить, какие темы сейчас «на взлёте». Однако опыт показал, что полагаться только на ИИ рискованно – вскоре после перехода на роботов произошёл инцидент, когда MSN выдала новость с перепутанной фотографией участниц музыкальной группы (алгоритм неверно сопоставил картинку с персоной). Этот случай подчеркнул, что для корректного выявления событий ИИ пока необходим присмотр или доработка, особенно в части точности и контекстного понимания.Отдельного упоминания заслуживает подход SmartNews. Сервис позиционируется как «AI-driven news aggregator», то есть агрегатор, управляемый ИИ. Его алгоритмы интеллектуально отбирают топ-статьи из различных источников и удобно доставляют их пользователю. Фактически SmartNews выполняет роль автоматического редактора: просеивает огромный поток публикаций (в том числе локальные новости, блоги, нишевые издания) и собирает каждому читателю обновляемую подборку главных событий дня. Похожие идеи реализуются и в других проектах – например, платформа Newsadoo в Европе агрегирует новости с помощью ИИ и группирует их по событиям, сразу показывая несколько версий статьи об одном инфоповоде. В сфере медиаразведки (media intelligence) существуют системы вроде Event Registry, которые полностью посвящены отслеживанию мировых событий: они в реальном времени парсят тысячи новостных лент по всему миру, с помощью обработки естественного языка определяют, какие сообщения относятся к одному событию, и даже пытаются оценить его тон и влияние. Хотя такие системы чаще используются журналистами и аналитиками, сам факт их появления говорит о больших возможностях ИИ в обнаружении и ранжировании событий.В целом, ИИ-алгоритмы уже умеют выявлять “что важно” на основе колоссальных данных. Они ловят всплески обсуждений (в СМИ и соцсетях), определяют новости, которые быстро набирают популярность, и могут предупредить редакции или пользователей о “breaking news” (только что произошедших). Пользовательские агрегаторы вроде Google News и SmartNews внедряют эти технологии, чтобы читатели получали не только персональные, но и своевременные оповещения о ключевых мировых новостях.
Баланс между интересами и критически важными новостями
Проблема “пузыря фильтров”. Когда алгоритмы слишком узко подстраивают ленту под вкусы пользователя, возникает риск так называемого «информационного пузыря». Этот термин (filter bubble) ввёл интернет-активист Элай Паризер, описав ситуацию, когда человек видит только ту информацию, которая подтверждает его взгляды, а важные альтернативные мнения остаются за бортом. В новостях эффект пузыря особенно опасен: читатель может упускать события глобального значения или не получать критически важные новости, если они вне зоны его обычных интересов. Кроме того, замкнутая среда мнений усиливает поляризацию: лента показывает лишь то, с чем вы наверняка согласны, из-за чего взгляд на мир искажается. Современные агрегаторы осознают эту проблему и ищут способы балансировки между персонализацией и общественной значимостью контента.Алгоритмические решения. Несколько подходов внедрено на практике. Во-первых, как упоминалось, Google News умышленно оставляет в интерфейсе неперсонализированный блок главных новостей. Пользователь может сразу увидеть общенациональные и мировые топ-темы, даже если обычно он читает про спорт или технологии. Во-вторых, Google предлагает кнопку “Full Coverage”, которая позволяет выйти из пузыря одним нажатием – по конкретной теме показываются различные источники и точки зрения, а алгоритмический приоритет отменяется. Там же пользователь увидит хронологию развития события и даже посты из соцсетей, что даёт целостную картину. Таким образом, Google пытается сочетать индивидуальный подход (“Для вас”) с общим информационным полем.SmartNews пошёл другим путём: его концепция – “персонализированное открытие”. Приложение утверждает, что не хочет загонять читателя в пузырь, наоборот, старается постоянно подкидывать ему что-то новое. Раздел “For You” в SmartNews сочетает ваши интересы с совершенно новыми темами и трендами, которые алгоритм прогнозирует как потенциально интересные. Логика в том, что люди читают новости не только чтобы подтвердить знакомое, но и чтобы удивиться и узнать новое. SmartNews использует ИИ, чтобы предсказывать, что может заинтересовать пользователя дальше, даже если это вне его текущих увлечений. Благодаря этому в ленте появляются материалы, которые читатель сам бы не выбрал, но которые популярны у схожей аудитории и могут расширить его информационный кругозор. Дополнительно, как упомянуто выше, SmartNews ввёл “спектр новостей” – функцию, показывающую, как лево- и правополитические медиа освещают один сюжет. Этот «слайдер» мнений напрямую борется с пузырём, давая возможность взглянуть на новости под другим углом.Многообразие источников. Другие сервисы также экспериментируют с балансировкой. Платформа Newsadoo, к примеру, при персонализации по интересам всё равно показывает несколько версий одной новости из разных СМИ. Читая про событие, пользователь увидит рядом заголовки разных изданий – это напрямую разбивает монотонность и исключает одностороннее покрытие. Вещательная компания VRT (Фландрия) разработала рекомендательный алгоритм для своего новостного приложения, который сначала учитывает предпочтения, но затем постепенно расширяет спектр контента за счёт анализа метаданных. Алгоритм VRT старается аккуратно “подмешивать” в ленту материалы вне привычных вкусов, не перегружая, но понемногу разводя информационное меню пользователя. Цель – приучить аудиторию читать более разнообразные новости, выходя за рамки своих интересов, но делать это плавно, чтобы не потерять вовлечённость.
Роль человеческой модерации.
Отдельно стоит отметить редакционное вмешательство как способ балансировки. Apple News, как уже обсуждалось, доверяет редакторам отбор Top Stories для всех – по сути, люди-кураторы гарантируют, что утром все пользователи увидят подборку главных новостей, независимо от персональных настроек. Это включает в себя и потенциально неприятные, но важные темы. Например, если происходит глобальный кризис или чрезвычайное происшествие, Apple News вынесет его наверх для всех пользователей – даже тех, кто обычно такие темы избегает. Кроме Apple, подобный гибридный подход используют многие порталы: Yahoo! главную страницу наполняет редакция, MSN долгое время делал так же, а персональный контент размещался в отдельных виджетах. Такой баланс между алгоритмом и редактором призван сочетать два достоинства – масштаб и персонализация со стороны ИИ и общественная значимость и проверка со стороны человека.
В результате сегодня мы видим стремление агрегаторов обеспечить пользователю и то, что ему лично интересно, и то, что важно знать каждому гражданину. Полностью решить эту задачу непросто – нужно, чтобы алгоритм достаточно хорошо понимал, какие события имеют объективную важность. Тем не менее, комбинация методов (неперсональные блоки, режимы полноты обзора, разнообразие источников, ручной отбор) заметно улучшает ситуацию. При грамотном использовании таких функций читатель может одновременно наслаждаться контентом «для души» и не пропускать новости, которые определяют информационную картину дня.
Фильтрация информационного шума и манипуляций
Борьба с шумом. Информационный шум – это избыток нерелевантных или дублирующих сведений, мешающих увидеть суть. Персонализированные системы стараются минимизировать шум несколькими способами. Во-первых, почти все агрегаторы кластеризуют дубликаты статей: если десятки сайтов перепечатали одну и ту же новость, пользователь не увидит ее 50 раз, а получит один заголовок (с возможностью раскрыть другие источники при желании). Например, SmartNews агрегирует новости из разных изданий в одном интерфейсе, благодаря чему исключается необходимость переходить по множеству сайтов отдельно. Пользователь экономит время и не утопает в повторяющемся контенте – приложение само “собирает и склеивает” сходные новости. Во-вторых, умные алгоритмы пытаются отсеивать нерелевантное на этапе выбора: анализируют текст, тематику, даже тон публикации, чтобы определить, интересна ли она конкретному читателю. Шумом может считаться и несоответствие предпочтениям – например, если человеку неинтересен спорт, лента должна фильтровать спортивные статьи. Настройки и обратная связь помогают в этом: многие сервисы позволяют выбрать любимые темы/источники или, наоборот, скрыть нежелательные. В SmartNews, к примеру, пользователь может указывать доверенные источники и приоритетные темы, чтобы алгоритм фокусировался на них. По мере взаимодействия (чтения, скрытия, лайки) система «учится» все точнее отбирать релевантный и надежный контент.Еще одна тактика – ограничение потока. В отличие от соцсетей с бесконечной прокруткой, некоторые новостные приложения намеренно не перегружают ленту. Они могут выдавать определенное число статей в день (как делал, например, Yahoo News Digest) или формировать издания по расписанию (утренний и вечерний дайджест). Это предотвращает бесконтрольный поток сведений. Хотя такой подход менее популярен сейчас, элементы его появляются (как обсуждалось с Flipboard Storyboards – фиксированными подборками).
Противодействие дезинформации.
Манипуляции и фейковые новости – серьезный вызов для алгоритмических лент. С одной стороны, крупные агрегаторы стремятся работать только с авторитетными источниками. Google News, Apple News и др. имеют списки одобренных издателей; прежде чем неизвестный сайт попадет в выдачу, он проходит модерацию. Это отсеивает откровенно сомнительные ресурсы. С другой стороны, даже у признанных медиа бывают ошибки или предвзятость, а полностью исключить проникновение вирусных фейков трудно (особенно в соцсетях, где пользователи сами делятся новостями). Поэтому разрабатываются и автоматические фильтры. Например, Facebook внедрил алгоритмы для выявления явных фейков и кликбейта (анализа заголовков на типичные сенсационные шаблоны), понижения их в выдаче или маркировки. В новостных агрегаторах также используются метаданные: Google News помечает некоторые статьи как “Fact check” (проверка фактов) – эти метки присваиваются материалам, в которых содержится вывод независимой фактчекинговой организации. Если по громкой теме распространяются противоречивые сведения, Google News может показать карточку со сводкой от фактчекеров рядом с новостями, чтобы предупредить читателей. Кроме того, режимы множественных источников (вроде упомянутого Full Coverage или показа параллельно нескольких новостей на одну тему) сами по себе являются инструментом борьбы с манипуляциями. Когда читатель видит одновременно несколько интерпретаций события и сопоставляет их, сложнее утаить искаженную информацию. SmartNews, показывая новости “бок о бок” от разных изданий, поощряет аудиторию обращать внимание на расхождения и выявлять возможный уклон. Это снижает шанс, что фейк или пропагандистский нарратив останется незамеченным – другие источники дадут альтернативные факты.Тем не менее, эффективность этих мер не абсолютна. Алгоритмы не обладают истинным здравым смыслом и могут допускать курьезы. Уже упоминался случай, когда ИИ-редактор Microsoft перепутал фотографии в новости– такой визуальный фейл способен дезинформировать аудиторию (например, ошибочно идентифицировать человека на фото). Другой пример – сенсационность и пристрастность алгоритмов. Системы рекомендаций часто оптимизируются на метрику кликов и вовлеченности, что невольно поощряет “кричащий” контент. Исследование, сравнившее работу людей и машин в Apple News, показало, что алгоритм склонен выбирать более развлекательные и скандальные темы, чем редакторы. Меньшее разнообразие источников в автоматической выдаче тоже может быть формой информационной манипуляции – пользователь видит только ограниченный набор мнений. Эти ограничения признают и сами разработчики. Например, компания Twipe (занимается цифровыми новостными продуктами) отмечает, что пользователи ценят персонализацию, но опасаются предвзятости и изоляции во мнениях. Кроме того, многих волнуют приватность (что алгоритм знает о них слишком много) и прозрачность работы таких систем. Ведь если лента что-то скрыла, пользователь редко узнает об этом и не может проконтролировать или оспорить решение алгоритма.В итоге борьба с шумом и дезинформацией продолжается на нескольких фронтах: улучшение алгоритмических фильтров, привлечение независимых проверок, повышение разнообразия контента для самокоррекции, а также внедрение возможностей для пользователей влиять на выдачу (например, кнопки “Мне это не важно” или “Пожаловаться на новость”). Полностью автоматическое решение пока недостижимо, но сочетание технических и гуманитарных методов помогает сделать новостной поток более чистым и надёжным. Многие сервисы сегодня стремятся давать “полезную смесь” – с одной стороны, отфильтрованную от спама и фейков, с другой – достаточно широкую, чтобы человек сам мог сделать вывод, сравнив разные данные.
Технологии и исследования интеллектуальной фильтрации новостей
Анализ контента и профиля.
Персонализированная выдача новостей опирается на ряд ключевых технологий. Одно из центральных мест занимает контентная фильтрация: алгоритмы анализируют тексты статей с помощью NLP (обработки естественного языка), чтобы понять их тематику, ключевые сущности (персоны, организации, места) и даже тональность. На основе этого строятся профили интересов. Так, уже упомянутый сервис News360 применял семантический анализ и строил для каждого пользователя «граф интересов», отражающий его любимые темы. Схожие принципы используются и крупными компаниями – например, у Microsoft News и Google News есть модели, которые представляют интересы как набор тематических признаков или слов, полученных из ранее прочитанных статей. Другой распространенный метод – коллаборативная фильтрация, когда система смотрит не только на ваш личный профиль, но и на поведение похожих пользователей. Если люди со сходными интересами вдруг начали читать новую тему, возможно, и вам она будет интересна. Мы уже видели это на примере SmartNews, где явно говорится об учёте того, что читают «другие, похожие на вас»business.smartnews.com
. Большие данные о поведении множества пользователей позволяют рекомендательной системе делать такие перекрестные выводы.
Диверсификация и серендипность.
В академических исследованиях новостных рекомендаций много внимания уделяется проблеме разнообразия выдачи. Считается, что помимо точного соответствия интересам, лента должна включать контент, который расширяет кругозор и не дает скучать. В частности, повышение разнообразия напрямую предлагается как способ смягчить эффект фильтр-пузыря. Учёные ввели метрики для оценки разнообразия новостных рекомендаций – например, Intra-List Diversity (ILD), которая измеряет, насколько непохожи друг на друга статьи в предложенном списке. Если алгоритм слишком монотонен, ILD будет низкой. В ответ появились модели, учитывающие новизну (novelty) и серендипность. Одной из ранних систем была Newsjunkie, которая ранжировала новости для пользователя по принципу «насколько эта статья нова относительно уже прочитанного». То есть если вы весь день читали про экономику, Newsjunkie поднимала выше новости других тематик, чтобы разбавить информационное поле. Современные подходы интегрируют такие идеи в нейросетевые рекомендации: например, оценивают различие в эмоциональной тональности новостей или следят, чтобы в топ не попали все новости с одного источника. Диверсификация стала настолько важна, что её рассматривают как отдельную задачу при разработке новостных рекомендателей.
Обучение и модели ИИ.
За кулисами персональных лент работают сложные алгоритмы machine learning. Раньше это были в основном решающие деревья с множеством признаков или методы factorization (матричные разложения) для коллаборативной фильтрации. Сейчас доминируют нейросетевые модели, специально обученные на новостных данных. Крупные игроки (тот же Microsoft) публиковали научные работы о своих моделях: например, NPA (Neural News Recommendation) – нейросеть, учитывающая новостной заголовок, тело статьи и персональные интересы через механизмы внимания; или Wide & Deep модели, комбинирующие запоминание частых интересов и обобщение новых. В 2020 году был открыт датасет MIND (от Microsoft) – большой набор данных о том, какие новости читали миллионы пользователей MSN, с целью стимуляции исследований в этой области. Это позволило академическим группам разрабатывать и тестировать новые подходы. Среди интересных направлений – учёт временных факторов (modeling news sequence, поскольку интересы меняются день ото дня), учёт контекста (например, с какого устройства или в какое время суток потребляются новости, чтобы адаптировать формат), и даже попытки внедрять объяснимость. Последнее особенно важно: если алгоритм сможет объяснить, почему он рекомендует ту или иную статью, это повысит доверие пользователей. Пока что объяснимость достигается простыми средствами (например, подписью «потому что вы читали X»), но исследования ведутся и в сторону более интеллектуальных объяснений (например, выделять, что «эта новость упоминает ту же тему, что и вчерашняя вами прочитанная статья»).
Фильтрация фейков и качественных метрик.
Интересным суб-направлением является определение качества и достоверности новостей. Алгоритмы в будущем могут научиться автоматически различать качественную журналистику от поверхностной. Уже есть попытки учитывать репутацию источника, сложность изложения, наличие фактов vs мнений. Отдельно развивается детекция фейковых новостей с помощью ИИ: обучаются классификаторы, которые по тексту и метаданным стараются понять, является ли новость намеренной дезинформацией. Хотя полностью заменить человеческую фактчекинговую экспертизу сложно, такие модели могут служить фильтром первого уровня, помечая подозрительный контент для дальнейшей проверки. Также появляются концепции вроде “умных модераторов”, которые сидят поверх агрегатора и наблюдают за аномалиями (например, внезапно вирусная новость из неизвестного блога) – сигнализируя об этом человеку-редактору или автоматически уменьшая охват до выяснения обстоятельств.
Социальный контекст и персонализация. Новостная персонализация не ограничивается индивидуальными аппетитами – она вплетена в социальные процессы. Поэтому исследователи в области медиа обсуждают такие понятия, как поляризация, эхо-камеры (когда люди общаются только с единомышленниками и получают подтверждение своим взглядам), и влияние алгоритмов на общественное мнение. Некоторые работы даже проверяют, есть ли реально эффект пузыря. Отчёт Reuters Institute (2020) показал, что при обычном сценарии использования люди всё же получают достаточно разнообразия источников, и явного сильного пузыря персонализации они не обнаружили – скорее, пользователь сам склонен выбирать комфортные источники. Тем не менее, риск узости кругозора признаётся, и потому крупные новостные платформы продолжают вводить решения для контрольного впрыска разнообразия. На институциональном уровне идут дискуссии о «алгоритмической ответственности»: должны ли компании нести ответственность за деформацию информационной картины у пользователя, как измерять качество информационной диеты и т.п. Появляется даже термин “responsible recommendation” – подразумевающий этические принципы в дизайне таких алгоритмов (учёт общественного блага, избегание дискриминации, защита приватности и т.д.).Пробелы современных решений и перспективы развития
Несмотря на прогресс, в нынешних системах остаются существенные пробелы, которые открывают возможности для создания новой, улучшенной платформы персонализированных новостей:
Эффект пузыря и эхо-камеры. Полностью избавиться от фильтрационного пузыря пока не удалось. Даже с функциями вроде Full Coverage или политического слайдера, многие пользователи остаются в пределах комфортного им инфополя. Не каждый читатель будет нажимать специальные кнопки для разнообразия – зачастую люди пассивно потребляют, что дает лента. Поэтому новые решения могут глубже интегрировать разнообразие по умолчанию. Например, перспективно внедрять многокритериальные алгоритмы, которые оптимизируют не только персональную релевантность, но и “ценность” новости. Можно представить систему баллов важности: событие глобального масштаба получает высокий базовый вес, гарантирующий показ, даже если профиль пользователя и не совпадает. Некоторые эксперты предлагают дать самим пользователям инструменты контроля: например, ползунок персонализация–универсальность, где человек может настроить, хочет ли он более узкую или более широкую ленту. Пока таких интерфейсов почти нет, но их появление могло бы снизить проблему пузыря.
Качество и доверие к источникам. Сегодняшние агрегаторы в основном не объясняют, почему та или иная новость появилась у вас в ленте. Отсутствие прозрачности рождает недоверие и ощущение манипуляции. Новая система могла бы предложить прозрачный режим: например, при клике на новость показывать, какими факторами она выбрана («Популярно среди читателей в вашем городе», «Свежая статья по теме X, которой вы интересуетесь», «Важно: крупное событие дня» и т.п.). Также остается проблема фейков и пропаганды. Здесь можно улучшить фильтры, интегрировать больше сигналов. Перспективное направление – оценка надежности на лету: алгоритм вычисляет условный рейтинг доверия к статье, учитывая надежность источника, тональность (слишком эмоционально – подозрительно), совпадение с другими источниками и пр. Такой рейтинг мог бы сообщаться читателю (например, индикатором или предупреждением). К примеру, если новость подтверждена множеством независимых источников, система пометит ее как «верифицированная», а если информация сырая и исходит из одного соцсетевого поста – как «непроверенная». Пока подобное реализовано лишь фрагментарно (в виде меток фактчека), но дальнейшая автоматизация проверки фактов с ИИ – важный резерв.
Персонализация без перегибов. Современные алгоритмы в погоне за кликами иногда перегибают, зацикливаясь на одном типе контента (например, увидев интерес к скандальной хронике, могут заполнить ленту похожими историями). Пользователя это может быстро утомить или вызвать разочарование. Новый подход мог бы внедрить более человеческий такт: учитывать насыщение темой. Например, если за день вам показали уже 5 новостей про экономику, шестую стоит заменить чем-то другим – аналогично тому, как редактор газеты не станет печатать десять одинаковых статей. Здесь поможет и упомянутая концепция конечных изданий: подавать новости порциями, где каждая порция тщательно сбалансирована (как полоса в газете). Персонализация может происходить на уровне того, какие материалы войдут в эту порцию, но сама порция будет ограниченной и разнообразной. Такие эксперименты уже ведутся (JAMES, Flipboard и др.), и они перспективны для снижения информационного перенасыщения.
Учет индивидуальных ценностей и контекста. Текущие агрегаторы знают о наших кликах, но мало знают о нашем намерении или настроении. Перспективная система могла бы быть более контекстуальной: например, утром показывать сводку деловых новостей, а вечером – более развлекательный контент, исходя из предполагаемого настроения пользователя. Для этого ИИ может учитывать время суток, местоположение (на работе или дома), устройство (на смартфоне – короткие заметки, на планшете – лонгриды) и даже данные календаря (если у вас встреча с кем-то из финансовой отрасли, подсунуть последние финансовые новости для подготовки). Это ведет нас к идее умного новостного ассистента, который интегрирован в повседневную жизнь. Уже есть зачатки – голосовые помощники (Siri, Alexa) умеют зачитывать новости, но их персонализация примитивна. В будущем можно ожидать диалоговые системы, где вы можете спросить: «Что нового в науке?» – и получить сгенерированную ИИ сводку, релевантную вашим интересам, а затем уточнить «А что по моему городу?» и так далее. Это качественно новый уровень персонализации – по запросу и под ситуацию, а не только заранее спрогнозированные рекомендации.
Приватность и контроль данных. Наконец, важный пробел – доверие пользователей в плане конфиденциальности. Алгоритмы персонализации питаются данными о нас, и не всем это приятно. Новое решение могло бы привлекать аудиторию за счет приватности по дизайну: хранить профили локально на устройстве (как вариант, использовать технику federated learning, когда общая модель обучается без выгрузки личных данных на сервер). Или, как минимум, давать пользователю просмотреть и отредактировать свой «профиль интересов», который система про него составила. Это убьет двух зайцев: и прозрачность повысится (человек видит, что о нем «думает» ИИ, и может скорректировать), и лишних страхов не будет. В настоящее время мало кто из агрегаторов предоставляет такую возможность – это явный резерв для новых продуктов.
Перспективы развития. Вектор прогресса в области персонализированных новостей очевиден: системы будут становиться умнее, гибче и ответственнее. С возрастанием вычислительных мощностей и успехами AI мы увидим всё более тонкое понимание контента – вплоть до автоматического резюмирования новостей (чтобы в ленте показывался краткий тезис, а детально – по клику) и сквозного связывания сюжетов (например, ИИ будет напоминать, что это продолжение истории, о которой вы читали на прошлой неделе, обеспечивая контекст). Также вероятна интеграция мультимедиа: персонализация видео-новостей, подкастов по интересам. Уже сейчас YouTube и другие платформы рекомендуют новостные ролики по похожим алгоритмам.
Отдельно стоит ожидать усовершенствований в балансировке и достоверности. Давление общества и регуляторов (в свете проблем фейкньюс и поляризации) мотивирует компании делать алгоритмы более нейтральными и полезными для общества. Возможно, появятся этические рамки или независимые аудиты персонализированных лент, чтобы исключить злоупотребления (например, скрытую политическую цензуру или дискриминацию интересов меньшинств). Технологически это может реализоваться через добавление в модель целей по диверсификации и метрик “качества диеты”. Например, ИИ будет пытаться за неделю показать пользователю определенную норму разнообразия источников и тем, своего рода «информационную пирамиду питания».
Подводя итог, интеллектуальные новостные агрегаторы уже сейчас значительно облегчают нам жизнь, отфильтровывая тонны информации и подстраивая новости под наши интересы. Однако путь к идеально сбалансированной и надежной системе ещё не закончен. Необходимо и дальше совершенствовать алгоритмы, сочетать их с лучшими практиками журналистики и обеспечивать читателям как персональный, так и всеобъемлющий взгляд на мир. Технологии ИИ в этой области развиваются стремительно, и при критичном подходе и инновациях у нас есть шанс получить новостные сервисы, которые будут одновременно и увлекательными, и познавательными, и общественно значимымиtwipemobile.com
. Такой осознанный подход к персонализации позволит людям оставаться хорошо информированными, не тонуть в информационном шуме и не попадать в ловушки алгоритмов, а напротив – использовать их себе во благо.
Источники:
Cool-Fergus, S. Are Personalised News Aggregators Enhancing Our World or Echoing Our Biases? – Twipe (2024)
twipemobile.com
twipemobile.com
SmartNews Blog. “For You” – a smarter way to discover news (2017)
business.smartnews.com
business.smartnews.com
business.smartnews.com
Thenextweb. Google News has a new feature that may just pop your filter bubble (2018)
thenextweb.com
thenextweb.com
thenextweb.com
Seroundtable. Google: Our Personalized Results Do Not Create Filter Bubbles (2018)
seroundtable.com
Twipe (Case Studies). SmartNews, Newsadoo, VRT… (2024)
twipemobile.com
twipemobile.com
twipemobile.com
Twipe (Case Studies). Flipboard and JAMES… (2024)
twipemobile.com
twipemobile.com
Artsyltech. AI-Driven Insights: How SmartNews Top Stories are Reshaped (2023)
artsyltech.com
artsyltech.com
Artsyltech. SmartNews – Minimizing Bias (2023)
artsyltech.com
artsyltech.com
Wikipedia. News360 – personalized news app (2010–2022)
en.wikipedia.org
The Guardian. Apple News algorithms pick more celeb stories than human editors, study finds (2020)
ojs.aaai.org
Wu et al. Personalized News Recommendation: Methods and Challenges – ACM Computing Surveys (2021)
arxiv.org
arxiv.org