оригинал : https://www.youtube.com/watch?v=fja4k8YBhn0&t
Кто такая Ольга Мегорская и как появилась Toloka
Ольга Мегорская начала карьеру в 18 лет как асессор в Яндексе — оценивала релевантность поисковой выдачи. Это было после тяжёлой травмы: она была полностью парализована, заново училась ходить и долго не могла выходить из дома. Работа из дома в Яндексе стала для неё «спасением» и окном в мир.
Из внутреннего инструмента Яндекса для разметки данных (data labeling) вырос полноценный продукт. Toloka запустили в 2014 году как краудсорсинговую платформу. После раздела Яндекса (Nebius Group Аркадия Воложа) Toloka стала независимой компанией в составе международной части экосистемы. Штаб-квартира — в Амстердаме. Компания привлекла более $70 млн инвестиций (включая раунд, где лидировал Bezos Expeditions Джеффа Безоса). Среди клиентов — Microsoft, Anthropic и другие лидеры AI.
Ольга подчёркивает: Toloka — это не просто «разметка картинок», а инфраструктура human-in-the-loop для обучения и оценки самых продвинутых моделей.
Что такое Toloka и чем она занимается
Toloka — платформа для сбора, разметки (annotation/labeling) и создания высококачественных human data (человеческих данных) для обучения, fine-tuning, оценки и обеспечения безопасности ИИ-моделей.Основная ценность — в том, что современный AI всё ещё крайне зависит от людей. Синтетические данные (генерируемые самими моделями) помогают на ранних этапах, но для прорыва нужны нюансированные, экспертные человеческие суждения, которых модели пока не могут воспроизвести сами.
Ключевые направления работы Toloka сегодня:
Data annotation и labeling — разметка текста, изображений, видео, аудио, мультимодальных данных.Создание кастомных датасетов с нуля (не просто разметка существующего, а генерация новых примеров, диалогов, сценариев).Evaluation моделей — проверка качества ответов LLM, фактчекинг, выявление галлюцинаций.RLHF (Reinforcement Learning from Human Feedback) и instruction tuning.Red-teaming и safety — тестирование моделей на опасные сценарии, обход защит.Данные для AI-агентов — обучение практическим навыкам (работа с почтой, файлами, Excel, календарями, multi-step задачи).Экспертные задачи в 90+ доменах (финансы, медицина, юриспруденция, физика, математика, coding и т.д.).Toloka работает как двухсторонняя платформа:
Заказчики (AI-команды) — размещают задачи, получают готовые датасеты или оценки.Исполнители (Tolokers) — обычные люди и эксперты (от студентов до PhD и бывших сотрудников McKinsey), которые выполняют задачи за деньги. Есть self-service платформа и managed services.
Как работает Toloka: от простых задач к сложным экспертным
Раньше (10 лет назад, эпоха «детского» AI) задачи были элементарными: «это кошка или собака?», «релевантен ли этот результат поиска?», «правильно ли распознаётся светофор?». Их мог решить любой честный человек за 30 секунд. Использовался классический краудсорсинг + majority vote (голос большинства) для контроля качества.
Сейчас всё изменилось:
Модели выросли до «университетского» уровня → нужны эксперты (часто PhD или специалисты с опытом в узкой области).Задачи усложнились: могут занимать часы или дни. Пример — фактчекинг: модель путает латинские названия бабочек, выдаёт неверные факты; эксперт проверяет.Для агентов нужны «миры» (structured environments) и длинные горизонты планирования.Toloka использует гибридный подход:Автоматизация: LLM помогает декомпозировать задачи, проверять шаги (LLM QA — always-on quality assurance), фильтровать низкокачественные ответы.Человеческий контур: эксперты дают «золотой сигнал» — нюансы, этику, креатив, проверку реальности.Математические модели управления: Toloka разработала свои алгоритмы, учитывающие не только точность, но и «параметр лени» (laziness parameter), чтобы агрегировать ответы с весами. Качество измеряется статистически, а не просто majority vote.Процесс типичной задачи:
Заказчик описывает требования (AI Assistant помогает сформулировать).Задача разбивается на шаги.Исполнители проходят обучение/тест.Выполнение + параллельная проверка (автоматическая + экспертная).Агрегация результатов с учётом надёжности исполнителя.
Платформа поддерживает текст, изображения, видео, аудио, структурированные данные. Нет минимальных заказов, можно запускать быстро.
Какие задачи решает Toloka (примеры из интервью и практики)
Для базовых моделей — улучшение понимания языка, мультимодальности, снижение галлюцинаций.Для агентов — создание реалистичных сценариев (например, поддержка клиента в доставке еды, работа инвестиционного банкира с финансовыми данными).Safety и red-teaming — поиск уязвимостей (как агент может навредить, обойти запреты).Оценка генеративного AI — pairwise comparison ответов, рубрики для качества.Сложные домены — эксперты с опытом McKinsey приходят размечать данные за ~$100/час не только ради денег, но и потому что «на кончиках пальцев чувствуешь прогресс» модели.Ольга отмечает: раньше AI развивался на простых данных от массового крауда. Теперь — на данных от высококвалифицированных специалистов. Это делает Toloka одним из игроков «первых рядов» в гонке human data для frontier AI.
Бизнес-модель и масштабы
Основной доход — от продажи данных/услуг крупным AI-командам.Есть self-service платформа для быстрых экспериментов и managed-сервисы.Глобальная аудитория: исполнители из 100+ стран, 40+ языков.После 2022 года компания вышла из российского бизнеса (процесс описан как «ужас, ужас»), релоцировала сотрудников и перестроила экспертизу на международных экспертах.Инвестиции тратятся на развитие платформы, автоматизацию качества, привлечение экспертов и расширение в сторону «Tandem AI» (гибрид человек + AI для произвольных сложных задач).
Почему AI всё ещё не может без людей (основная мысль Ольги)
Синтетика хороша для объёма и скорости, но не даёт новых сигналов и часто наследует ошибки.Человеческие данные нужны для оценки качества моделей, создания «правильных» примеров поведения, этики и долгосрочного планирования.Даже самые мощные модели требуют human feedback для alignment и safety.Ольга скептически относится к идее скорого суперинтеллекта: «это больше вера, чем наука». Человек остаётся в контуре надолго.Она сравнивает AI с развитием ребёнка: от детского уровня → школьного → университетского → практикующего специалиста (агенты). На каждом этапе данные усложняются.
Другие яркие моменты интервью
Питч Джеффу Безосу: подготовка «6-страничного» документа (стиль Amazon), фокус на том, почему human data — bottleneck для всей индустрии.Выходцы из Яндекса в мировом AI знают друг друга — сильная сеть.Этика: Toloka отказывается от сомнительных заказов (KYC, самоотчёт исполнителей), но чёткой границы «во благо / во вред» нет (аналогия с атомной энергией).Личное: как совмещать роль CEO с воспитанием двоих детей.
Итог: роль Toloka в экосистеме AI
Toloka решает фундаментальную проблему — качество и масштабируемость human data в эпоху, когда модели стали слишком сложными для чистой автоматизации. Она эволюционировала от простого краудсорсинга Яндекса к платформе экспертного уровня, которая помогает Anthropic, Microsoft и другим строить безопасные и полезные агенты и модели.Компания находится «в первых рядах» гонки: пока другие фокусируются на compute и архитектурах, Toloka обеспечивает «топливо» — данные, без которых прогресс останавливается.Если коротко: Toloka — это невидимая, но критически важная инфраструктура под капотом современного AI. Без таких компаний ChatGPT-подобные системы не стали бы теми, кем они являются сегодня, и не смогут эволюционировать дальше.
