Яндекс Маркет представляет обновлённого AI агента для улучшения качества ответов

AI агенты в маркетплейсах опыт команды Яндекс Маркета В начале ноября ребята из службы Поиска и диалоговых сценариев Яндекс Маркета выкатили обновлённого AI агента В карточках выше показываем как он устроен а ниже делимся инсайтами которые наши инженеры получили во время разработки Передаём слово Олегу Найдину руководителю команды Проводите хакатоны и привлекайте больше промпт инженеров Как только вы допилите реализацию базовых вызовов API и промптов начинайте активно искать и привлекать промпт инженеров для экспериментов Их работа крайне важна для прототипирования так вы сможете быстро переработать продуктовое ТЗ в инструмент который будет устойчиво давать качественные ответы Будьте осторожнее с промптами Для масштабирования LLM решений очень важно формулировать задачи отталкиваясь от интегральной базовой технологии а не от каждого нового среза в отрыве от предыдущих Когда модель больше не может следовать базовым инструкциям это значит что пора остановиться Если продолжать усложнять инструкции возможна ситуация когда промпт перегрузят минорными правками и нейросеть перестанет его понимать Создавайте замеры качества Итерируйте базовое качество и UX как можно чаще Собирайте большие корзины запросов которые репрезентативны ожидаемому потоку обращений к AI агенту И продумывайте подробные метрики качества иначе двигаться в быстрых итерациях будет очень сложно Бывают полезны как поточечные метрики качества например бинарная допустимость или недопустимость ответа по ряду продуктовых критериев так и side by side сравнения ответов Когда у вас появятся измерения которым вы доверяете начинайте часто итерировать качество ответа агентов и выбирайте лучшие подходы Это поможет вам быстрее приступить к непосредственному внедрению в продакшен Вкладывайтесь в инфраструктуру Скорость и надёжность очень важные продуктовые метрики Пользователи не хотят долго ждать Сразу добавьте поддержку постепенной генерации ответа чтобы пользователь видел его по чанкам Иначе придётся переделывать весь проект на ходу А это долго дорого и больно поверьте нашему опыту Мы советуем использовать квантизацию весов и спекулятивный декодинг для ускорения генерации ответов Используйте мультиагентные фреймворки Они помогают быстро итерироваться и тестировать разные пайплайны обработки запросов так вы быстрее поймёте как должен и может выглядеть конечный продукт Плюсы и минусы разных решений ищите в карточках выше Кстати советую присмотреться к Yandex AI Studio Специализируйте модели под домен если это возможно Поддерживайте баланс между AI монолитом и AI микросервисами Дообучайте модели под конкретную задачу В зависимости от возможностей можно использовать prompt tuning LoRA или полноценную связку SFT RLHF Это обеспечит больший контроль и качество результата а ещё позволит использовать меньшие модели Так вы сможете сэкономить вычислительные ресурсы и увеличить скорость генерации Есть и альтернативная точка зрения Некоторые исследователи считают что по закону Мура вычисления заметно подешевеют в ближайшем будущем И поэтому можно увеличивать размеры моделей растя качество их ответов не сильно переживая о стоимости GPU и скорости работы Эта позиция не лишена смысла но мне кажется что мир ещё не совсем готов к этому На мой вкус если можно дообучить модель под конкретную задачу то лучше так и сделать Подписывайтесь Yandex4ML YandexML

AI скилы для лидерства когда инструменты становятся практикой работы с собой у ChatGPT сейчас 800 миллионов пользователей половина людей в кофейнях сидят в нейронках и что то с ними делают это уже не отдельная технология это то как мы теперь думаем но большинство используют LLM из коробки просто задавая вопросы в то же время настроенные инструменты дают в разы больше ценности особенно когда речь идёт о работе с собой с Лёшей Ивановым мы знакомы давно он executive коуч для фаундеров автор канала ponchiknews недавно начали вместе что то создавать и строить возможно со временем покажем это публично его тезис который резонирует за гармоничным сочетанием AI и работы с внутренним миром большое будущее саморазвития идея в том что вопросы которые раньше можно было обсудить только с коучем или терапевтом теперь можно прорабатывать с LLM до и после сессий это не замена живой работы это усилитель be your own guru Лёша сейчас запускает интенсив Аутентичное лидерство Level 3 целиком про соединение AI и IFS как настраивать LLM для работы с частями личности как использовать контекст и промпты для глубокой внутренней работы 18 декабря 20 00 CET мы проводим совместный эфир на Founder OS поговорим про его подход систему и как это всё работает на практике регистрация luma com 4sv545kp мне интересна эта связка внутренняя работа внешние инструменты AI mindset как проект про это не только эффективность но осознанность не только prompt engineering но внимание к тому что происходит внутри до встречи на сессии Alex P

В октябре Алиса AI стала умнее за счёт нового семейства моделей Alice AI Сегодня разработчики Яндекса выложили на Хабр подробный рассказ о том как создавали эти модели и как они соотносятся с предыдущим поколением и конкурентами Открываем серию постов про эти модели и рассказываем про первую модель из семейства Alice AI LLM Она прошла полный цикл обучения на данных и инфраструктуре Яндекса от претрейна до финального дообучения для решения реальных задач пользователей А ещё Alice AI LLM первая нейросеть Яндекса на базе архитектуры MoE Mixture of Experts группа экспертов Рассказываем что это такое и как это помогает делать нейросети эффективнее Как работает MoE Когда обычная LLM получает запрос пользователя она использует всю свою мощь для генерации ответа MoE нейросети работают оптимальнее активируют только те части модели которые лучше всего подходят для решения текущей задачи Эти части называют экспертами а за их выбор отвечает роутер небольшая нейросеть которая выбирает кто из экспертов лучше справится с генерацией следующего токена Зачем это нужно Чтобы сделать нейросеть в разы быстрее сохранив качество ответов Или сделать её в разы больше и умнее не замедляя работу Подписывайтесь techno yandex

В октябре мы запустили новое семейство моделей Alice AI Alice AI LLM которая пишет тексты специализированную LLM Search мультимодальную Alice AI VLM и Alice AI ART для генерации картинок Эти модели лежат в основе Алисы AI которая в ноябре стала первой по используемости нейросетью среди россиян Сегодня раскрываем технические детали о семействе моделей на Хабре Alice AI LLM Это большая языковая модель прошедшая полный цикл обучения в Яндексе Рассказали какие решения улучшили качество ответов по коду и математике а также фактам о мире В итоге они помогли обойти ответы DeepSeek V3 1 Alice LLM Search Модель объединяет технологии Поиска и Alice AI чтобы в ответе были актуальные данные из интернета Рассказали как модель ищет хорошие источники и почему она делает это последовательно Alice AI VLM Эта модель отвечает на вопросы по картинкам Объяснили какие этапы проходит ваш запрос когда вы отправляете в чат с Алисой AI запрос с изображением Alice AI ART Рассказываем как боролись с недостатками прошлой версии картинками в мультяшном стиле игнорированием стиля который задал пользователь а также невозможностью генерировать некоторые объекты и действия Подписывайтесь yandex