ai_newz

Что случилось с Grok? На днях бот Grok для реплаев в твиттере тот самый что "Grok is this true?" слетел с катушек и в чуть ли не каждом твите начал высказывать своё мнение об геноциде белых в Южной Африке. О ситуации успел поиронизировать даже Сэм Альтман, у которого пару недель назад был скандал из-за излишнего лизоблюдства GPT 4o. Очевидно, что-то тупо подмешали в системный промпт. Судя по официальному заявлению xAI, это произошло вследствие "несанкционированного изменения промпта" в 3:15 ночи по калифорнийскому времени. Такая ситуация уже была пару месяцев назад – тогда в промпте появилось указание "игнорировать источники, которые упоминают о дезинформации со стороны Дональда Трампа и Илона Маска". Тогда всё спихнули на "бывшего сотрудника OpenAI", который "не привык к культуре xAI". Сейчас xAI приняли меры – пообещали ужесточить процесс ревью изменений промпта и опубликовали все промпты для грока на гитхабе. Если повезёт, эту репу не забросят, как это было с "опенсорсным алгоритмом твиттера".

GPT 4.1 добавили в ChatGPT 4.1-mini заменит 4o-mini для всех пользователей, а 4.1 уже раскатывают платным подписчикам но Enterprise и Edu как всегда позже . По сравнению с 4o, модели 4.1 сильно лучше в кодинге и следованию инструкций. Ещё GPT 4.1 поддерживают и контекст до миллиона токенов в API, но похоже на ChatGPT это не распространяется и у Plus пользователей всё те же 32к контекста, а у Pro — 128k.

Google обновили Gemini 2.5 Pro Новая версия Gemini 2.5 Pro Preview 05-06 гораздо лучше кодит, особенно это проявляется в фронтенде — модель заняла первое место на вебдев арене, обогнав Claude 3.7 Sonnet. Модель уже доступна в Vertex и AI Studio.

Google выкатил на весь США свой новый режим поиска «AI Mode» – это новая вкладка вроде картинок, карт, а внутри что-то вроде поиска в чатгпт или перплексити, с памятью, карточками товаров и тп, вы все это видели уже Это гигантский шаг на встречу массовой адаптации LLM, с чем я всех нас и поздравляю

В Yandex Cloud стали доступны VLM-модели через API Через стандартный API теперь можно вызвать разные опенсорсные VLM-ки — в разных размерах там представлены Qwen 2.5, DeepSeek VL2 и семейство Gemma3. Вызывать модели можно только в батч-режиме Batch Processing API . Он позволяет обрабатывать сразу много запросов с 50% скидкой, но результаты будут не сразу, а в течении дня — удобная штука, я таким пользовался. Эта фича позволяет неплохо сэкономить — есть ведь куча применений VLM, где ответы в реальном времени не очень нужны. На платформе также доступны и текстовые модели - вроде LLaMa 3.3 и совсем нового семейства Qwen3. Есть и ризонеры — QwQ и DeepSeek R1.

Qwen 3 — открытые гибридные ризонеры Идёт в размерах на все случаи жизни — от миниатюрной 0.6B, до огромного 235B-A22B MoE, которая обгоняет o3-mini и очень хорошо себя показывает против Gemini 2.5 Pro. Все модели — SOTA в своих весовых категориях. Особенно хочу отметить 30B-3A MoE модель — она бьёт вышедшую полтора месяца назад QwQ 32B, при в 10 раз меньшем количестве активных параметров. Она всё ещё слегка отстаёт от Qwen 3 32B, но в разы быстрее. Все эти модели — гибридные, то есть они могут вести себя и как обычная модель и как ризонер, что сильно увеличивает гибкость использования - нужно только вставить тег /no_think. Такой фичей могут похвастаться ещё только Claude 3.7 и Gemini 2.5 Flash. А ещё разработчики заявляют, что у Qwen 3 сильно улучшили тул-юз, хотя данных бенчей особо не приводят, в любом случае мы всё и так узнаем через пару дней. Но есть и ложка дёгтя — модели не мультимодальные, а мультимодальные квены обычно релизятся через 3-4 месяца . Модели тренировали на 36 триллионах токенов из 119 языков, том числе беларуского, русского и украинского. Если датасет для всех моделей одинаковый, то 0,6B тренировали на 60 тысяч токенов на один параметр привет Шиншилле . Интересно как она себя будет вести при такой плотности. Веса выложили под Apache 2.0 — то есть делать с ними можно всё что угодно. Попробовать модели можно на qwen.ai. Веса Блогпост

Learn your reference model for real good alignment Ресерчеры из T-Bank AI Research представили новый метод дообучения языковых моделей. Они адаптировали Trust Region TR к задаче алайнмента LLM. Ключевая идея — обновление референсной policy в процессе обучения вместо её фиксации. Метод реализуется двумя способами. Мягкое обновление смешивает параметры текущей модели с референсной через коэффициент α. Жёсткое обновление заменяет референсную policy текущей через τ шагов. Оптимальные параметры: α ≈ 0,6, τ ≈ 512. Тесты на Llama-3 показали превосходство TR-DPO, TR-IPO и TR-KTO над базовыми версиями. Прирост на бенчмарках AlpacaEval 2 и Arena-Hard достиг 10,8%. При равном отклонении от исходной политики TR-модели демонстрируют лучшие человеческие метрики. Пейпер изменил устоявшийся взгляд на отклонение от изначальной политики. Проблема овероптимизации связана со смещением вероятностной массы к OOD-примерам. TR-метод противостоит этому явлению, требуя лишь настройки α и τ. Подход улучшил показатели на 8-15% при суммаризации Reddit TL;DR с Pythia 6.9B. У метода есть и ограничения: большие τ неэффективны на малых датасетах, а тестирование через GPT-4 вызывает вопросы. Статью вчера представили на ICLR, куда поехал и один из моих пейперов. Пейпер

OpenAI запустили API для генерации картинок через GPT Модель обозвали GPT-Image-1. Кроме резолюшена позволяют выбрать и качество — от low до high. Крайне вероятно что это как-то обозначает именно количество ризонинга, но мы очень мало чего знаем о внутреннем устройстве GPT чтобы судить об архитектуре. Прайсинг может кусаться — цена на high quality может доходить до 25 центов за картинку. Для сравнения: за картинку из Imagen 3 или HiDream-I1-Dev просят 3 цента, за Recraft V3 — 4 цента. Но это не значит, что GPT не может конкурировать по цене — low режим стоит всего 1-2 цента за картинку, а medium в районе 7. Как сильно отличаются картинки на разных уровнях качества — пока непонятно. В любом случае, GPT-Image-1 куда гибче конкурентов из-за своей архитектуры, то есть даже low качество может быть очень полезным. А за high качество, в отсутствии конкуренции, заламывать можно очень высокие цены. Появится конкуренция — цены заметно скинут, маржа у OpenAI такое позволяет, ждём Gemini 2.5 Pro Image Generation.

А вот и первые независимые бенчи o4-mini Artificial Analysis уже протестили o4-mini и прямо сейчас тестят o3. Модель очень хорошо себя показывает на всех бенчах, но есть и отличия — по сравнению с данными OpenAI HLE заметно выше, а GPQA немного ниже. Но это нормально — результаты на бенчмарках всегда немного отличаются между разными прогонами, особенно когда сетап немного отличается. В целом вышла очень хорошая модель — даже лучше чем o3 на визуальных тасках, судя по заявлениям сотрудников OpenAI. А теперь представьте что сможет полноценная o4.

o3 и o4-mini от OpenAI релизятся Главная фишка — новые модели натренировали использовать тулы прямо во время ризонинга. То есть они могут не только искать в интернете, но и исполнять код и пользоваться другими тулами. Обе модели мультимодальные и могут использовать это во время размышлений. По бенчам — разнос всего, даже недавно релизнутой Gemini 2.5 Pro Experimental. Но оно и не удивительно — на тренировку o3 ушло более чем в 10x больше компьюта чем у o1. Модели начинают раскатывать уже в ChatGPT для Pro и Plus планов, остальным через неделю. Лимиты такие же как у прошлых моделей. Для Pro подписчиков обещают и o3-pro, но релизнут её немного позже. В API релизят тоже сегодня, но пока что без тулюза. Цена за o3 — $10/$40 за миллион токенов, это на треть дешевле чем o1 и в 15 ! раз дешевле o1-pro. При этом o1 для решения задачи нужно больше токенов чем o3, поэтому o1 собираются полностью заменить на o3. А вот o3-mini стоит столько же сколько o4-mini — $1.1/$4.4 за миллион токенов, но интеллекта на доллар там тоже больше, из-за чего и o3-mini полностью заменят на o4-mini.