alexkrol

Почему языковые модели галлюцинируют OpenAI опубликовали исследование о причинах галлюцинации LLM Галлюцинации это не мистический сбой в сознании ИИ а вполне предсказуемый побочный эффект его обучения Представьте что перед моделью стоит задача бинарной классификации определить является ли предложенное утверждение корректным или нет Математическая выкладка в исследовании проста уровень ошибок генерации как минимум в 2 раза превышает уровень ошибок классификации Если модель не способна надежно отличить факт от вымысла она неизбежно будет этот вымысел генерировать Все начинается еще на претрейне Даже на идеально чистых данных статистические цели обучения подталкивают модель к генерации ошибок Особенно это касается фактов которые редко встречаются в обучающей выборке В работе вводится понятие singleton rate доля фактов которые появились в данных лишь один раз Теоретический расклад показывает что уровень галлюцинаций модели будет как минимум равен этой доле Проще говоря если 20 фактов о днях рождения в датасете встретились единожды модель будет выдумывать дни рождения как минимум в 20 случаев Эксперименты это подтверждают Модель DeepSeek V3 на просьбу назвать день рождения одного из авторов статьи трижды выдала неверные даты 03 07 15 06 и 01 01 Ни одна из них не была даже близка к правильной осенью В другом тесте где нужно было сосчитать количество букв D в слове DEEPSEEK та же DeepSeek V3 выдавала 2 или 3 а модели компании Марка Цукерберга и Claude 3 7 Sonnet доходили до 6 и 7 При этом базовые модели после претрейна часто показывают отличную калибровку Например у предобученной GPT 4 ожидаемая ошибка калибровки составляла всего 0 007 что говорит о высокой статистической адекватности ее предсказаний Кто бы сомневался Почему галлюцинации не исчезают после пост тренинга и RLHF Ответ на этот вопрос в системе оценки Большинство современных бенчмарков поощряют угадывание Модели по сути постоянно находятся в режиме сдачи экзамена где за правильный ответ дают 1 балл а за пустой бланк или ответ я не знаю 0 В такой системе оптимальная стратегия при неуверенности только угадать Любой шанс на правильный ответ лучше чем гарантированный ноль Эту гипотезу подтвердили анализом популярных оценочных наборов В GPQA MMLU Pro Omni MATH SWE bench и HLE используется строго бинарная система оценки правильно неправильно Возможности получить частичный балл за честное признание в незнании там просто нет Из 10 рассмотренных в исследовании популярных бенчмарков только один WildBench присуждает частичные баллы за ответы формата я не знаю Остальные же фактически наказывают модель за отказ галлюцинировать создавая эпидемию штрафов за неуверенность и поощряя ее выдавать правдоподобную ложь Что делать инженерам OpenAI предлагает встраивать явные целевые уровни уверенности в рубрики вводить поведенческую калибровку и оценивать модели по секциям с разными порогами уверенности Еще рекомендуют включают мониторинг singleton rate на корпусе измерение вероятности важных ответов комбинирование RAG с верификацией фактов и изменение лидербордов чтобы ответы я не знаю не штрафовались автоматически Читать статью полностью ai machinelearning big data AI ML LLM Research OpenAI

Функция Проекты Projects теперь доступна не только по подписке но и для бесплатных пользователей ChatGPT Проекты работают как цифровые рабочие пространства где можно объединять чаты справочные файлы и пользовательские инструкции связанные с одной долгосрочной задачей Основная фишка Проектов встроенная память ChatGPT запоминает контекст всех разговоров и документов в рамках конкретного проекта Вместе с этим OpenAI увеличила лимиты на загрузку файлов до 5 для бесплатных аккаунтов Plus до 25 а Pro до 40 добавила элементы управления памятью для каждого проекта и возможность их кастомизации Обновление уже доступно в веб версии и в приложении для Android релиз для iOS ожидается в ближайшее время OpenAI в сети X

в догонку Китайские робототехнические компании доминировали на IFA 2025 в Берлине представив передовые роботы уборщики и решения на базе ИИ демонстрируя растущее лидерство Китая в потребительской робототехнике xLean Robotics стартап из T Stone Robotics Institute при CUHK показал TR1 трансформируемый робот уборщик который за секунду меняется из автономного пылесоса в ручное устройство благодаря электрозамку TR1 оснащён технологией Dual Motor DirectSuction и системой Self Evolving Intelligence обучающейся на основе Reinforcement Learning from Human Feedback робот перенимает привычки уборки у людей и адаптируется Roborock Dreame и EcoVax представили новые модели роботов пылесосов включая варианты со способностью подниматься по лестницам ориентированные на западные дома Samsung и LG ответили конкуренции делая акцент на безопасности и дизайне Samsung продвигает Knox Matrix блокчейн система защиты LG разрабатывает компактные модели для корейских квартир Зачем это важно Доминирование Китая на крупнейшей европейской выставке электроники означает серьёзный сдвиг в глобальном технолидерстве Китайские компании вытесняют западные бренды и ускоряют интеграцию ИИ в домашнюю автоматизацию для миллионов потребителей по всему миру Скоро до сантехников и ремонтников дойдут И быстро Вот давеча у нас компрессор на холодильнике умер Замена только работа 800

Агентные AI платформы меняют корпоративные технологии выходя за рамки традиционной автоматизации и создавая системы способные к автономному принятию решений и выполнению сложных задач без участия человека Крупные игроки Microsoft с обновлённым Copilot и Salesforce с Agentforce уже внедряют корпоративные решения которые выполняют многошаговые процессы и координируют работу между бизнес системами Первые пользователи отмечают рост продуктивности на 25 40 в сфере интеллектуального труда и сокращение затрат на 20 35 PayPal например блокирует 500 млн мошенничества ежеквартально анализируя по 500 параметров на каждую транзакцию По прогнозу Gartner к 2029 году агентные AI будут автономно решать до 80 типичных задач клиентской поддержки что снизит операционные расходы на 30 К 2030 году рынок автономных агентов может достичь 52 6 млрд Несмотря на быстрый рост пилотных внедрений с 37 в Q4 2024 до 65 в Q1 2025 полноценное использование в корпорациях остаётся на уровне 11 из за сложностей интеграции и проблем безопасности Почему это важно Речь идёт о фундаментальном переходе к по настоящему автономным бизнес процессам Агентные AI обещают рекордные показатели эффективности но успех компаний будет зависеть от того насколько они смогут преодолеть барьеры интеграции и защиты данных определяя конкурентные преимущества в новой AI экономике

OpenAI объявила о запуске к середине 2026 года собственной AI платформы для найма под названием OpenAI Jobs Platform которая напрямую бросает вызов LinkedIn на рынке профессионального нетворкинга и рекрутинга Платформа будет использовать искусственный интеллект для подбора работодателей и кандидатов с навыками в области ИИ включая отдельное направление для малого бизнеса и муниципалитетов ищущих AI таланты В конце 2025 года OpenAI запустит пилотную программу сертификации через OpenAI Academy сотрудничая с Walmart и другими крупными работодателями для оценки уровня владения ИИ у работников Компания ставит цель сертифицировать 10 миллионов американцев к 2030 году чтобы ответить на опасения что ИИ может вытеснить до 50 рабочих мест начального уровня среди белых воротничков Инициативы возглавляет Фиджи Симо CEO по приложениям в OpenAI перешедшая из Instacart в августе в рамках стратегии по расширению за пределы основного продукта ChatGPT Почему это важно Выход OpenAI на рынок найма и сертификации может серьёзно пошатнуть доминирование LinkedIn одновременно предлагая ответ на страхи массового вытеснения работников ИИ Эти шаги могут изменить подход компаний к подбору персонала и стандартизации AI навыков затрагивая миллионы сотрудников и работодателей в условиях быстрой технологической трансформации

Президент Трамп провёл ужин в Белом доме с участием более двух десятков лидеров технологических компаний на котором руководители пообещали рекордные инвестиции в США Марк Цукерберг Meta и Тим Кук Apple заявили о вложениях по 600 млрд каждый генеральный директор Google Сундар Пичаи пообещал 250 млрд а глава Microsoft Сатья Наделла объявил о планах инвестировать до 80 млрд ежегодно Сэм Альтман OpenAI похвалил Трампа за про бизнес и про инновационный курс и обсудил проект Stargate стоимостью 500 млрд связанный с инфраструктурой для ИИ в партнёрстве с SoftBank и Oracle Сооснователь Microsoft Билл Гейтс использовал своё выступление для призыва сочетать развитие ИИ с глобальными программами здравоохранения упомянув вакцины и болезни вроде ВИЧ полиомиелита и серповидноклеточной анемии Это вызвало критику среди части сторонников Трампа Илон Маск Tesla заметно отсутствовал после публичного конфликта с Трампом в начале года несмотря на прежнюю близость когда Маск возглавлял Департамент по эффективности правительства Ужин состоялся вскоре после заседания рабочей группы Белого дома по ИИ образованию под председательством первой леди Мелании Трамп где Google объявил о 150 млн грантов на образование в рамках более широкой инициативы в 1 млрд Почему это важно Обещанные 1 4 трлн инвестиций сигнализируют о масштабном сближении Силиконовой долины с администрацией Трампа Это может кардинально изменить развитие ИИ производство полупроводников и технологическую политику в США на годы вперёд одновременно обостряя споры вокруг приоритетов от инноваций до здравоохранения

Генеральный директор Salesforce Марк Бениофф объявил о сокращении 4 000 рабочих мест в сфере поддержки клиентов штат службы поддержки уменьшился с 9 000 до 5 000 сотрудников за счёт внедрения ИИ агентов что означает сокращение на 44 Теперь ИИ агенты обрабатывают 50 клиентских запросов а оставшиеся распределяются между людьми через систему омnichannel supervisor которая координирует взаимодействие ИИ и операторов Бениофф также сообщил что технологии ИИ помогли ликвидировать огромный залежавшийся пул лидов более 100 миллионов потенциальных клиентов не обзванивались за 26 лет из за нехватки персонала Это решение противоречит заявлениям Бениоффа в июле 2025 года когда он уверял что ИИ не приведёт к массовой безработице а будет усиливать сотрудников а не заменять их Сокращения составили около 5 от общего числа сотрудников Salesforce 76 453 человек и стали наглядным подтверждением того как ИИ влияет на численность персонала вопреки более оптимистичным прогнозам лидеров индустрии вроде CEO Nvidia Дженсена Хуанга Почему это важно Это один из самых показательных примеров автоматизации рабочих процессов с помощью ИИ в крупной технологической компании Он наглядно демонстрирует что ИИ способен заменять людей а не только помогать им Такой шаг сигнализирует о фундаментальной перестройке корпоративных процессов и ставит под сомнение распространённый в индустрии тезис о том что ИИ будет создавать а не уничтожать рабочие места

Читаю один каналчик по искусственному интеллекту Его ведет не глупый парень работает где то в Австрии консультирует по внедрению искусственного интеллекта машин лёрнинг и так далее И когда читаешь этот канал там вроде бы столько всего умного до тех пор пока не понимаешь что король то голый Я дважды на этом его ловил Типичный кейс когда программисты начинают пытаться решать проблемы бизнеса Классическая ошибка верить Если ты спец в ML то типа автоматом понимаешь в бизнесе менеджменте и организации процессов Ну да Конечно Я объясню что имею в виду В бизнесе да и не только возникают проблемы анализируешь реальную причину на которую можешь воздействовать предлагаешь решение И тут есть два подхода Предпринимательский или подход людей которые умеют решать задачи в том числе хорошие инженеры Программистский Разница определяется фокусом Фокус предпринимателя или нормального инженера всегда на результате как можно быстрее дешевле эффективнее У него нет цели применять знания и показывать себя у него цель получить результат ASAP Фокус программиста один программировать любой ценой Только и всегда программировать да если можно этого не делать Кстати у меня есть знакомые которые начинали как программисты но за счет природных склонностей быстро поднялись от решения проблем через код к решению проблем любыми средствами лишь бы был результат Такие люди обычно быстро перестают программировать и становятся менеджерами а потом владельцами компаний Есть также знакомые отличные инженеры которые продолжают программировать и через 10 20 30 лет так и остались программистами Их подсознательный рефлекс решать проблему программировать Типичный кейс программист начинает лезть в сферу оптимизации бизнес процессов Эта дисциплина существует лет 60 70 зародилась после Второй мировой войны когда индустриализация требовала упорядочивания процессов Поднялась куча консалтинговых компаний но по большому счету оптимизация бизнес процессов сводится к здравому смыслу анализируешь процесс находишь бутылочное горлышко устраняешь его и все едет дальше Причем правильный подход делать это минимальными средствами Чем проще тем лучше но тут возникает конфликт интересов То что кажется простым как бы и не может быть дорогим Поэтому бизнес консультанты часто поступают наоборот усложняют потому что чем сложнее решение тем больше гонорар Результат то можно получить по разному а за более сложное больше платят Настоящие профессионалы как раз не беспокоятся за свои гонорары они получают их за результат а не за сложность и поэтому стараются упрощать а не усложнять Они предлагают простые но эффективные решения Те же кто так не умеет просто меняют одну сложность на другую и продают это как решение Сейчас я вижу много кейсов когда программисты может быть квалифицированные в разработке но совершенно не понимающие ни бизнеса ни оптимизации процессов лезут туда только потому что занимались машин лёрнингом и внедрением ИИ Простейшая проблема решаемая на раз два превращается в нагромождение сложностей модных подходов и инструментов Это классика когда где то задница приглашают консультантов те нагородят сложных схем а потом приходит условная тётя Маня и за пять минут всё чинит Бизнес процессы это правильная организация людей и алгоритмов И тут неважно люди или машины главное правильный алгоритм Алгоритмы в 99 это не про программирование а про здравый смысл Пожарить яичнице это алгоритм Поменять колесо алгоритм Обработать 10000 PDF это алгоритм и никакого отношения к ИИ не имеет Искусственный интеллект здесь часто вообще ни при чем Но так мыслит очень небольшое количество людей Я наблюдаю противоположное человек углубившийся в тему вместо того чтобы искать решение думает только о том как по любе воткнуть ИИ При этом огромное количество задач прекрасно решаются без ИИ а с ИИ они становятся только сложнее и не дают лучших результатов Я вижу это повсюду от обработки документов до работы с изображениями

Волна открытых ИИ моделей Alibaba Microsoft xAI и OpenAI Крупнейшие технологические компании синхронно выпустили открытые модели искусственного интеллекта что стало важным шагом к демократизации продвинутых ИИ технологий Microsoft представила VibeVoice 1 5B первую модель text to speech под лицензией MIT Она генерирует до 90 минут речи с четырьмя разными голосами одновременно используя архитектуру с акустическими и семантическими токенизаторами Alibaba запустила Qwen Image Edit инструмент редактирования изображений 20 млрд параметров под лицензией Apache 2 0 Доступен через Alibaba Cloud Model Studio по цене 0 045 за изображение первоначально в Сингапуре xAI Илон Маск открыла доступ к Grok 2 5 268 млрд параметров через Hugging Face с планами релиза Grok 3 в течение полугода Лицензия собственная community модель а не стандартная open source OpenAI ранее в августе выпустила линейку GPT OSS чтобы конкурировать с китайскими открытыми решениями Конкуренция с Китаем и закрытыми системами Релизы стали ответом на успех китайских компаний DeepSeek Alibaba в open source ИИ CEO OpenAI Сэм Альтман прямо заявил Если бы мы этого не сделали мир оказался бы построен в основном на китайских моделях По данным Menlo Ventures OpenAI и Anthropic контролируют 57 корпоративных расходов на генеративный ИИ 8 4 млрд за первое полугодие 2025 Доля Meta Llama упала с 16 до 9 Hugging Face достигла 1 9 млн моделей в августе 2025 против 1 млн годом ранее Открытые системы набирают популярность из за опасений вопросов приватности и регуляторной прозрачности Исследования показывают что ROI компаний использующих open source AI в среднем выше 51 против 41 у проприетарных решений Почему это важно Открытые релизы кардинально меняют расклад в индустрии они снижают барьеры входа и позволяют разработчикам исследователям и стартапам строить сложные ИИ приложения без зависимости от дорогих закрытых API

Elon Musk presents Macrohard Илон Маск снова решил троллить Microsoft на этот раз он запускает революционную софтверную компанию под названием Macrohard Да название звучит именно так как вы подумали и видимо это не случайность По замыслу Маска Macrohard станет чисто ИИ компанией где сотни агентов будут изображать работу классических софтверных корпораций Человеческие разработчики Не спасибо 1 августа 2025 года xAI подала заявку на регистрацию бренда Macrohard включив туда всё что можно от NLP и генеративного софта до автоматизации бизнес процессов Словом если это хоть как то связано с ИИ это в списке Аналитики уже шутят что если всё это реально сработает индустрия ПО рискует превратиться в музей старых добрых компаний где работали люди Тем временем xAI продолжает наращивать мускулы расширяет суперкомпьютер Colossus и скупает Nvidia шные GPU миллионами чтобы бодаться с OpenAI и Meta Почему это важно Macrohard это Маск в чистом виде одновременно грандиозная идея язвительный жест в сторону Microsoft и ставка на то что будущее только за ИИ Вопрос лишь в одном станет ли это новой эпохой корпоративного софта или очередным эпизодом в шоу под названием Илон против всех для понимания ни строчк и здесь не писал человек