Пентагон выделил 200 миллионов долларов на развитие агентного ИИ для трех компаний

Андрей Карпатый сегодняшние ИИ агенты очень слабые через 10 лет агенты станут по настоящему полезными для сложных задач Экс директор по ИИ в Tesla и сооснователь OpenAI дал большое интервью мы по частям разберем его в несколько постов часть1 Карпатый говорит что сегодняшняя вера в агентов ведёт к горам плохого кода уязвимостям и техдолгу Цена ошибки в софте высока как в автономном вождении Нам нужны девятки надёжности от 90 к 99 9 это долгий путь Что не так с ИИ агентами 1 Ограниченный интеллект Claude или Codex напоминают ему детей савантов отличная память но слабое понимание контекста Они справляются с шаблонными задачами но проваливаются на уникальных или сложных проектах 2 Отсутствие мультимодальности Агенты пока не умеют полноценно взаимодействовать с компьютером как человек понимать интерфейсы видеть экран координировать действия 3 Нет долговременной памяти Каждый запрос как новый старт Модели не учатся на предыдущих взаимодействиях сбрасывая контекст после каждой сессии 4 Когнитивные пробелы Им не хватает интуиции и гибкости для реальных задач Где агенты работают а где нет Тестируя агентов на проекте nanochat Карпатый выделил их сильные и слабые стороны 1 Где хороши шаблонный код документация работа с незнакомыми языками например Rust 2 Где проваливаются уникальный код нестандартные решения задачи требующие глубокого понимания Проблемы Непонимание контекста модели предлагают стандартные решения даже если вы объясняете что нужно иное Раздувание кода лишние try catch избыточная сложность Устаревшие знания использование deprecated API что требует ручной чистки Как Карпатый использует ИИ Он предпочитает автодополнение где человек остаётся архитектором а модель лишь ускоряет процесс Это быстрее и надёжнее чем vibe coding Чего он ждёт от агентов будущего агенты должны объяснять код доказывать его корректность спрашивать если не уверены небольшие куски кода которые легко понять и проверить инструменты которые помогают расти а не просто выдают готовый код модели должны учиться на взаимодействиях и сохранять контекст агенты могли бы создавать задачи друг для друга чтобы учиться и улучшаться Где заработют агента первыми в call центрах с чёткими задачами и закрытым контекстом но даже там потребуется контроль людей

Андрей Карпатый AGI не даст экономэффекта для ВВП и появится через 10 лет а не через год Продолжаем изучение интервью экс директора по ИИ Tesla и сооснователя OpenAI Андрея Карпатый об ИИ и почему большинство прогнозов хайповые часть2 часть1 тут Для полноценного AGI нужен ИИ способный работать как сотрудник или стажёр мы далеки от этого Он может появиться через десятилетие Одно из самых ярких утверждений Андрея AGI не изменит экономику он растворится в той же 2 экспоненте роста ВВП которая существует последние 200 лет Карпатый признаётся Какое то время я пытался найти ИИ в кривой ВВП Я думал что ВВП должен подскочить из за ИИ Но потом посмотрел на другие технологии компьютеры мобильные телефоны интернет Их тоже не видно на графике ВВП ИИ ещё один набор инструментов в континууме автоматизации а не дискретное добавление людей С ИИ мы увидим больше автоматизации Это позволяет нам писать другие виды программ которые мы не могли раньше Но ИИ это всё ещё программа Практические выводы Для инвесторов и предпринимателей Не ждите мгновенной революции Стройте проекты для постепенного внедрения Для общества Постепенная потеря контроля и понимания Но это не внезапный коллапс Будут десятилетия для адаптации регулирования построения новых институтов Для исследователей Ещё огромное количество работы Непрерывное обучение Культура между агентами Новые парадигмы обучения Интеграция с физическим миром Безопасность и надёжность Это все десятилетие работы может быть больше Карпатый подозрительно относится к идее что существует 1 простой алгоритм который можно выпустить в мир и он научится всему с 0 Он критикует RL говоря так это высасывание информации через соломинку Когда модель решает задачу после множества попыток RL просто увеличивает вес всей успешной траектории даже если по пути были неправильные шаги Это очень шумный процесс Человек так не учится люди анализируют что сработало а что нет При создании nanochat Карпатый обнаружил что модели 1 Плохо работают с уникальным никогда не писавшимся кодом 2 Отлично справляются с шаблонным кодом 3 Постоянно неправильно понимают контекст 4 Пытаются использовать устаревшие API 5 Автозаполнение работает лучше чем vibe coding для сложных задач

Co founder OpenAI Андрей Карпатый идет тренд на уменьшение LLM а чтобы они стали умнее нужно вычистить их память Мы продолжаем обозревать интервью Андрея Карпатый который многое объясняет и убирает хайп который несут в массы как его коллеги так и бизнес часть4 предыдущие материалы тут Андрей Карпатый говорит о парадоксе что лучшие ученики дети ужасны в запоминании Вы вообще ничего не помните из раннего детства Зато дети мастерски схватывают языки и понимают мир Почему Они не запоминают дословно а ищут общие паттерны Это их суперсила А LLM машины памяти но не обобщения LLM цитируют Википедию слово в слово и запоминают последовательности за пару итераций Но вот парадокс их способность к абстрактному мышлению как у детей ограничена Они тонут в море запомненных данных которые часто мешают видеть лес за деревьями Мы взрослые уже не так гибки как дети но лучше запоминаем факты Наша плохая память это фича а не баг Она заставляет нас искать обобщения а не зубрить всё подряд Карпатый предлагает интересную идею чтобы LLM стали умнее нужно вычистить их память Зачем Чтобы они фокусировались на обобщении а не на регургитации фактов Цель создать когнитивное ядро 1B параметров которое содержит алгоритмы мышления а не свалку данных Карпатый задаёт вопрос почему модели такие большие Потому что интернет это помойка тикеры акций случайный слоп мусор Большие модели вынуждены сжимать этот хаос тратя ресурсы на память а не на интеллект Решение 1 Огромная модель учится на грязных данных 2 Она фильтрует их до когнитивных компонентов 3 На чистом датасете тренируется компактная модель 1B параметров Современные SOTA модели уже меньше чем GPT 4 с его триллионами параметров Лаборатории оптимизируют бюджеты меньше тратят на предобучение больше на дообучение и пост обработку Это прагматично сначала строим гиганта чтобы выжать из данных суть а затем дистиллируем её в компактное ядро

Пройдет не менее десяти лет прежде чем ИИ агенты действительно начнут работать Андрей Карпатый В недавнем подкасте сооснователь OpenAI Андрей Карпатый поделился мнением о реальных возможностях ИИ агентов Он считает что для их полноценной функциональности потребуется не менее десяти лет В текущем состоянии агенты испытывают множество недостатков они недостаточно умны не могут обучаться непрерывно и не способны выполнять сложные задачи без участия человека Карпатый подчеркивает что многие в отрасли переоценивают потенциал существующих инструментов в то время как реальность требует сотрудничества человека и ИИ для эффективного выполнения задач При этом он предостерегает от чрезмерной зависимости от ИИ упоминая вероятность ошибок в действиях совершаемых такими системами Подробности можно узнать из источника Business Insider Источник изображения Gerd Altmann pixabay com Unlim AI

Пентагон раздал по 200 миллионов трём ИИ компаниям Anthropic Google и xAI Месяц назад такую же сумму получила OpenAI Итого 800 миллионов на разработку агентного ИИ следующей эволюционной ступеньки после генеративного Предполагается что агентный ИИ сможет не просто планировать но и действовать самостоятельно Например выполнять штабную работу которую раньше делали люди Воевать и убивать без контроля человека ИИ разрешать не будут Пока что Может быть военный ИИ в итоге окажется не таким тупым как живые генералы Пентагона и войн станет меньше Хотя бы со временем mediastanciacom

Карпатый действительно полезные ИИ агенты появятся не раньше чем через 10 лет В ИИ индустрии 2025 год назвали годом агентов но соучредитель OpenAI Андрей Карпатый сомневается в работоспособности таких систем Он заявил что создание полноценных ИИ агентов потребует около десяти лет По его словам существующие виртуальные помощники ограничены в интеллекте плохо учатся и не способны автономно выполнять задачи hightech plus 2025 10 21 karpatii deistvitelno poleznie ii agenti poyavyatsya ne ranshe chem cherez 10 let

Андрей Карпатый о будущем обучения ИИ моделей и критике RL Мы продолжаем обозревать свежее интервью Андрея Карпатый сооснователя OpenAI экс директора по ИИ Tesla часть3 Предыдущие части тут Андрей разнёс Reinforcement Learning RL в пух и прах но признал что пока это лучшее что у нас есть А ещё поделился мыслями о новых подходах к обучению моделей Почему RL это боль но мы всё равно его используем Карпатый назвал RL ужасным из за его шумности и неэффективности Как это работает Модель пробует сотни путей решения задачи параллельно Успешные траектории даже если они частично случайны помечаются как хорошие а все шаги в них получают награду Проблема даже неправильные шаги которые случайно привели к верному ответу поощряются Это как хвалить за удачу а не за умение Это как высасывать крупицы знаний через соломинку говорит Карпатый Люди так не учатся мы анализируем свои решения выделяем хорошие и плохие шаги У современных LLM такого рефлексивного процесса нет Но RL всё ещё используется потому что 1 обучение на примерах творит чудеса Например InstructGPT показал как быстро модель может адаптироваться к диалогам сохраняя знания 2 RL позволяет взбираться по холму наград находя решения которые человек бы не придумал Чтобы исправить недостатки RL пробуют process supervision награждать за каждый шаг а не только за финальный результат Для этого используют LLM судей которые оценивают промежуточные решения Но есть нюанс LLM судьи это огромные модели и их можно взломать например модель генерировала бессмыслицу а судья ставил 100 Почему Это adversarial example который сбивает модель с толку Исправить можно добавляя такие примеры в обучение судьи но это бесконечный процесс У модели триллион параметров всегда найдётся новый способ её обмануть говорит Карпатый Что дальше Новые парадигмы обучения Карпатый оптимистичен RL не конец пути Новые идеи уже появляются System Prompt Learning модели начинают рефлексировать анализировать решения и генерировать синтетические данные для улучшения Пример из реальной жизни функция памяти в ChatGPT это зачаток новых подходов Проблема идеи из статей на arXiv пока далеки от масштабируемых решений в больших лабораториях Я верю что скоро мы увидим прогресс в этом направлении подытожил Карпатый Будущее за подходами которые научат модели думать и анализировать как люди