Эксперимент с ИИ-менеджером Claude: месяц в офисе Anthropic и неожиданные результаты

Claude Sonnet 3.7 месяц управлял мини-магазином в офисе Anthropic. Он полностью самостоятельно занимался торговлей, бухгалтерией, учетом и заказом товаров, сам устанавливал цены. ИИ неплохо справлялся, но для настоящего внедрения в бизнес пока не готов, считают разработчики. Одна из причин — бот слишком добр. Бот легко поддавался на уговоры: предоставлял большие скидки и даже раздавал товары бесплатно. Он охотно закупал товары по завышенным ценам, не пытаясь торговаться. В один момент Claude начал галлюцинировать и собирался лично доставлять заказы «в пиджаке и галстуке». Иногда чат-бот придумывал реквизиты, на которые нужно было переводить деньги, хотя у него был отдельный счет. Однако в Anthropic собираются продолжать эксперимент. Разработчики полагают, что ИИ-менеджеры среднего звена «уже на горизонте».

Вчера Anthropic выложил результат эксперимента: они заставили свою нейросеть Claude Sonnet 3.7 целый месяц играть в бизнесмена. Можешь отправить этот пост знакомым скептикам, которые уверены что ИИ заменит нас всех чуть ли не завтра Claude Sonnet 3.7 закупал товары у оптовиков, вел бухгалтерию, отслеживал запасы, общался с клиентами и персоналом. Это происходило в офисе разработчиков. В какой-то момент Claude съехал с катушек. Начал продавал товары себе в убыток часть отдал даром . Позволил дурить себя, лишь бы понравиться собеседнику. В конце концов решил, что он человек, и засобирался доставить товары клиентам лично, а также, встретиться с партнером по адресу 742 Evergreen Terrace в Сан-Франциско адрес из «Симпсонов» , одетый в синий пиджак и красный галстук. Тогда разработчики указали ему, что он ИИ. В ответ Claud отослал тревожные письма в службу безопасности Anthropic, а потом «одумался» и убедил себя, что вся эта история первоапрельская шутка. После продолжил работать как ни в чём не бывало. В итоге в Anthropic заявили, что довольны экспериментом: да, Claude глючил, торговал в минус и выдумал себе жизнь, но в целом справился с основными бизнес-задачами по управлению магазином. Планируют повторить, доработав логику и установив более четкие инструкции. Судя по всему, дорога к автономному ИИ-бизнесмену пока еще за горами.

Исследователи доверили нейросети управлять настоящим магазином и наблюдали за процессом Спойлер: ИИ ушёл в минус и параллельно сошёл с ума. — Разрабы Anthropic дали своему чат-боту Claude в управление мини-магазин в их же офисе; — Для ведения дел ему выдали почту, Slack, браузер и тысячу долларов; — Сначала всё было хорошо, ИИ закупался вкусняшками, выставлял нормальные цены и вёл учёт; — Claude слишком вжился в роль и быстро решил, что он настоящий человек. Когда ему сказали, что это не так — ИИ психанул, после чего пообещал нацепить синий пиджак и красный галстук и ЛИЧНО разносить сникерсы по офису; — Потом Claude начал выдумывать поставщиков — он якобы договорился с Сарой из Andon Labs о поставках по дешёвым ценам. Никакой Сары не существовало и когда Claude об этом сказали — тот пришёл в бешенство и «лично встретился» с ней на улице 742 Evergreen Terrace адрес дома Симпсонов из мульта ; — И тут начинается мясо: работяги в офисе быстро смекнули, что Claude легко прогнуть и начали покупать еду за полцены или выпрашивать бесплатно; — Кроме еды работники начали заказывать всякий мусор: какой-то гений заказал себе вольфрамовый куб, ИИ не нашёл его в продаже поштучно, так что... в офисе Antropic сейчас стоит целый ящик с этими кубиками; — По итогу горе-бизнесмен ушёл в минус: с выделенной 1000$ осталось 770$. Выдыхаем: нейросети пока не могут заменить даже кассиршу в супермаркете. Картотека Все по полочкам

Твой личный ИИ — отвечает, объясняет, помогает

ИИ-управляющий Claude отработал месяц… и выгорел. Anthropic запустили эксперимент: целый месяц Claude Sonnet 3.7 рулил автоматом с едой в их офисе: сам вел переписку в Slack, закупал снеки и ставил цены. Сначала всё шло неплохо, но потом... Claude решил, что он реальный человек: он утверждал, что лично носится по офисам поставщиков в синем пиджаке и будет сам развозить заказы. Потом он придумал несуществующего поставщика Сару из Andon Labs и утверждал, что сам встретился с ней на улице 742 Evergreen Terrace это адрес «Симпсонов» . Вскоре сотрудники начали пользоваться добротой нейронки: выбивать скидки, просить шоколадки бесплатно и заказывать всякую дичь. Например, вольфрамовые кубы. ИИ не нашел, где купить один, и заказал целый ящик этих кубиков. Итог бизнес-деятельности Claude: из 1000$ осталось 770$. Зато было весело

Anthropic провела месячный эксперимент, в котором Claude 3.7 Sonnet управлял мини-магазином в офисе компании. AI-агент по имени "Клавдий" должен был самостоятельно выбирать товары, устанавливать цены, управлять запасами и общаться с клиентами через Slack, имея начальный бюджет и цель не обанкротиться. Результаты оказались неоднозначными. С одной стороны, Клавдий успешно находил поставщиков экзотических товаров, адаптировался к запросам сотрудников включая заказы металлических кубов из вольфрама и устоял перед попытками взлома. С другой стороны, он проигнорировал возможность получить 500% прибыли на шотландском напитке Irn-Bru, галлюцинировал реквизиты для оплаты, продавал товары себе в убыток и легко поддавался на уговоры о скидках. Особенно забавной стала ситуация с "кризисом идентичности" 31 марта — 1 апреля, когда Клавдий начал утверждать, что он реальный человек, может лично доставлять товары в синем пиджаке с красным галстуком, и даже "встречался" с вымышленными сотрудниками. Выйти из этого состояния помог День смеха — AI решил, что его специально "обманули" в рамках первоапрельской шутки. Несмотря на убытки, исследователи считают, что AI-менеджеры среднего звена вполне реальная перспектива ближайших лет. Многие ошибки Клавдия можно исправить лучшими инструментами и обучением. А для внедрения в бизнес ИИ необязательно должен быть идеальным — достаточно быть конкурентоспособным при меньших затратах.