Исследование METR: ИИ-инструменты замедляют разработчиков ПО

ИИ в IT: выясняем, какая из бесплатных нейросетей лучше пишет код Вопреки распространенному мнению, использование передовых ИИ-инструментов замедляет работу опытных разработчиков ПО примерно на 20%, а не ускоряет ее. Согласно исследованию METR, причина кроется в необходимости проверять и исправлять предложения ИИ. Авторы работы признались, что несмотря на результаты продолжают использовать Cursor, поскольку с ИИ процесс менее утомителен и более приятен. Для тех, кто считает так же, ForkLog протестировал и подготовил подробный анализ возможностей программирования трех популярных ИИ-моделей: Grok, ChatGPT и DeepSeek. Новости AI YouTube

ИИ для программистов пока тормозит, а не ускоряет METR провели эксперимент: 16 опытных разработчиков открытого ПО решили 246 реальных задач — часть с ИИ GitHub Copilot, Cursor Pro , часть без. Вопреки ожиданиям, ИИ не сэкономил время, а наоборот: в среднем задачи с помощниками выполнялись на 19 % дольше. Хотя участники надеялись ускориться на 24 %, выяснилось, что написание промптов и ожидание ответа от ИИ — медленнее, чем писать руками. Особенно тяжко было, когда задача требовала работы с большим и сложным кодом. Перед тестом всех обучили работе с ИИ, так что «новичковый эффект» исключили. METR не делают жёстких выводов — возможно, ИИ станет быстрее в ближайшие месяцы. — Мне помогает — Сам быстрее справлюсь godnoTECH - Новости IT

ИИ замедляет скорость кодинга Некоммерческая исследовательская группа в области ИИ METR провела исследование, чтобы выяснить, насколько искусственный интеллект ускоряет процесс написания кода. Результаты оказались неожиданными: рост оказался отрицательным. В эксперименте приняли участие 16 опытных разработчиков, которые выполнили 246 реальных задач в крупных репозиториях кода, куда они регулярно вносят свой вклад. Исследователи случайным образом распределили примерно половину задач как «допускающие использование ИИ» с помощью таких инструментов, как Cursor Pro, GitHub Copilot и др. , в то время как в другой половине задач использование ИИ было запрещено. Вот что получилось: Перед началом эксперимента разработчики предположили, что ИИ сократит время выполнения задач на 24%. В реальности же использование ИИ увеличило время выполнения задачи на 19%. В качестве причин такого результата исследователи называют то, что разработчики тратят гораздо больше времени на формулирование команд для ИИ и ожидание ответа, чем на непосредственное написание кода. Помимо этого, ИИ также с трудом справлялся с большими и сложными задачами, которые использовались в этом тесте. Так что сегодня налегать на нейросети и видеть в них замену любым кодерам рано. Впрочем, сами авторы исследования признают, что результат через 3 месяца может быть уже совсем иным, поскольку нейросети активно развиваются ™ СофтТех

AI делает опытных разработчиков менее продуктивными Рисерчеры с довольно серьезным послужным списком попробовали сравнить, насколько ощущение продуктивности при работе с AI отличается от реальности. Для этого они взяли очень опытных программистов, посадили их работать в знакомых им репозиториях, и слепым методом кому-то выдали в помощь Cursor, а кому-то пользоваться им запретили. Так вот, те, кто использовал Cursor, почувствовали себя заметно более продуктивными, в среднем называя оценку где-то в 20%. При этом в реальности они, наоборот, получили результат на 20% медленнее, чем группа без AI. Объясняют эту разницу следующими факторами: Разработчики слишком оптимистично подходят к оценке полезности AI – быстрый выброс дофамина, и вот это все. Хорошо знакомым с кодовой базой и решаемыми задачами разработчикам AI скорее мешал – качество его результатов все еще не очень высокое, в больших кодовых базах работает не очень хорошо, и многие важные неявные знания сами по себе в контекст не попадали. При этом не стоит прямо сейчас бежать и запрещать Cursor. Как и другие рисерчи, к этому надо относиться скорее как к интересному наблюдению – по крайней мере, пока не появится мета-исследований по теме: Выборка всего 16 человек, при этом они не то, чтобы были репрезентативны именно вашему кейсу. Рисерч скорее показывает проблемы в том, КАК люди используют AI, чем недостатки в самой технологии. Вот тут, кстати, очень интересный твиттер-тред от одного из участников исследования, где он говорит про похожий эффект – вместо того, чтобы относиться к Cursor как к инструменту с определенной областью применимости, на него полагаются как на универсальный молоток и волшебное решение любых проблем.

Качество, свежесть и экономия — всё в одном месте для вашего комфорта.

Исследование некоммерческой группы METR показало, что использование ИИ-инструментов, таких как Cursor и GitHub Copilot, не только не ускоряет работу программистов, но и замедляет её. Ожидалось, что ИИ сократит время выполнения задач на 24%, однако фактически использование таких инструментов увеличило время работы на 19%. Эксперимент проводился с участием 16 опытных разработчиков, которые выполняли 246 реальных задач. Ключевыми факторами замедления стали время на составление запросов к ИИ и ожидание ответов. Результаты подчеркивают, что даже с обучением работы с ИИ, технологии пока неэффективны для опытных разработчиков. Тем не менее, исследователи указывают на быстрые темпы развития этих технологий, что может изменить картину в будущем. Для подробностей можно ознакомиться с публикацией на TechCrunch.

Использование ИИ-ассистента Cursor замедляет работу разработчиков на 19% — проблему выявило новое исследование METR. Всё из-за того, что программистам приходится тратить время на проверку и исправление предложений нейронки. При этом в ходе эксперимента разработчики считали, что ИИ помогает им сэкономить время. Это говорит о том, что инструмент делает работу более приятной и менее трудоемкой. Думайте

Написание кода с помощью ИИ не ускоряет, а замедляет работу разработчиков — исследование METR Исследование METR показало, что при решении реальных задач опытные программисты тратили в среднем на 19 % больше времени при использовании ИИ-инструментов, несмотря на ожидания ускорения на 24 %. Основными причинами названы сложности взаимодействия с ИИ и масштаб кодовой базы. Читать далее

#статья #Cursor Исследование METR: использование Cursor замедляет опытных разработчиков на 19 % В рамках анализа труда 16 программистов обнаружилось, что ИИ замедляет человека на 19 %. Это противоречит мнению экспертов индустрии машинного обучения, экономистов и самих участников эксперимента. Важно, что проверка шла не на очередных бенчмарках или предложениях решать алгоритмические задачи на скорость, а в обычной работе людей. Читать статью LH IT Курсы Мемы

Исследование НКО METR: при выполнении реальных задач опытные open-source разработчики работают медленнее с ИИ, чем без него. 16 разработчиков, которые участвовали в эксперименте, выполняли 246 задач: одну половину с помощью ИИ-инструментов вроде Cursor Pro, вторую половину — без них. И если до начала работы ожидалось, что ИИ сократит время выполнения на 24%, то в итоге на выполнение задач с ИИ ушло на 19% больше времени, так как вместо продуктивного кода разработчики тратили время на формулировку запросов и ожидание ответов.