Исследование METR: ИИ-инструменты замедляют разработчиков ПО

ИИ в IT: выясняем, какая из бесплатных нейросетей лучше пишет код Вопреки распространенному мнению, использование передовых ИИ-инструментов замедляет работу опытных разработчиков ПО примерно на 20%, а не ускоряет ее. Согласно исследованию METR, причина кроется в необходимости проверять и исправлять предложения ИИ. Авторы работы признались, что несмотря на результаты продолжают использовать Cursor, поскольку с ИИ процесс менее утомителен и более приятен. Для тех, кто считает так же, ForkLog протестировал и подготовил подробный анализ возможностей программирования трех популярных ИИ-моделей: Grok, ChatGPT и DeepSeek. Новости AI YouTube

ИИ для программистов пока тормозит, а не ускоряет METR провели эксперимент: 16 опытных разработчиков открытого ПО решили 246 реальных задач — часть с ИИ GitHub Copilot, Cursor Pro , часть без. Вопреки ожиданиям, ИИ не сэкономил время, а наоборот: в среднем задачи с помощниками выполнялись на 19 % дольше. Хотя участники надеялись ускориться на 24 %, выяснилось, что написание промптов и ожидание ответа от ИИ — медленнее, чем писать руками. Особенно тяжко было, когда задача требовала работы с большим и сложным кодом. Перед тестом всех обучили работе с ИИ, так что «новичковый эффект» исключили. METR не делают жёстких выводов — возможно, ИИ станет быстрее в ближайшие месяцы. — Мне помогает — Сам быстрее справлюсь godnoTECH - Новости IT

ИИ замедляет скорость кодинга Некоммерческая исследовательская группа в области ИИ METR провела исследование, чтобы выяснить, насколько искусственный интеллект ускоряет процесс написания кода. Результаты оказались неожиданными: рост оказался отрицательным. В эксперименте приняли участие 16 опытных разработчиков, которые выполнили 246 реальных задач в крупных репозиториях кода, куда они регулярно вносят свой вклад. Исследователи случайным образом распределили примерно половину задач как «допускающие использование ИИ» с помощью таких инструментов, как Cursor Pro, GitHub Copilot и др. , в то время как в другой половине задач использование ИИ было запрещено. Вот что получилось: Перед началом эксперимента разработчики предположили, что ИИ сократит время выполнения задач на 24%. В реальности же использование ИИ увеличило время выполнения задачи на 19%. В качестве причин такого результата исследователи называют то, что разработчики тратят гораздо больше времени на формулирование команд для ИИ и ожидание ответа, чем на непосредственное написание кода. Помимо этого, ИИ также с трудом справлялся с большими и сложными задачами, которые использовались в этом тесте. Так что сегодня налегать на нейросети и видеть в них замену любым кодерам рано. Впрочем, сами авторы исследования признают, что результат через 3 месяца может быть уже совсем иным, поскольку нейросети активно развиваются ™ СофтТех

Наполните корзину всем необходимым и тратьте меньше благодаря нашим суперценам.

Исследование некоммерческой группы METR показало, что использование ИИ-инструментов, таких как Cursor и GitHub Copilot, не только не ускоряет работу программистов, но и замедляет её. Ожидалось, что ИИ сократит время выполнения задач на 24%, однако фактически использование таких инструментов увеличило время работы на 19%. Эксперимент проводился с участием 16 опытных разработчиков, которые выполняли 246 реальных задач. Ключевыми факторами замедления стали время на составление запросов к ИИ и ожидание ответов. Результаты подчеркивают, что даже с обучением работы с ИИ, технологии пока неэффективны для опытных разработчиков. Тем не менее, исследователи указывают на быстрые темпы развития этих технологий, что может изменить картину в будущем. Для подробностей можно ознакомиться с публикацией на TechCrunch.

Использование ИИ-ассистента Cursor замедляет работу разработчиков на 19% — проблему выявило новое исследование METR. Всё из-за того, что программистам приходится тратить время на проверку и исправление предложений нейронки. При этом в ходе эксперимента разработчики считали, что ИИ помогает им сэкономить время. Это говорит о том, что инструмент делает работу более приятной и менее трудоемкой. Думайте

Написание кода с помощью ИИ не ускоряет, а замедляет работу разработчиков — исследование METR Исследование METR показало, что при решении реальных задач опытные программисты тратили в среднем на 19 % больше времени при использовании ИИ-инструментов, несмотря на ожидания ускорения на 24 %. Основными причинами названы сложности взаимодействия с ИИ и масштаб кодовой базы. Читать далее

#статья #Cursor Исследование METR: использование Cursor замедляет опытных разработчиков на 19 % В рамках анализа труда 16 программистов обнаружилось, что ИИ замедляет человека на 19 %. Это противоречит мнению экспертов индустрии машинного обучения, экономистов и самих участников эксперимента. Важно, что проверка шла не на очередных бенчмарках или предложениях решать алгоритмические задачи на скорость, а в обычной работе людей. Читать статью LH IT Курсы Мемы