1. Обзор
Генеративный ИИ и такие инструменты, как GitHub Copilot, на апрель 2025 года не настолько хороши в замене программистов для серьезных задач. Похоже, что до этого этапа нам предстоит еще много месяцев. Многие заявления, встречающиеся в Интернете — это либо маркетинговые кампании, пытающиеся продать существующие инструменты ИИ, либо чересчур оптимистичные заявления, не основанные на практике с теми инструментами, которые существуют сегодня.
В этой статье мы представим краткое содержание трех статей в Интернете, подтверждающих вышесказанное, а последняя — это личный опыт автора в разработке с помощью GitHub Copilot.
2. Статья 1: Агентам ИИ не удается эффективно отлаживать программное обеспечение.
Статья 1: ИИ не готов заменить человеческих программистов для отладки, утверждают исследователи
Резюме:
- Даже имея доступ к инструментам, агенты ИИ не могут надежно отлаживать программное обеспечение.
- … (люди) корректируют свои ожидания, потому что модели недостаточно хороши в части отладки, а отладка занимает большую часть времени разработчика. Это предложение Microsoft Research.
- Модели ИИ… далеки от того, что может сделать опытный человеческий разработчик.
- … некоторые амбициозные идеи о том, что агенты ИИ могут напрямую заменить разработчиков, довольно далеки от реальности.
- … модели имеют тенденцию к созданию кода, насыщенного ошибками и уязвимостями, и обычно не способны их исправить.
- … лучший результат — это агент, который экономит значительное время человеческому разработчику, а не тот, который может сделать все, что они могут.
3. Статья 2: Под давлением необходимости принятия ИИ разработчики становятся все более недовольными
Статья 2: Мандаты по использованию ИИ в программировании доводят разработчиков до предела
Резюме:
- …Принятие ИИ “разрывает их компанию на части”, так как возникает разрыв между руководством и сотрудниками, использующими такие инструменты.
- Для разработчиков программного обеспечения есть опасения, что инструменты ИИ в программировании вводят ошибки в их код, терпят неудачу в многие задачи и усугубляют технический долг.
- …доверие разработчиков к инструментам программирования ИИ быстро снизилось.
- …разработчики описывают множество технических проблем и головной боли, связанных с инструментами программирования ИИ, от того, что они часто предлагают неправильный код и даже удаляют существующий код, до множества проблем, которые они создают при развертывании.
- …использование инструментов ИИ вызывает увеличение инцидентов; 68% респондентов Harness заявили, что теперь они тратят больше времени на решение связанных с ИИ уязвимостей, чем до использования инструментов программирования ИИ.
- GitHub Copilot… он ошибался столько же раз, сколько и был прав.
- Занимает много времени, чтобы человеку просмотреть что-то, что они (инструменты ИИ) на самом деле не написали и не поняли полностью.
- Руководители неправильно оценивают свои ожидания… лидеры компаний, которые не имеют близкой видимости инженерных процессов.
- Инструменты программирования ИИ все еще новы, и для того, чтобы понять, как их эффективно использовать, требуется совместное усилие.
4. Статья 3: GitHub Copilot (GHC) нельзя доверить несколько сложным задачам
Статья 3: GitHub Copilot (Генеративный ИИ) полезен, но не идеален
Резюме:
- GitHub Copilot (GHC)… Иногда он великолепен… иногда он тратит ваше время, особенно потому, что многословные ответы, которые он дает, часто не по теме.
- Он иногда полезен, но только для локальных задач, и не может видеть общую картину.
- …“личное ощущение” заключается в том, что он “не знает это хорошо”, он “попытался угадать”, и поскольку это машина с огромной памятью миллионов строк кода, его предположения иногда блестящие, а иногда не по теме.
- …огромное разочарование в том, что он не всегда может правильно понять синтаксис C# и проверить существование свойств/методов C# самостоятельно.
- …он удалил активную строку кода, потому что аналогичная строка кода была закомментирована.
- Я часто использую “призрачный тест” от GHC, просматриваю его и принимаю советы, когда они мне нравятся.
- Я использую страницу текстового запроса GHC, чтобы запрашивать генерацию фрагментов или малых функций с ясной функциональностью… Нет гарантии, что GHC здесь будет успешен, но если да, то это может быть блестяще.
- Я больше не пытаюсь делать большие изменения, касающиеся 3-4 файлов одновременно… Ответы, скорее всего, будут неполными и содержать много ошибок, таких как отсутствующие свойства и методы C# (он же галлюцинирует?).
- …это занимает много времени и сил, чтобы ПРОСМОТРЕТЬ каждый ответ, который предоставляет GHC.
- …он галлюцинирует о свойствах и методах C#, которые не существуют для хорошо известных и часто используемых API…
- …он генерирует больше беспорядка, чем полезного кода для заданных задач на основе шаблонов, касающихся 4 файлов.
- Я прошу GHC о помощи с проблемами, но читаю максимум 2 ответа в чате. Его ответы склонны быть многословными… Если он не дает мне хорошего ответа за 2 попытки, я пойду читать Google по той же проблеме.
- GHC имеет серьезную проблему с фокусировкой; ответы часто не по теме.
- GitHub Copilot (GHC) не может быть надежно использован для немного сложных задач, касающихся нескольких файлов одновременно. В таких сценариях результаты неполные и неэффективные по времени по сравнению с непосредственным ручным программированием.
- GitHub Copilot (GHC) имеет тенденцию к галлюцинации о методах и свойствах C#, которые не существуют. Сгенерированный код не компилируется сразу, что требует много ручной работы для его завершения.
5. Заключение
Описанные выше статьи предполагают, что некоторые амбициозные идеи о том, что инструменты ИИ могут напрямую заменить разработчиков, довольно далеки от реальности.
Некоторые авторы считают, что наиболее вероятный лучший результат — это инструмент ИИ, который экономит значительное количество времени человеческому разработчику, а не тот, который может непосредственно заменить разработчика.
6. Ссылки
[1] ИИ не готов заменить человеческих программистов для отладки, утверждают исследователи
[2] Мандаты по использованию ИИ в программировании доводят разработчиков до предела
https://leaddev.com/culture/ai-coding-mandates-are-driving-developers-to-the-brink
[3] GitHub Copilot (Генеративный ИИ) полезен, но не идеален (март 2025)
https://markpelf.com/2717/github-copilot-gen-ai-is-helpful-but-not-great-march-2025/
