Los desarrolladores experimentados pueden tardar un 19 % más en completar tareas al utilizar asistentes de inteligencia artificial (IA) populares como Cursor Pro y Claude, lo que desafía la narrativa de la productividad de las herramientas de programación de IA, según un nuevo estudio.
La investigación, realizada por Model Evaluation & Threat Research (METR, por sus siglas en inglés), monitoreó a 16 desarrolladores de código abierto experimentados mientras completaban 246 tareas de programación reales en repositorios maduros con un promedio de más de un millón de líneas de código.
«Sorprendentemente, descubrimos que cuando los desarrolladores utilizan herramientas de IA, tardan un 19 % más que sin ellas: la IA los hace más lentos», concluyó el estudio.
Quizás lo más sorprendente es la discrepancia entre la percepción y la realidad. Antes de comenzar la investigación, los desarrolladores pronosticaban que las herramientas de IA reducirían su tiempo de finalización en un 24 %. Incluso después de experimentar la ralentización real, los participantes estimaron que la IA había mejorado su productividad en un 20 %
Esta percepción errónea se extiende más allá de los desarrolladores individuales: los expertos en economía predicen que la IA mejoraría la productividad en un 39 % y los especialistas en aprendizaje automático pronostican aumentos del 38 %, todos sobreestimando drásticamente el impacto real.
Detalles sobre el estudio sobre la IA y la productividad de los desarrolladores experimentados
Los investigadores emplearon una metodología de ensayo controlado aleatorio, poco común en la investigación sobre productividad de la IA. Las tareas se asignaron aleatoriamente para permitir o prohibir el uso de herramientas de codificación.
Los desarrolladores utilizaron principalmente Cursor Pro con Claude 3.5 y Sonnet 3.7 durante el período de estudio de febrero a junio de 2025. Todos los participantes grabaron sus pantallas, lo que proporcionó información sobre los patrones de uso reales, con tareas que duraban un promedio de dos horas, añadió el estudio.
La investigación identificó varios factores interconectados que contribuyen a la ralentización observada. A pesar de las instrucciones de usar herramientas de IA solo cuando fueran útiles, algunos desarrolladores informaron experimentar más allá de lo productivo.
Los participantes del estudio tenían un promedio de cinco años de experiencia y 1500 commits en sus repositorios, y los investigadores encontraron mayores retrasos en tareas donde los desarrolladores tenían una amplia experiencia previa.
Lo más revelador es que los desarrolladores aceptaron menos del 44 % de las sugerencias de código generadas por IA: el 75 % declaró leer cada línea de la salida de IA y el 56 % realizó modificaciones importantes para depurar el código generado por IA.
Trabajar con bases de código extensas y maduras, con dependencias complejas y estándares de codificación complejos, resultó particularmente difícil para las herramientas de IA que carecían de una comprensión contextual profunda.
Concordancia con otra investigación reciente
Los resultados de METR coinciden con las preocupantes tendencias identificadas en el informe DevOps Research and Assessment (DORA, por sus siglas en inglés) de Google de 2024, basado en las respuestas de más de 39 000 profesionales.
En el estudio, a pesar de que el 75 % de los desarrolladores afirmó sentirse más productivo con las herramientas de IA, los datos revelaron una realidad diferente: por cada aumento del 25 % en la adopción de IA, se observó una disminución del 1,5 % en la velocidad de entrega y del 7,2 % en la estabilidad del sistema. Además, el 39 % de los encuestados afirmó tener poca o ninguna confianza en el código generado por IA.
Información de InfoWorld / Redacción Tecno Flash
No dejes de leer: Nuevos audífonos de Sony: Resistencia y claridad para entrenadores de la NFL
Usa la tecnología con inteligencia, únete a nuestras redes sociales hoy