Se suponía que ChatGPT, el popular modelo de IA desarrollado por OpenAI, mejoraría con el tiempo gracias a su evolución y entrenamiento continuo. Sin embargo, un estudio realizado por investigadores de la Universidad de Stanford y la Universidad de California en Berkeley ha revelado que la realidad es bastante diferente. Los resultados han dejado perplejos a muchos, ya que ChatGPT y su versión GPT-4 han empeorado en lugar de mejorar.

Evaluando la evolución de ChatGPT

Los investigadores realizaron pruebas utilizando la API de ChatGPT en dos versiones diferentes, correspondientes a marzo de 2023 y junio de 2023. Los resultados fueron sorprendentes, ya que ambos modelos, GPT-3.5 (utilizado en el ChatGPT gratuito) y GPT-4 (usado en ChatGPT Plus y Bing Chat), mostraron un deterioro en su desempeño general.

ChatGPT no mejora: Un estudio revela sorprendentes resultados.

Una de las pruebas más notables fue preguntar a ChatGPT si el número 17077 es primo y razonar la respuesta. El modelo obtuvo resultados sorprendentes. GPT-4, que tenía un 97,6% de precisión en marzo, cayó al 2,4% en junio. Por otro lado, GPT-3.5 mostró una evolución inversa, aumentando del 7,4% al 86,8% en el mismo período.

Los investigadores también notaron que GPT-4 se volvió menos «parlanchín» en sus respuestas, mientras que GPT-3.5 se volvió más expansivo, generando respuestas un 40% más largas. Además, la precisión y la ejecutabilidad del código generado por ambos modelos disminuyeron significativamente en sus versiones más recientes.

El Debate Sobre el Retroceso de ChatGPT

Este estudio ha surgido en un momento en el que algunos usuarios han notado una degradación en la calidad de las respuestas de ChatGPT. Aunque algunos plantean la posibilidad de que OpenAI esté ofreciendo versiones «ligeras» para reducir recursos, otros creen que puede ser una percepción derivada del uso frecuente.

La opacidad de OpenAI respecto a los detalles de entrenamiento y funcionamiento interno de los modelos complica la evaluación de su progreso. La adopción de un enfoque Open Source, como el utilizado por Meta con Llama y Llama 2, podría aportar mayor claridad y confianza en la evolución de la IA.

De esta forma, el estudio revela que ChatGPT no mejora como se esperaba, planteando desafíos y debates sobre la evolución de la inteligencia artificial.