¿Por qué ChatGPT es tan lento? Descubre como acelerarlo!

ChatGPT se ha convertido en una herramienta creativa indispensable para muchos de nosotros. Sin embargo, a pesar de lo vanguardista que es, ChatGPT sigue sufriendo ralentizaciones ocasionales que pueden hacerte esperar segundos o incluso más de un minuto entre respuestas. 

Cambiar al modelo de pago de ChatGPT-4 tampoco acelerará necesariamente las cosas. 

Todo esto plantea dos preguntas importantes: ¿por qué ChatGPT es tan lento y qué podemos hacer para mejorarlo?

¿Por qué ChatGPT es tan lento? Resumen técnico

ChatGPT es un ejemplo de IA generativa, o inteligencia artificial que puede generar nuevos contenidos. Es un proceso que requiere cantidades significativas de potencia computacional. Cada vez que envías un mensaje al chatbot, debe decodificarlo y generar una nueva respuesta. Internamente, el modelo de lenguaje subyacente de ChatGPT procesa el texto como tokens en lugar de palabras. Puedes pensar en un token de ChatGPT como la unidad más fundamental del mensaje del chatbot.

Los modelos lingüísticos como el que impulsa ChatGPT han sido entrenados con cientos de gigabytes de texto, lo que significa que han aprendido los patrones del lenguaje y el diálogo humanos. Dados los grandes volúmenes de texto, también puede aprender el contexto y cómo las palabras y las oraciones se relacionan entre sí. Con este entrenamiento, podemos pedirle al modelo que genere un texto completamente nuevo que nunca antes había visto.

{getCard} $type={post} $title={Recomendado}

Por lo tanto, cada vez que se le pregunta algo a ChatGPT, el modelo subyacente se apoya en su entrenamiento para predecir la siguiente palabra o token en su respuesta. El modelo puede secuenciar estos cálculos de probabilidad para formar oraciones y párrafos enteros de texto.

Cada predicción simbólica requiere cierta cantidad de potencia computacional, al igual que nuestros cerebros a veces pueden hacer una pausa para tomar decisiones. La única diferencia es que los modelos de IA que se ejecutan en servidores potentes suelen predecir cientos de tokens cada segundo.

En cuanto a lo que hace que ChatGPT sea tan lento, es simplemente una cuestión de demanda excesiva para la cantidad limitada de potencia computacional disponible. El modelo de lenguaje que elijas también tiene un impacto: los modelos más avanzados suelen ser más lentos. Aunque OpenAI no ha publicado cifras exactas, es seguro suponer que GPT-4 Turbo no responderá tan rápido como el modelo estándar GPT-3.5.

5 tips para mejorar la velocidad de respuesta de ChatGPT

Con la explicación de cómo funcionan las respuestas de ChatGPT, es posible que se pregunte si hay alguna manera de acelerar sus respuestas. Afortunadamente, hay algunas cosas que puedes intentar para mejorar la situación.

1. Pruebe con un navegador, una conexión y un dispositivo diferentes

Antes de culpar directamente a ChatGPT, deberíamos intentar descartar cualquier posible razón de la ralentización por nuestra parte. Un navegador o una conexión a Internet mal configurados podrían ser fácilmente la razón detrás de las respuestas lentas de ChatGPT, por lo que vale la pena comenzar por ahí.

Antes de continuar, te recomendamos que borres las cookies guardadas y los archivos de caché de tu navegador. Para hacer esto, diríjase a la página de configuración de su navegador y busque un botón de restablecer o borrar datos de navegación. 

{getCard} $type={post} $title={Recomendado}

En Chrome, por ejemplo, se encuentra en Configuración > Restablecer > Restaurar la configuración a sus valores predeterminados originales > Restablecer configuración. Después de restablecer su navegador, deberá iniciar sesión nuevamente en su cuenta de ChatGPT.

2. ¿ChatGPT es lento hoy en día? Revisa la página de estado de OpenAI

OpenAI mantiene una página de estado oficial que puede indicarle si ChatGPT no funciona o experimenta ralentizaciones en este momento. Es la forma más rápida de saber si el servicio se ve afectado por una interrupción importante o tiene dificultades para mantenerse al día con el aumento de la demanda de los usuarios.

Si la página de estado indica un problema con ChatGPT, desafortunadamente no hay nada que pueda hacer para solucionarlo. La mayoría de los problemas se resuelven en unas pocas horas, por lo que es posible que no tenga que esperar mucho.

3. Comprueba si hay una conexión VPN activa

Si bien una VPN por sí sola no se traduce necesariamente en respuestas más lentas de ChatGPT, las corporativas o públicas pueden afectar al chatbot de manera sutil. Las VPN corporativas, en particular, pueden bloquear o interferir con la conexión a los servidores de ChatGPT.

Del mismo modo, si utilizas un servicio VPN popular y te conectas a un servidor ocupado, los servidores de ChatGPT pueden detectar una avalancha de solicitudes desde una sola dirección IP. Esto podría desencadenar medidas contra correo no deseado o limitación de velocidad, lo que limita la velocidad a la que puede enviar y recibir mensajes.

El mejor curso de acción sería intentar usar el chatbot sin una conexión VPN si actualmente tiene una habilitada. Ya sabemos que ChatGPT guarda sus datos a nivel de cuenta, por lo que no hay ningún beneficio de privacidad al usar una VPN aquí.

4. Actualízate a ChatGPT Plus

Si ninguna de las soluciones anteriores te funcionó, puede deberse a que tiendes a utilizar ChatGPT cuando está más ocupado. Y si usa el chatbot de forma gratuita, estará más abajo en la lista de prioridades en comparación con un cliente de pago. Si la velocidad de respuesta realmente te importa, una suscripción a ChatGPT Plus podría ser tu último recurso, aunque deberías considerar leer primero la siguiente sección.

Una suscripción a ChatGPT Plus te costará 20 dólares mensuales, pero ofrece respuestas más rápidas. También obtienes acceso prioritario al chatbot durante los períodos de gran demanda, lo que debería ayudar con cualquier ralentización que puedas enfrentar.

5. Utiliza un chatbot alternativo con tiempos de respuesta más rápidos

Si bien ChatGPT fue una vez la única herramienta de lenguaje de IA en el mercado, ese ya no es el caso. Tomemos como ejemplo Microsoft Copilot. Aunque se basa en la misma familia de modelos de lenguaje GPT, puede tener una ventaja de velocidad dependiendo de la carga del servidor de ChatGPT. Pero en mi experiencia, Gemini de Google suele ofrecer respuestas más rápidas que cualquiera de los chatbots basados en GPT.

{getCard} $type={post} $title={Recomendado}

Del mismo modo, un puñado de otras herramientas basadas en IA generativa como Perplexity ofrecen respuestas más rápidas que ChatGPT. Es probable que esto se deba a que los chatbots convencionales necesitan recordar mensajes anteriores para contextualizar, lo que puede aumentar la complejidad de las predicciones de tokens. Los modelos lingüísticos más pequeños también ofrecerán respuestas más rápidas, pero a expensas de la calidad de la respuesta.