No toda la Inteligencia Artificial que reluce es fiable. Esta frase hecha adaptada bien podría resumir lo que alerta un estudio internacional —con amplia participación valenciana— que ha visto la luz este miércoles.
A pesar de que la IA está cada vez más presente en el día a día y en ámbitos como la educación, la ciencia, la medicina, el arte o las finanzas, esta tecnología llamada a cambiar el mundo parece no ser, de momento, tan fiable como debería.
En concreto, los modelos de lenguaje que utiliza y que se nutren de la masa de información que llena internet. Google, Microsoft o OpenAI —con proyectos como ChatGPT, en este último caso— se han lanzado a la carrera, pero aún queda trabajo por desarrollar.
Así lo concluye un estudio liderado por un equipo del Instituto VRAIN de la Universitat Politècnica de València (UPV) y la Escuela Valenciana de Posgrado y Red de Investigación en Inteligencia Artificial (ValgrAI), junto con la Universidad de Cambridge, que ha publicado este miércoles la revista ‘Nature’.
Como apunta la UPV, el trabajo revela una tendencia «alarmante»: en comparación con los primeros modelos, y atendiendo a ciertos aspectos, la fiabilidad ha empeorado en los modelos más recientes (GPT-4 en comparación con GPT-3, por ejemplo). Además añaden que también han comprobado que la supervisión humana es incapaz de compensar estos problemas, al creer en exceso de la fiabilidad de estas aplicaciones.
Los resultados fueron similares para múltiples familias de modelos de lenguaje, incluidos la familia GPT de OpenAI, LLaMA de Meta, y BLOOM, una iniciativa totalmente abierta de la comunidad científica.
Según explica José Hernández Orallo, investigador de VRAIN y de ValgrAI, una de las principales preocupaciones sobre la fiabilidad de los modelos de lenguaje es que su funcionamiento no se ajusta a la percepción humana de dificultad de la tarea.
«Los modelos pueden resolver ciertas tareas complejas de acuerdo a las habilidades humanas, pero al mismo tiempo fallan en tareas simples del mismo dominio. Por ejemplo, pueden resolver varios problemas matemáticos de nivel de doctorado, pero se pueden equivocar en una simple suma», apunta Hernández-Orallo.
Sin embargo, el estudio del equipo de la UPV, ValgrAI y la Universidad de Cambridge «demuestra que no ha sido así», afirman desde la universidad. Para demostrarlo, investigaron tres aspectos clave que afectan a la fiabilidad de los modelos de lenguaje desde una perspectiva humana. Aseguran, entre otra cosa, que «no existe una ‘zona segura’ en la que se pueda confiar en que los modelos funcionen a la perfección».
Así lo apunta la investigadora Yael Moros Daval, también del Instituto VRAIN de la UPV, que detalla que el trabajo publicado concluye que los actuales modelos de IA «no son precisos al 100% ni siquiera en tareas sencillas«.
De hecho, el equipo del Instituto VRAIN UPV, ValgrAI y la Universidad de Cambridge asegura que los modelos más recientes básicamente mejoran su rendimiento en tareas de alta dificultad, pero no en tareas de baja dificultad, «lo que agrava la discordancia de dificultad entre el rendimiento de los modelos y las expectativas humanas», añade Fernando Martínez Plumed, investigador también de VRAIN UPV.
Cualquier respuesta
El estudio descubre también que los modelos de lenguaje recientes son mucho más propensos a proporcionar respuestas incorrectas, en vez de evitar dar respuesta a tareas de las que no están seguros. «Esto puede llevar a que los usuarios que inicialmente confían demasiado en los modelos, luego se decepcionen».
«Hemos comprobado que los usuarios pueden dejarse influir por prompts [un programa informático que interpreta órdenes y comandos] que funcionan bien en tareas complejas pero que, al mismo tiempo, obtienen respuestas incorrectas en tareas sencillas», añade Cèsar Ferri, investigador y coautor también del estudio.
Por otra parte, a diferencia de las personas, la tendencia a evitar proporcionar respuestas no aumenta con la dificultad. Por ejemplo, los humanos suelen evitar dar su opinión en problemas que superan su capacidad. Esto relega a los usuarios la responsabilidad de detectar fallos durante todas sus interacciones con los modelos», añade Lexin Zhou, miembro de VRAIN.
Pero, ¿es más eficaz la IA dependiendo de cómo se formulen las preguntas y consultas? Esta es otra de las cuestiones que analiza el estudio, que apunta que los usuarios no deberían ‘liberarse’ de hacer enunciados eficaces para intentar conseguir la mejor respuesta posible.
«En definitiva, los grandes modelos de lenguaje son cada vez menos fiables desde el punto de vista humano, y la supervisión del usuario o usuaria para corregir errores no es la solución, ya que tendemos a confiar demasiado en los modelos y somos incapaces de reconocer resultados incorrectos a diferentes niveles de dificultad», otro de los investigadores.
Suscríbete para seguir leyendo
