Softcatalà ha llevado a cabo la primera evaluación pública y sistemática del rendimiento de modelos de lenguaje y reconocimiento de voz en catalán, analizando sistemas como Gemma 3 de Google, Mistral, LLaMA de Meta, Qwen y EuroLLM en tareas reales. Las pruebas incluyen reformulación de frases, detección de errores gramaticales, preguntas basadas en la Viquipèdia, generación de resúmenes y traducciones entre catalán y inglés.
El estudio utiliza herramientas de evaluación abiertas y reutilizables, permitiendo la reproducción de resultados y comparaciones futuras. A pesar de la creciente presencia digital del catalán, su volumen de datos es muy inferior al del inglés o castellano, lo que afecta la calidad de los sistemas de IA. Softcatalà introduce un enfoque basado en datos objetivos en un campo donde predominan las percepciones subjetivas.
La evaluación permite responder a preguntas sobre la idoneidad de los modelos para trabajar en catalán y si el tratamiento del idioma es comparable al de otras lenguas europeas. Los resultados revelan diferencias significativas entre modelos en comprensión, reformulación, traducción y capacidad de resumen, desmintiendo la idea de una funcionalidad homogénea en las herramientas comerciales.
La segunda parte del estudio se centra en el reconocimiento de voz, comparando Whisper de OpenAI con OmniASR de Meta, para medir la precisión de transcripción en catalán. Este ámbito es crítico debido a las variaciones dialectales y la limitada disponibilidad de corpus de voz. Las diferencias entre modelos pueden resultar en errores de comprensión y transcripciones defectuosas.
La iniciativa de Softcatalà también aborda el tema de la soberanía tecnológica, ya que se enfoca en modelos que pueden ejecutarse localmente, evitando el envío de datos a plataformas externas. Este aspecto es crucial en educación, administración pública y medios de comunicación, donde la privacidad y el control lingüístico son esenciales.
¿Hasta qué punto la evaluación rigurosa de la IA en lenguas minoritarias puede influir en su desarrollo y uso en el futuro?
.
.
.
RESUMEN BASADO EN EL ARTÍCULO PUBLICADO EN El Punt Avui EL Fecha no disponible. Leer original
https://www.elpuntavui.cat/societat/article/15-ciencia/2643429-softcatala-posa-nota-a-la-ia-en-catala.html?cca=3&app_id=106
Netflix prepara un estudio de animación nativo en IA: INKubator anticipa una nueva batalla en Hollywood