Un modelo visión-linguaxe, tamén chamado sistema multimodal de texto-visión ou VLM (polas súas siglas en inglés, Vision language model), é un modelo que pode procesar texto e imaxes (ou vídeos), xa que no seu adestramento recibe unha entrada visual e o seu texto asociado. Poden realizar numerosas tarefas como pode ser describir unha imaxe ou responder preguntas sobre un vídeo.

Definición Os modelos visión-linguaxe son modelos multimodais que no seu adestramento emprega unha entrada visual e o seu texto asociado. Son un subtipo de modelos xerativos que reciben unha entrada visual, como pode ser unha imaxe ou un vídeo, e unha entrada de texto, xerando unha saída de texto. Teñen boas capacidades de xeneralización e poden procesar moitos tipos de formatos de imaxes, ademais de documentos, páxinas web, etc. En xeral poden realizar moitos tipos de tarefas, como poden ser describir imaxes, responder preguntas sobre un vídeo, comprensión de documentos, etc. Algúns modelos tamén son capaces de capturar propiedades espaciais nunha imaxe ou indicar as coordenadas dun obxecto na imaxe. Estes modelos poden utilizar caixas delimitadoras (bounding box, do inglés) ou segmentación para indicar o obxecto que corresponde á saída proporcionada.

Arquitectura Os modelos visión-linguaxe adoitan estar compostos por un codificador de linguaxe e outro de visión. O codificador de linguaxe captura o significado e as asociacións entre palabras e oracións, converténdoas en embeddings para poder usarse no modelo. En xeral, utilízase unha arquitectura de transformador. O codificador de visión extrae propiedades visuais da imaxe ou vídeo e convérteas tamén en embeddings para seren procesadas. Para este propósito adóitanse empregar redes neurais convolucionais ou a arquitectura dun transformador de visión.

Despois de pasar as entradas de texto e visual a embeddings, realízase unha fase de aliñación intermodal, que aliña as características visuais e textuais nun espazo compartido para poder relacionar as partes relevantes dunha imaxe co texto específico.

Por último, as características aliñadas fusiónanse para o seu procesamento. Existen tres tipos de fusión: a fusión tardía, a temperá e a de atención cruzada. Na fusión tardía as características visuais e textuais procésanse por separado e despois se combinan. Na fusión temperá as características fusiónanse ao principio e procésanse xuntas. Na fusión de atención cruzada as características compleméntanse durante o procesamento.

Familias de VLM Hai 4 formas principais de realizar o adestramento dos VLM, que os divide en 4 familias en función de como que técnica se use. Cómpre destacar que para a maioría dos modelos adóitase empregar un adestramento que mesture todas estas técnicas. Aprendizaxe contrastivo: utiliza pares de exemplos positivos e negativos. Os pares positivos son os que se corresponden, mentres que os negativos son pares que non se corresponden (por exemplo, unha imaxe e un texto que non a describe). O VLM adéstrase para predicir representacións similares nos exemplos positivos e diferentes nos negativos. Para levar a cabo isto, utiliza a similitude coseno (o produto escalar dos vectores dividido polo produto das normas dos vectores), é dicir, os vectores de texto e imaxe que están relacionados colócaos cerca nese espazo común para ambos (o coseno está próximo a 1), e os que non están relacionados, afástaos (o coseno está próximo a 0). Enmascaramento: adéstrase ao VLM para reconstruír elementos que faltan na entrada dada. Adóitase empregar para que constrúa o texto enmascarado a partir da imaxe dada. Adestramento xerativo: adéstrase ao modelo para xerar imaxes ou textos longos. Son os que teñen un maior tempo de adestramento. Modelos preadestrados: neste tipo de aprendizaxe cóllese un modelo de linguaxe e un modelo de visión adestrados e o VLM aprende a relacionar imaxes con textos, mais non ten que aprender a crear ou entender as imaxes e textos.

Limitacións Os VLM teñen moitas das limitacións que arrastran os modelos de aprendizaxe automática. En primeiro lugar, sempre terán un nesgo de datos, pois proporcionarán respostas relacionadas cos datos de adestramento. Isto deriva nas alucinacións do modelo, é dicir, cando o modelo proporciona resultados que non teñen que ver coa realidade. Porén, este nesgo pódese evitar publicando cales foron os datos de adestramento do modelo, e limitando o uso do modelo para os ámbitos nos que realmente obtén bos resultados.

Relacionado co anterior sae á luz o problema da xeneralización, é dicir, ao modelo vaille custar obter resultados cuxa entrada é moi distinta aos datos de adestramento. Isto limita o seu rendemento nas aplicacións do mundo real, onde a entrada pode variar. De novo, un adestramento cun conxunto de datos máis amplo ou variado pode solucionar este problema. A dificultade aquí radica na obtención deses datos, xa que non hai sempre datos accesibles ou suficientes.

En terceiro lugar, aparece o problema da interpretabilidade, pois é complicado saber como o VLM chegou á decisión tomada, xa que se trata dun modelo de caixa negra.

Por último, a escalabilidade é un problema esencial. Os VLM, ao igual que moitos modelos de aprendizaxe automática teñen moitos parámetros e no adestramento realizan numerosas iteracións. Deste xeito, para facer modelos máis grandes precísanse recursos computacionais maiores, o que fai que estes modelos sexan máis custosos, máis prexudiciais para o medio ambiente e menos accesibles para o público xeral.

Modelos Hai moitos tipos de VLM, tanto modelos base xerais como modelos nos que se realizou un axuste fino para especializalos na resolución dun problema concreto. De código aberto destacan Llava 1.6 (Hermes 34B), deepseek-vl-7b-base, KOSMOS-2 e Qwen-VL. Tamén hai outros modelos importantes desenvolvidos por diferentes empresas, como poden ser Gemini 2.0 Flash, GPT-4o, Llama 3.2, NVLM ou CLIP.

Existen páxinas para comparar modelos en función de distintas características. Isto pode ser útil para que o usuario seleccione o modelo que mellor se adapta ao seu caso.

Benchmarks Moitos dos resultados das comparativas ás que nos anteriormente obtivéronse mediante benchmarks, cada un dos cales compara diferentes características. Cada benchmark ten a súa clasificación, aínda que hai algunhas comparativas que son independentes e non teñen benchmarks asociados. Algúns dos benchmarks máis utilizados para VLM son o MMMU, o MM-Vet, o OCRBench e o VQA.

Aplicacións Os VLM teñen numerosas aplicacións, xa que non só poden traballar con imaxes, senón tamén con vídeos. A continuación cítanse algunhas das tarefas máis comúns para as que se utilizan VLM. Etiquetar ou describir imaxes. Identificar o texto escrito nunha imaxe. Buscar imaxes nunha base de datos en función dun texto de entrada. Segmentación de imaxes segundo unha entrada en linguaxe natural. Creación de caixas delimitadoras en obxectos descritos con linguaxe natural. Xeración de imaxes dado un texto de entrada. Detección de obxectos dada unha descrición. Resposta a preguntas sobre unha entrada visual (imaxe ou vídeo). Interpretar e analizar gráficas.

Accesibilidade Os VLM permiten facer Internet máis accesible, por exemplo, describindo imaxes para que as persoas cunha diversidade funcional que lles impida comprendelas poidan entender o que hai nelas. Ademais, poderíase adestrar un VLM para recoñecer a lingua de signos e pasala a texto, o que axudaría a reducir a fenda dixital para as persoas xordas.

Notas

Véxase tamén

Outros artigos Transformador (modelo de aprendizaxe automática) Transformador de visión Modelo de texto a imaxe Procesamento da linguaxe natural Modelo de linguaxe a grande escala

Categoría:Vision por computadora Categoría:Intelixencia artificial