Glosario NLP

Traducción automática de texto de un idioma a otro. Aplicación clásica del NLP mejorada enormemente por Transformers.

Tarea de preentrenamiento donde el modelo predice tokens ocultos. Usada por BERT.

Representación visual de audio que muestra la energía en bandas de frecuencia Mel (escala perceptual humana) a lo largo del tiempo. Base fundamental para modelos de reconocimiento y síntesis de voz (ASR/TTS).

Métrica de evaluación de traducción automática que, a diferencia de BLEU, considera sinónimos, lematización y orden de palabras. Correlaciona mejor con juicios humanos a nivel de frase.

Arquitectura donde múltiples subredes especializadas ("expertos") se activan selectivamente para cada entrada, permitiendo modelos muy grandes con coste de cómputo contenido. Usada en modelos como Mixtral.

Concepto del funcionalismo que agrupa los usos del lenguaje en tres grandes funciones: ideacional (mundo), interpersonal (relaciones) y textual (coherencia).

Mecanismo cognitivo mediante el cual entendemos un dominio conceptual (destino) en términos de otro (origen). Ej: "El tiempo es dinero".

Unidad mínima de significado o función gramatical. Puede ser una raíz (significado léxico) o un afijo (significado gramatical).

Disciplina que estudia la estructura interna de las palabras y los procesos de formación de palabras.

Métrica de evaluación humana donde personas califican la naturalidad de voz sintética en escala 1-5. Gold standard para evaluar calidad de sistemas TTS. MOS >4 indica calidad casi humana.

Mecanismo que ejecuta múltiples cabezas de atención en paralelo, capturando diferentes tipos de relaciones.

Modelos que procesan múltiples modalidades: texto, imágenes, audio, video. GPT-4V y CLIP son ejemplos.