Glosario NLP

Parámetro que controla la aleatoriedad en la generación de texto. Mayor temperatura = más creatividad/aleatoriedad.

Métrica de traducción automática que mide cuántas ediciones (inserciones, borrados, sustituciones, reordenamientos) hacen falta para convertir la salida del sistema en la referencia. Se relaciona directamente con el esfuerzo de post-edición.

Extensión de Chain-of-Thought donde el modelo explora varias líneas de razonamiento en paralelo como ramas de un árbol, evaluándolas y retrocediendo cuando una no prospera. Útil en problemas que exigen planificación.

Tarea de producir texto coherente continuando un prompt o siguiendo instrucciones. Tarea central de los LLMs.

Term Frequency-Inverse Document Frequency. Peso que refleja la importancia de una palabra en un documento relativo al corpus.

Clasificación de las lenguas según sus rasgos estructurales comunes (ej: orden SVO, lenguas tonales, aglutinantes).

Unidad básica de procesamiento en NLP. Puede ser palabra, subpalabra o carácter según el tokenizador.

Dividir texto en unidades más pequeñas (tokens): palabras, subpalabras o caracteres. Primer paso en el procesamiento.

Usar conocimiento de un modelo preentrenado en una tarea para mejorar el rendimiento en otra tarea relacionada.

Arquitectura de red neuronal basada en atención, sin recurrencia. Base de BERT, GPT y los modelos modernos de NLP.