Introducción: Estudios recientes han mostrado el potencial de los modelos de lenguaje de gran tamaño en la educación médica, sin embargo, existe poca información respecto a las capacidades de estos en las asignaturas Bioquímica, Metabolismo y Nutrición, especialmente en modelos de código abierto o distinto de ChatGPT.

Objetivo: Evaluar las capacidades del modelo de lenguaje de gran tamaño de código abierto Llama 3.1 70B-Instruct en las asignaturas Bioquímica, Metabolismo y Nutrición.

Material y Métodos: Se llevó a cabo un estudio observacional exploratorio de enfoque mixto, mediante dos grupos de evaluadores, uno de ellos ajeno a la investigación.  Los investigadores evaluaron 264 preguntas, mientras los evaluadores externos examinaron una selección aleatorizada estratificada por temas de 72 preguntas. Se utilizó para dicho proceso una escala Likert de 5 puntos, RStudio como software de análisis estadístico y Zotero para la gestión de las fuentes de información.

Resultados: Ambos grupos de evaluación mostraron resultados similares, un consenso en la calificación de estos evaluó la herramienta con 4,75 puntos. Su mayor rendimiento fue en la asignatura Metabolismo y Nutrición con 4,8, mientras en Bioquímica 4,7 puntos. Existieron temas que mostraron carencias. Las explicaciones ofrecidas por la herramienta fueron claras y útiles, con capacidad para explicar conceptos abstractos.

Conclusiones: Los resultados obtenidos fueron favorables. Sin embargo, es fundamental continuar la realización de estudios exhaustivos de modelos de lenguaje de gran tamaño en estas y otras asignaturas de la educación médica. Solo así se podrá orientar a los estudiantes en su mejor uso y explotación.