Ollama en educación: qué significa ejecutar la IA en infraestructura propia

Después de decidir cómo debe acompañar un tutor y de conectar sus respuestas con un corpus mediante RAG, aparece una cuestión más técnica pero también educativa: ¿dónde se ejecuta realmente el modelo que genera la respuesta?

En TutorIA, esta decisión importa porque afecta al control sobre la infraestructura, al flujo de los datos, a la disponibilidad del servicio y a la capacidad de experimentar con distintos modelos. Ollama es una de las herramientas que permiten ejecutar modelos de lenguaje desde una infraestructura propia y ofrecerlos a otras aplicaciones mediante una API.

Ejecutar un modelo no es lo mismo que diseñar un tutor

Ollama facilita la instalación y ejecución de modelos en macOS, Windows y Linux. Una vez instalado, expone una API que, por defecto, puede utilizarse en la propia máquina a través de http://localhost:11434/api. Desde esa API una aplicación puede enviar mensajes al modelo, generar embeddings o consultar los modelos disponibles.

Eso resuelve una parte de la infraestructura, pero no define el comportamiento educativo. Ollama no decide qué documentos puede consultar TutorIA, cuándo debe ofrecer una pista, qué hacer ante una actividad evaluable o cuándo reconocer que no dispone de evidencia suficiente. Esas reglas pertenecen a otra capa del sistema.

Qué aporta Ollama a una arquitectura como TutorIA

La primera aportación es disponer de una forma relativamente sencilla de ejecutar y cambiar modelos. La herramienta permite descargar modelos, iniciarlos desde línea de comandos y utilizarlos desde otras aplicaciones. Esto facilita comparar alternativas sin tener que reconstruir todo el sistema que rodea al modelo.

La segunda es la API local. TutorIA no necesita integrar directamente cada modelo en su código. Puede comunicarse con Ollama como un servicio independiente: envía la conversación y el contexto y recibe la respuesta generada.

La tercera es que Ollama también ofrece generación de embeddings, es decir, representaciones numéricas del texto que pueden utilizarse en búsqueda semántica y sistemas RAG. De esta forma, la misma plataforma puede intervenir tanto en la recuperación como en la generación, aunque ambas funciones pueden utilizar modelos diferentes.

Qué significa realmente “IA local”

En este proyecto utilizamos “local” para referirnos a modelos que se ejecutan en infraestructura controlada por nosotros, en lugar de enviar cada petición a un proveedor externo de inferencia. Puede ser el propio ordenador, un servidor del centro o una máquina dedicada accesible por red privada.

Esto permite diseñar con mayor control dónde se ejecuta la inferencia y cómo circula la información. Pero local no significa automáticamente privado, seguro o adecuado. Si el servidor se expone sin protección, si los registros contienen datos sensibles o si otras aplicaciones pueden acceder a la API sin control, la arquitectura sigue teniendo riesgos.

Además, conviene no convertir “Ollama” y “local” en sinónimos. La herramienta dispone actualmente tanto de modelos ejecutados localmente como de servicios y modelos en la nube. Por eso, cuando hablamos de TutorIA debemos describir la configuración concreta que estamos utilizando, no atribuir propiedades de privacidad a la herramienta por su nombre.

La API convierte el modelo en un servicio

Una de las decisiones que simplifica TutorIA es separar la aplicación educativa del motor de inferencia. Ollama puede funcionar como un servicio al que se realizan peticiones. La documentación oficial define, entre otros, endpoints para conversación, generación, embeddings y consulta de modelos.

Por ejemplo, una petición de chat incluye el modelo y una secuencia de mensajes con distintos roles. TutorIA puede construir esa secuencia incorporando las reglas del sistema, la pregunta del estudiante y los fragmentos recuperados mediante RAG. El modelo recibe un contexto ya preparado; no conoce por sí mismo la estructura educativa del proyecto.

Esta separación tiene una consecuencia práctica: podemos evaluar por separado si falla la recuperación, si las instrucciones no son adecuadas o si un determinado modelo responde peor que otro. No todo error debe atribuirse al modelo.

Un ejemplo: de la pregunta del estudiante al modelo

Imaginemos una consulta sobre una actividad de comercio electrónico. Simplificando, el recorrido podría ser este:

1. el estudiante formula la pregunta en la interfaz de TutorIA;
2. la aplicación identifica el contexto y recupera fragmentos relevantes del corpus;
3. las reglas pedagógicas determinan qué tipo de ayuda puede ofrecerse;
4. TutorIA construye la petición con instrucciones, pregunta y fuentes recuperadas;
5. Ollama ejecuta el modelo y devuelve la generación;
6. la aplicación presenta la respuesta y, cuando procede, las fuentes utilizadas.

El hardware sigue importando

Ejecutar modelos en infraestructura propia no elimina las restricciones físicas. El tamaño del modelo, la memoria disponible, la GPU, la longitud de contexto y el número de usuarios simultáneos influyen en la velocidad y en los modelos que pueden utilizarse con comodidad.

La propia documentación de Ollama relaciona la longitud de contexto por defecto con la memoria de vídeo disponible. Un contexto mayor consume más memoria, algo especialmente relevante en un sistema RAG, donde la consulta puede incorporar varios fragmentos de documentación además de la conversación.

Controlar la infraestructura para poder decidir

Ollama tiene sentido en TutorIA porque desacopla el modelo de la aplicación y permite experimentar con inferencia y embeddings desde una infraestructura gestionada por el proyecto. Eso facilita comparar modelos y mantener bajo nuestro control una parte importante del sistema.

Pero autoalojar no convierte automáticamente una herramienta en educativa, privada o segura. El valor aparece cuando la infraestructura se integra con el corpus, el RAG, las reglas de acompañamiento y una gobernanza explícita. Ejecutar el modelo es una pieza; diseñar el tutor sigue siendo la tarea completa.

Fuentes principales

Ollama. (s. f.). API introduction. Documentación oficial. https://docs.ollama.com/api/introduction

Ollama. (s. f.). Embeddings. Documentación oficial. https://docs.ollama.com/capabilities/embeddings