ATA 790 ¡Exprime tu IA local! Domina Ollama desde la terminal

¡Hola! Soy Lorenzo y esto es Atareao con Linux. Bienvenidos al episodio número 790, la segunda entrega de nuestra serie dedicada a montar nuestro propio laboratorio de Inteligencia Artificial local.

Antes de meternos en harina, quiero darte las gracias de todo corazón. El primer episodio de esta serie ha tenido una acogida espectacular, y eso me llena de satisfacción y me da muchísima energía para seguir compartiendo contigo todo este camino. Parece que no soy el único que tiene ganas de recuperar el control de sus datos y de jugar con estos modelos de lenguaje sin depender de servicios externos.

En el episodio anterior estuvimos centrados en la infraestructura: montamos Ollama usando Quadlets y dejamos todo listo para empezar a funcionar. Pero hoy vamos a cambiar el tercio. Hoy vamos a dejar de hablar de configuraciones de sistemas para empezar a hablar, literalmente, con la inteligencia. Y lo vamos a hacer de la forma más pura y directa posible: a través de la terminal.

Seguramente te preguntarás: "¿Pero Lorenzo, para qué voy a usar la terminal si ya hay interfaces web que son una maravilla?". Pues te lo cuento con todo el entusiasmo del mundo: para entender qué está pasando de verdad. En este episodio vamos a exprimir Ollama desde la línea de comandos, bajando al barro, porque hay opciones y configuraciones que en las interfaces gráficas a veces quedan ocultas o simplificadas. Si queremos ser verdaderos "cacharreros" de la IA, tenemos que saber qué pasa bajo el capó.

Hardware y monitorización en tiempo real

En este episodio te cuento cómo estoy viviendo la experiencia con mi hardware. Estoy utilizando una tarjeta Nvidia GeForce RTX 4060 en un equipo Slimbook que va como un tiro. Te explico cómo monitorizo el uso de la GPU y cómo puedes ver, de forma casi mágica, el momento exacto en el que el modelo se carga en los 16 GB de memoria y empieza a consumir recursos. Es fascinante ver cómo el uso de la tarjeta pasa del 0% al 100% mientras la IA genera una respuesta para nosotros. Entender esta relación entre el hardware y el software es fundamental para saber qué modelos podemos ejecutar y cuáles nos van a mandar a "freír espárragos".

Dominando los meta-comandos de Ollama

A lo largo del audio, vamos a desgranar una serie de comandos que te van a convertir en un maestro de la IA local:

• Información detallada
• Personalidad y roles.
• Rendimiento puro.
• Creatividad bajo control.

Capítulos del episodio:

• 00:00:00 - Bienvenida y agradecimientos por la acogida
• 00:00:40 - El laboratorio de IA: Recapitulando el episodio anterior
• 00:01:34 - ¿Por qué bajar al barro con la terminal?
• 00:03:31 - Preparando el entorno y monitorizando la GPU Nvidia
• 00:05:00 - Flujo de trabajo: Arrancar el contenedor y el modelo
• 00:05:35 - Comandos de ejecución, Podman y atajos útiles
• 00:06:40 - Regalo: Una chuleta (cheat-sheet) para dominarlos a todos
• 00:07:48 - Hablando con Ollama de forma interactiva
• 00:08:24 - Meta-comandos: Descubriendo las tripas del modelo
• 00:09:12 - Licencias y parámetros técnicos del modelo
• 00:10:05 - Configurando el rol de experto desarrollador
• 00:11:15 - Midiendo el rendimiento: Tokens por segundo
• 00:12:00 - Modo silencioso y generación de scripts
• 00:12:55 - Atajos de teclado y ayuda rápida
• 00:13:35 - Ajustando la temperatura y la creatividad
• 00:14:40 - Cómo guardar y cargar tus modelos personalizados
• 00:15:20 - Poniendo a prueba a la IA: Verificación de código
• 00:16:15 - Monitorización en tiempo real de CPU y GPU
• 00:17:40 - Cómo elegir el modelo ideal según tu hardware
• 00:19:08 - Próximos pasos: La REST API de Ollama
• 00:20:30 - Despedida y consejos de vida

Más información y enlaces en las notas del episodio