ATA 789 Tu propio Laboratorio de IA (adios a las subscripciones)

¡Hola! Soy Lorenzo y esto es Atareao con Linux. Bienvenidos al episodio número 789, un episodio que marca el inicio de una aventura que me tiene especialmente emocionado: vamos a montar nuestro propio laboratorio de Inteligencia Artificial en local.

Durante los últimos meses, y gracias a las "pullas" constructivas de amigos como Carlos Castillo de Reflex, RedFone o incluso mi archienemigo favorito Rafa de Leña al Mono, no he parado de darle vueltas a cómo exprimir la IA. Pero hay algo que me inquietaba: casi todo lo que hacía dependía de la nube. Por eso, tras cerrar el ciclo de Podman, he decidido que es el momento de tomar las riendas de nuestra soberanía digital y traernos los modelos de lenguaje a casa.

¿Por qué quieres una IA local?

Seguro que te lo has preguntado. ¿Para qué complicarse la vida si ya tienes Gemini o ChatGPT? Pues bien, en este episodio te cuento las tres razones fundamentales que me han llevado a este "cacharrreo" intensivo:

• Privacidad absoluta.
• Control de costes.
• Inmediatez.

El Stack Técnico: Podman, Quadlets y Ollama

No esperes que te enseñe a instalar cosas "a lo bruto" en tu sistema operativo. Fiel a mi estilo, vamos a usar contenedores, pero con un giro de tuerca profesional. Te explico por qué he elegido Podman sobre Docker para este proyecto, centrándome en la seguridad del modo rootless y la limpieza que nos ofrece. Además, profundizamos en el uso de Quadlets para que nuestra IA sea un servicio más de Linux, perfectamente integrado con Systemd.

Una serie para dominarlos a todos

Este no es un episodio aislado. Hoy inauguramos una serie de 32 capítulos donde iremos de cero a cien. No me interesan los tutoriales de "IA en 5 minutos" que no enseñan nada. Aquí vamos a profundizar en:

• Crear un cerebro digital usando RAG (Generación Aumentada por Recuperación) con nuestros propios archivos Markdown.
• Desarrollar agentes y skills que realicen tareas por nosotros.
• Integrar el stack con hardware NVIDIA para sacar hasta el último teraflop de potencia.
• Automatizarlo todo con scripts en Rust, Python y mi querido shell Fish.

Si te apasiona el open source y quieres dejar de ser un mero espectador de la IA para convertirte en el dueño de tu propia tecnología, este es tu sitio. ¡Prepárate porque nos lo vamos a pasar pipa!

Contenido detallado del episodio:

• 00:00:00 Introducción y el fin de la era Podman
• 00:01:21 El empujón de Slimbook y el Linux Center
• 00:02:15 El problema de depender exclusivamente de la nube
• 00:03:15 El plan maestro: 32 episodios de IA práctica
• 00:05:33 Tres razones para la IA local: Privacidad, pasta y latencia
• 00:07:25 Filosofía "Juan Palomo": Exprimir los modelos con scripts
• 00:08:08 El stack técnico: ¿Por qué Podman y no Docker?
• 00:09:40 Ventajas del rootless y la seguridad en IA
• 00:10:59 Quadlets: Integración total con Systemd
• 00:11:53 Herramientas: Fish shell, Rust y Go al servicio de la IA
• 00:13:20 Creando nuestra propia memoria digital (RAG)
• 00:14:00 Estructura de directorios y repositorio Git
• 00:15:37 El truco de los enlaces simbólicos para Quadlets
• 00:16:02 Hardware: NVIDIA y el aprovechamiento de la GPU
• 00:16:40 Desmenuzando el contenedor de Ollama
• 00:17:54 QCTL: Mi herramienta para gestionar Quadlets fácilmente
• 00:20:20 Comprobando que Ollama responde (CURL y API)
• 00:21:15 Monitorización con NVTOP y VTOP
• 00:22:13 Despedida y próximos pasos en el laboratorio local

Más información y enlaces en las notas del episodio