Cómo instalar GPT-OSS 20B y realizar Fine-Tuning para no técnicos

¿Por qué elegir GPT-OSS 20B como IA local?

Primero, entendamos por qué elegir un agente de IA local como GPT-OSS 20B:

• Privacidad absoluta: Tus datos sensibles (documentos, correos, diarios personales) se procesan directamente en tu computadora, sin necesidad de enviarlos a la nube ni que un servidor externo decida qué consultas son apropiadas.
• Control total e independencia: Tú tienes el control de cómo funciona la IA, sin depender de suscripciones, límites impuestos por terceros o conexión a internet una vez configurado.
• Personalización extrema: Puedes ajustar el modelo a tu estilo y necesidades específicas, ya sea para escribir un tipo particular de texto o automatizar tareas muy concretas.

GPT-OSS 20B es un modelo de lenguaje de «peso abierto» lanzado por OpenAI, diseñado específicamente para despliegue y fine-tuning local. Es una opción potente y eficiente que puede ejecutarse en hardware de consumo.

Parte 1: Instalar GPT-OSS 20B para uso local (Inferencia)

Antes de poder personalizar el modelo (fine-tuning), primero necesitas tenerlo funcionando en tu computadora. Esto se conoce como «inferencia» local.

Requisitos de hardware:

Para ejecutar GPT-OSS 20B, necesitarás una computadora con:

• Al menos 16 GB de RAM (o memoria unificada si tienes un Mac con chip M1/M2/M3).
• Aunque el modelo puede funcionar solo con la CPU (el procesador principal de tu computadora), tener una tarjeta gráfica (GPU) dedicada (como una NVIDIA o AMD reciente) mejorará significativamente la velocidad con la que el modelo genera respuestas.

Opciones de software (LM Studio, Jan)

Estas herramientas están diseñadas para que personas sin conocimientos de programación puedan descargar y usar modelos de IA fácilmente.

1. LM Studio (Recomendado para una interfaz gráfica intuitiva):
   • Paso 1: Descargar LM Studio. Ve al sitio web oficial de LM Studio y descarga la versión compatible con tu sistema operativo (Windows, macOS, Linux).
   • Paso 2: Instalar y abrir. Instala el programa como cualquier otra aplicación. Una vez abierto, verás una interfaz amigable.
   • Paso 3: Buscar y descargar GPT-OSS 20B. En la barra de búsqueda de LM Studio, puedes buscar «gpt-oss-20b». Verás diferentes versiones, a menudo con la etiqueta «GGUF». Elige una que se adapte a tu hardware (por ejemplo, una versión cuantizada a 4 bits, ya que OpenAI usa un formato llamado MXFP4 para esto, lo que reduce el uso de memoria). Haz clic en descargar. El archivo puede ser grande (varios GB), así que asegúrate de tener espacio en tu disco duro.
   • Paso 4: Cargar y chatear. Una vez descargado, ve a la sección de chat de LM Studio. Selecciona el modelo gpt-oss-20b que descargaste. Podrás empezar a chatear con él directamente en tu computadora, sin conexión a internet.
2. Jan (Otra gran opción privada y offline):
   • Paso 1: Descargar Jan. Descarga la aplicación Jan desde su sitio web oficial.
   • Paso 2: Instalar y abrir. Instala y abre Jan.
   • Paso 3: Encontrar GPT-OSS. Jan tiene una biblioteca de modelos. Puedes encontrar los modelos «gpt-oss» (Unsloth menciona que se puede ejecutar gpt-oss en Jan). Descarga el modelo gpt-oss-20b cuando lo encuentres.
   • Paso 4: Chatear localmente. Una vez descargado, puedes interactuar con el modelo a través de su interfaz de chat sencilla, manteniendo todas tus conversaciones privadas en tu dispositivo.

Parte 2: Realizar Fine-Tuning de GPT-OSS 20B

El «fine-tuning» es el proceso clave para que tu agente de IA pase de ser un modelo generalista a uno especializado en tus necesidades concretas. Es como enseñarle a un chef profesional un conjunto de «recetas especiales» para un tipo específico de cocina, sin tener que reentrenarlo en todas las bases culinarias.

¿Qué es el Fine-Tuning y por qué es útil?

Definición: Es la personalización de un modelo de inteligencia artificial preexistente (en este caso, GPT-OSS 20B) utilizando tus propios datos. El objetivo es que el modelo aprenda tu estilo, tu vocabulario específico y cómo abordar tus tareas.

Ventajas clave:

• Respuestas más precisas y consistentes: El modelo se adaptará mejor a la intención del usuario y al formato que necesitas.
• Ahorro significativo de recursos: Es mucho más rápido y económico que entrenar un modelo desde cero.
• Control del tono y el estilo: Puedes hacer que la IA hable con la «voz de tu marca» o un estilo personal.
• Manejo de información específica: La IA puede incorporar conocimientos muy específicos de un dominio que no estaban en su entrenamiento original.

Requisitos de hardware para Fine-Tuning:

El fine-tuning puede ser más intensivo en recursos que la simple inferencia.

• Si utilizas métodos como Unsloth (que te recomendaré como opción «bajo código»), el fine-tuning del GPT-OSS 20B es posible con 14 GB de VRAM (memoria de GPU).
• Otros métodos de fine-tuning para el 20B podrían requerir hasta 65 GB de VRAM, lo cual ya es hardware de nivel empresarial. Por eso, la elección del software es crucial.

Opciones de plataformas para Fine-Tuning (sin/poco código):

1. Findtune.app (Recomendado para un enfoque «sin código»): Esta plataforma está diseñada para simplificar el fine-tuning al máximo, ocupándose de todo el proceso técnico por ti.
   • Paso 1: Regístrate en Findtune.app. Accede a su sitio web y crea una cuenta.
   • Paso 2: Prepara tus datos. Este es el paso más importante y que requerirá más tiempo y esfuerzo de tu parte, aunque no sea de programación.
     • Tipo de datos: Necesitas ejemplos de lo que quieres que el modelo aprenda. Idealmente, serán pares de «pregunta y respuesta» o «prompt y compleción» que muestren el comportamiento deseado.
     • Calidad sobre cantidad: La calidad y la diversidad de tus ejemplos son cruciales para el éxito del fine-tuning. Evita datos inconsistentes.
     • Cantidad sugerida: OpenAI recomienda un mínimo de 10 ejemplos, pero para ver mejoras claras, se sugiere entre 50 y 100 ejemplos.
     • Formato: Puedes subir tus datos en formatos como JSONL o CSV, dependiendo de las instrucciones de la plataforma.
   • Paso 3: Sube tus datos a Findtune.app. La plataforma te guiará para subir tus ejemplos. Ellos se encargarán de la preparación de los datos y el formato.
   • Paso 4: Selecciona el modelo base. Elige GPT-OSS 20B como el modelo que quieres fine-tunear.
   • Paso 5: Inicia el Fine-Tuning. La plataforma automatizará el proceso de ajuste del modelo.
   • Paso 6: Utiliza o exporta tu modelo afinado. Una vez que el fine-tuning haya terminado, Findtune.app debería permitirte usar el modelo afinado o exportarlo para uso local o en la nube.
2. Unsloth Colab Notebooks (Opción «bajo código» y altamente optimizada): Esta opción es excelente porque Unsloth ha optimizado el fine-tuning de GPT-OSS para usar mucha menos VRAM, haciéndolo accesible en hardware de consumo. Aunque implica usar «cuadernos» (notebooks) que contienen código, están preconfigurados y son relativamente sencillos de seguir.
   • Paso 1: Accede a Google Colab. Necesitarás una cuenta de Google. Google Colab te permite ejecutar código Python en la nube de forma gratuita (con limitaciones de hardware).
   • Paso 2: Busca los Notebooks de Unsloth. Ve a la documentación de Unsloth (mencionada en las fuentes) y busca los «gpt-oss-20b Reasoning + Conversational notebook».
   • Paso 3: Abre y copia el Notebook. Abre el notebook en Google Colab y haz una copia en tu Google Drive para poder editarlo.
   • Paso 4: Prepara tus datos. Similar a Findtune.app, necesitarás tus ejemplos de datos. Unsloth espera los datos en archivos train.jsonl y valid.jsonl. Los notebooks de Unsloth suelen tener secciones que te guían para subir y preparar tus datos.
   • Paso 5: Ejecuta las celdas del Notebook. Sigue las instrucciones dentro del notebook. Generalmente, esto implica ejecutar celdas de código una por una. Estas celdas instalarán las librerías necesarias (como Unsloth), cargarán tu modelo GPT-OSS 20B y tus datos, y comenzarán el proceso de fine-tuning utilizando la técnica LoRA (Low-Rank Adaptation), que es muy eficiente en el uso de memoria.
   • Paso 6: Monitorea y guarda el modelo. El notebook mostrará el progreso del entrenamiento. Una vez finalizado, podrás guardar el modelo fine-tuneado. Unsloth incluso tiene funciones para guardar el modelo en formato GGUF para que lo puedas usar con LM Studio, Jan u Ollama localmente.

Paso final: Evaluar tu agente Fine-Tuneado

Una vez que hayas realizado el fine-tuning, querrás saber si tu modelo mejoró y se comporta como esperas.

• Comparación directa: La mejor manera es generar respuestas tanto con el modelo base GPT-OSS 20B (sin fine-tuning) como con tu modelo afinado, utilizando el mismo conjunto de preguntas o prompts. Compara las respuestas lado a lado para ver si el modelo afinado es más preciso, conciso, o tiene el tono deseado.
• Herramientas de evaluación: Algunas plataformas de fine-tuning (como Findtune.app) o frameworks (como Unsloth) pueden ofrecer métricas o herramientas de evaluación para ayudarte en este proceso.

Al seguir estos pasos, podrás tener un agente de IA especializado corriendo en tu ordenador, con total control sobre tus datos y sin la necesidad de conocimientos avanzados de programación. ¡Mucha suerte en tu proyecto!

Preguntas frecuentes