COMO USAR MODELOS DE IA DE CÓDIGO ABIERTO EN LOCAL CON OLLAMA

Modelos de inteligencia artificial de código abierto para uso local

OpenAI ha lanzado dos modelos de inteligencia artificial de código abierto que puedes utilizar totalmente gratis en local y con una licencia muy permisiva Apache 2.0. Estos modelos están diseñados para diferentes tipos de hardware: uno es bastante grande, pensado para centros de datos y ordenadores potentes, y otro mediano que se puede ejecutar en la mayoría de ordenadores y portátiles actuales. Este último es el que nos interesa para uso local en máquinas personales.

Instalación y configuración de Ollama

Para comenzar a utilizar estos modelos, lo primero es instalar Ollama, una aplicación que permite descargar y ejecutar modelos de código abierto, no solo de OpenAI sino también de otras compañías. Ollama está disponible para MacOS, Linux y Windows. La instalación es sencilla, solo debes seguir el asistente y, una vez instalado, verás un icono de llama en la barra de tareas que indica que la aplicación está funcionando correctamente.

Con Ollama instalado, puedes elegir el modelo que deseas ejecutar. La interfaz gráfica facilita esta selección: al abrir Ollama, selecciona el modelo GPT OSS 20B, que es el mediano adecuado para la mayoría de los equipos. Si el modelo no está descargado, Ollama lo hará automáticamente. Este modelo requiere al menos 16 GB de memoria RAM para funcionar adecuadamente, aunque se recomienda un mínimo de 24 GB, especialmente si se trata de memoria unificada como en los Mac.

Uso del modelo mediante línea de comandos

Además de la interfaz gráfica, Ollama permite utilizar los modelos desde la línea de comandos. Para ello, debes ejecutar un comando específico que Ollama proporciona al seleccionar el modelo en su página web. Si el modelo no está descargado, se descargará automáticamente. Una vez listo, puedes hacer consultas, por ejemplo, pedir que calcule la serie de Fibonacci en TypeScript, y el modelo responderá en pocos segundos.

Esta opción es especialmente útil para quienes prefieren trabajar en terminal o integrar el modelo en scripts y flujos de trabajo automatizados. La posibilidad de ejecutar modelos de inteligencia artificial en local sin coste alguno abre muchas puertas para desarrolladores y entusiastas que buscan aprovechar la potencia de la IA sin depender de servicios en la nube.

Integración con Visual Studio Code

Una de las ventajas más interesantes es la integración de estos modelos con Visual Studio Code. Si ya utilizas Copilot, puedes sustituirlo por el modelo instalado en Ollama sin coste adicional. Para ello, instala la extensión correspondiente en Visual Studio Code y configura Ollama como proveedor de modelos.

Desde la extensión, accede a “Manage Models” y selecciona Ollama como proveedor. Allí aparecerán los modelos detectados en tu máquina, incluyendo GPT-OSS-20b. Selecciona este modelo para que Visual Studio Code lo utilice en las sugerencias y respuestas. Al pedir, por ejemplo, un código para calcular Fibonacci en JavaScript, la respuesta aparecerá directamente en el editor.

Es importante tener en cuenta que el modelo puede tardar un poco más en responder si utiliza el contexto del archivo abierto, ya que procesa toda la información para ofrecer una respuesta más precisa. Esto puede hacer que el editor funcione un poco más lento, pero mejora la calidad de las sugerencias.

Modo agente y edición directa

Visual Studio Code también permite usar el modelo en modo agente, que facilita la edición directa de archivos. Puedes indicarle que utilice el contexto del archivo para realizar cambios específicos, como añadir una meta descripción. Aunque esta operación puede tardar unos segundos, el resultado es una edición precisa y contextualizada que puedes aceptar o modificar.

Para optimizar el rendimiento, es recomendable ajustar la longitud del contexto en las preferencias de Ollama. Un contexto más amplio mejora la calidad de las respuestas, pero requiere más memoria y tiempo de procesamiento. Además, asegúrate de que Ollama tiene acceso a la tarjeta gráfica de tu equipo, ya que esto acelera significativamente la ejecución del modelo. Si la tarjeta gráfica está limitada o no accesible, el rendimiento puede verse afectado negativamente.

Conclusiones

La disponibilidad de modelos de inteligencia artificial de código abierto para uso local representa un avance significativo para desarrolladores y usuarios que buscan aprovechar la IA sin depender de servicios en la nube ni incurrir en costos adicionales. Con herramientas como Ollama, es posible descargar, instalar y ejecutar modelos potentes en máquinas personales, incluso integrándolos con entornos de desarrollo como Visual Studio Code.

El modelo mediano GPT OSS 20B es especialmente accesible para la mayoría de los usuarios, ofreciendo un equilibrio entre potencia y requisitos de hardware. La integración con Visual Studio Code permite mejorar la productividad mediante sugerencias y ediciones contextuales directamente en el editor, facilitando el desarrollo de software con soporte de inteligencia artificial.

Para obtener el mejor rendimiento, es fundamental contar con suficiente memoria RAM y acceso a la tarjeta gráfica, así como ajustar adecuadamente la configuración del contexto en Ollama. Esta combinación de recursos y configuraciones garantiza una experiencia fluida y eficiente.

En resumen, utilizar modelos de inteligencia artificial de código abierto en local es una opción viable, económica y poderosa para quienes desean incorporar IA en sus proyectos y flujos de trabajo, aprovechando la flexibilidad y control que ofrece esta modalidad.