framework_de_evaluacion

Objetivos de la práctica

Familiarizarse con un framework de evaluación sencillo, Prompt Tools, que nos permitirá evaluar:

• Prompts
• Modelos largos de lenguaje quantizados, que podremos ejecutar en nuestro ordenador sin necesidad de usar API's de terceros.
• Bases de vectores.

Puedes consultar la lista completa de integraciones aquí

Instrucciones

Antes de ejecutar el jupyter notebook, es recomendable que crees un entorno virtual de python.

Cómo crear un entorno virtual de python

python -m venv .venv

Instala la librería ipykernel en el entorno virtual

.venv/bin/pip install ipykernel

Si usas Visual code Studio para ver el jupyter notebook, asegúrate que el entorno virtual que acabamos de crear esté seleccionado, antes de ejecutar ninguna celda.

A partir de aquí, cada paso está comentado en el notebook. Sigue la explicación en vídeo con el notebook abierto.