Repositorio de Scripts y Datos del Examen MIR

Bienvenido a nuestro repositorio dedicado al Examen MIR. Esta colección contiene una serie de scripts y conjuntos de datos en Excel que se han utilizado para categorizar y responder a las preguntas del examen. Aprovechando las capacidades de Azure OpenAI GPT-4, hemos automatizado el proceso de comprensión y respuesta a los escenarios complejos presentados en el Examen MIR.

Características

• Categorización de Preguntas: Scripts que utilizan algoritmos de IA avanzados para clasificar las preguntas del examen en categorías relevantes.
• Respuestas Automatizadas: Utilización de Azure OpenAI GPT-4 para generar respuestas precisas y contextualmente relevantes para las preguntas del Examen MIR.
• Análisis de Imágenes: Scripts que utilizan el modelo GPT-4 Vision para analizar y responder a preguntas basadas en imágenes.
• Análisis de Datos: Conjuntos de datos en Excel que contienen las preguntas y respuestas, junto con los insights analíticos derivados de los datos del examen.

Resultados

Nuestros scripts y conjuntos de datos han producido los siguientes resultados:

• Precisión general de GPT-4: 87.14% en 210 preguntas

• Error general de GPT-4: 12.86% en 210 preguntas

• Precisión de GPT-4 (sin imágenes): 90.27% en 185 preguntas sin imágenes

• Error de GPT-4 (sin imágenes): 9.73% en 185 preguntas sin imágenes

• Precisión de GPT-4 para imágenes (sin verlas): 64% en 25 preguntas sobre imágenes

• Error de GPT-4 para imágenes (sin verlas): 36% en 25 preguntas sobre imágenes

• Precisión de GPT-4 Vision: 76% en 25 preguntas sobre imágenes

• Error de GPT-4 Vision: 24% en 25 preguntas sobre imágenes

La precisión de GPT-4 por especialidad varía, con algunas especialidades alcanzando una precisión del 100%.

Aquí adjuntamos dos gráficos, con y sin imágenes, que muestran la precisión de GPT-4 por especialidad.

Gráficos de Precisión de GPT-4

Gráficos de Precisión de GPT-4 con imágenes

Empezando

Para empezar a utilizar estos scripts y conjuntos de datos, asegúrate de tener instalados los siguientes requisitos previos:

• Python 3.x
• Paquetes de Python requeridos: langchain, langchain-openai, openai, python-dotenv, pandas, tqdm, openpyxl, matplotlib, seaborn

Puedes instalar todos los paquetes requeridos utilizando el siguiente comando en tu terminal:

pip install -r requirements.txt

En el archivo ".env" debes reemplazar los valores de las variables con tus propias credenciales. Tienes un ejemplo en el archivo env.sample con las credenciales necesarias.

Asegúrate de estar en el directorio correcto cuando ejecutes este comando.