Trabalho de Benchmark com Dataset jurídico de exames passados da OAB

Detalhes

• O trabalho envolveu análise de benchmark de resposta de IA à questões subjetivas e objetivas de multipla escolha.
• Questões abertas disponíveis no Github em: maritaca-ai/oab-bench.
• Quetões fechadas disponíveis no hugging face em: eduagarcia/oab_exams.
• Resultado: Relatório das questões abertas
• Resultado: Relatório das questões fechadas
• Importante:
• Todo conteúdo utilizado foi criado e executado no Google Colab e utilizando IAs gratuitas.
• Arquivo de perguntas e linha guia: questions.ipynb
• Arquivo de respostas subjetivas: open_questions.ipynb
• Arquivo de respostas objetivas: close_questions.ipynb