Avaliação de respostas de questões de multipla escolha da OAB por um modelo de IA
Aluno: Eduardo Henrique
Data de realização de teste: 06/04/2026
Código fonte: https://github.com/eduoududu/juridico
Etapas Realizadas:
- Importação do Conjunto de Dados: O projeto iniciou com a importação de um conjunto de dados do Hugging Face.
- Fonte dos Dados: Os dados foram obtidos de
eduagarcia/oab_exams, que consiste em um conjunto de provas de múltipla escolha da OAB, incluindo perguntas, opções de resposta (A, B, C, D) e o gabarito oficial de cada questão. - Seleção de Subconjunto: Foi selecionado um subconjunto específico de 106 questões, abrangendo do número 319 ao 424, para a realização da análise.
- Submissão à IA: O subconjunto de 106 questões foi submetido ao modelo de LLM llama-3.3-70b-versatile (um modelo Llama 3 de 70 bilhões de parâmetros). A temperatura do modelo foi configurada para 0.1, visando um comportamento mais conservador e respostas menos criativas.
- Armazenamento e Comparação: As respostas geradas pela IA foram armazenadas no mesmo DataFrame que contém as perguntas, opções e gabarito. Em seguida, essas respostas foram comparadas com o gabarito para calcular a taxa de acerto do modelo.
Resultados Encontrados:
O percentual de acertos da IA para o subconjunto de questões analisado foi de:
58.49%
Gráfico de Acurácia Geral
Detalhes das Questões e Respostas
| Questão | Enunciado | Gabarito | IA | Situação |
|---|---|---|---|---|
| 319 | Em relação ao controle de constitucional ... | C | C | Certo |
| 320 | As alternativas a seguir apontam diferen ... | A | C | Errado |
| 321 | A respeito da distribuição de competênci ... | B | A | Errado |
| 322 | Os direitos políticos não podem ser cass ... | D | B | Errado |
| 323 | Considere a hipótese de Deputado Federal ... | A | B | Errado |
| 324 | Washington, adolescente com 14 (quatorze ... | C | C | Certo |
| 325 | No tocante às normas contidas no Estatut ... | A | B | Errado |
| 326 | Em âmbito federal, o direito de a Admini ... | D | B | Errado |
| 327 | A qualificação como Organizações da Soci ... | A | A | Certo |
| 328 | O contrato de prestação de serviços de q ... | C | C | Certo |
| 329 | Ao tomar conhecimento de que o serviço p ... | B | B | Certo |
| 330 | A Lei 11.107, de 6 de abril de 2005, dis ... | D | Nenhuma das alternativas está correta de acordo com a Lei 11.107/2005. | Errado |
| 331 | Antônio, vítima em acidente automobilíst ... | B | B | Certo |
| 332 | Noêmia, proprietária de uma casa litorân ... | B | B | Certo |
| 333 | Jonas, maior e capaz, confiou em depósit ... | C | B | Errado |
| 334 | Rodolfo, brasileiro, engenheiro, solteir ... | C | B | Errado |
| 335 | O negócio jurídico depende da regular ma ... | B | B | Certo |
| 336 | Gustavo tornou-se fiador do seu amigo He ... | D | C | Errado |
| 337 | Acerca da servidão de aqueduto, assinale ... | D | D | Certo |
| 338 | Suponha que tenha sido publicada no Diár ... | B | A | Errado |
| 339 | Quando a sentença que reconhece obrigaçã ... | B | B | Certo |
| 340 | Júlia ingressou com ação de indenização ... | C | C | Certo |
| 341 | No âmbito do Direito Processual Civil, o ... | A | B | Errado |
| 342 | O rito comum sumário tem suas hipóteses ... | A | A | Certo |
| 343 | Em uma ação fundada na responsabilidade ... | C | A | Errado |
| 344 | A respeito das ações possessórias, assin ... | B | D | Errado |
| 345 | No âmbito do Código de Defesa do Consumi ... | D | B | Errado |
| 346 | Analisando o artigo 6º, V, do Código de ... | C | C | Certo |
| 347 | Contrato oneroso, em que alguém assume, ... | A | C | Errado |
| 348 | É uma cláusula acessória ao contrato de ... | A | A | Certo |
| 349 | Em relação ao Direito Cambiário, é corre ... | D | C | Errado |
| 350 | Em relação à modificação do capital soci ... | C | B | Errado |
| 351 | A sociedade empresária XYZ Computação Gr ... | D | D | Certo |
| 352 | A Empresa ABC Ltda. foi incorporada pela ... | A | A | Certo |
| 353 | O Imposto sobre Operações Relativas à Ci ... | B | B | Certo |
| 354 | José dos Anjos ajuíza ação anulatória de ... | C | C | Certo |
| 355 | A redação da Súmula Vinculante 28 ("É in ... | C | C | Certo |
| 356 | O inciso VII do §1º do art. 225 da Const ... | C | D | Errado |
| 357 | Assinale a alternativa correta quanto ao ... | D | D | Certo |
| 358 | Com relação aos critérios para substitui ... | D | D | Certo |
| 359 | À luz da lei que dispõe sobre os Juizado ... | D | D | Certo |
| 360 | Tício praticou um crime de furto (art. 1 ... | B | D | Errado |
| 361 | Osíris, jovem universitária de Medicina, ... | D | A | Errado |
| 362 | Em relação ao cálculo da pena, é correto ... | B | D | Errado |
| 363 | Configura modalidade de peculato previst ... | B | A | Errado |
| 364 | Levando em consideração as modificações ... | A | C | Errado |
| 365 | A Lei 7.492/86 define os Crimes contra o ... | A | A | Certo |
| 366 | Em relação ao incidente de falsidade, é ... | A | A | Certo |
| 367 | Em relação às exceções previstas na legi ... | D | D | Certo |
| 368 | Acerca das disposições contidas na Lei P ... | C | C | Certo |
| 369 | João da Silva ajuizou reclamação trabalh ... | B | D | Errado |
| 370 | Assinale a alternativa correta em relaçã ... | A | D | Errado |
| 371 | José Antônio de Souza, integrante da cat ... | C | C | Certo |
| 372 | Paulo, empregado da empresa Alegria Ltda ... | A | C | Errado |
| 373 | Com relação ao contrato de aprendizagem, ... | C | C | Certo |
| 374 | Foi celebrada convenção coletiva que fix ... | D | D | Certo |
| 375 | A respeito do recurso de revista, é corr ... | B | C | Errado |
| 376 | Quanto ao cabimento do mandado de segura ... | A | A | Certo |
| 377 | Assinale a alternativa correta no que di ... | B | B | Certo |
| 378 | Em audiência de conciliação, instrução e ... | C | A | Errado |
| 379 | Lavrado auto de infração contra uma empr ... | B | A | Errado |
| 380 | Alcides, advogado de longa data, resolve ... | A | B | Errado |
| 381 | Na Secretaria Municipal de Fazenda, tram ... | B | B | Certo |
| 382 | A empresa Frios e Gelados S.A. promove a ... | B | B | Certo |
| 383 | Manoel, empresário, promove ação de sepa ... | B | B | Certo |
| 384 | A Administração Pública, por meio de det ... | C | C | Certo |
| 385 | José foi condenado criminalmente, com se ... | D | A | Errado |
| 386 | Conceição promove ação possessória em fa ... | C | C | Certo |
| 387 | No julgamento da ação envolvendo Manoel ... | D | D | Certo |
| 388 | Ademir, formado em Jornalismo e Direito ... | C | C | Certo |
| 389 | O advogado Antônio é convocado para pres ... | C | C | Certo |
| 390 | Tício é advogado regularmente inscrito n ... | B | B | Certo |
| 391 | Crésio é procurado por cliente que já po ... | C | C | Certo |
| 392 | A respeito da internacionalização dos di ... | C | C | Certo |
| 393 | As Constituições brasileiras se mostrara ... | B | B | Certo |
| 394 | No âmbito dos direitos humanos, a respei ... | A | A | Certo |
| 395 | A embaixada de um estado estrangeiro loc ... | B | B | Certo |
| 396 | Em janeiro de 2003, Martin e Clarisse Gr ... | B | B | Certo |
| 397 | Se Governador de Estado desejar se insur ... | D | C | Errado |
| 398 | Os Estados são autônomos e compõem a Fed ... | D | A | Errado |
| 399 | No processo de impedimento do Presidente ... | D | A | Errado |
| 400 | Lei estadual que regulamenta o serviço d ... | D | B | Errado |
| 401 | No que tange ao direito de nacionalidade ... | B | A | Errado |
| 402 | A iniciativa popular é uma das formas de ... | C | A | Errado |
| 403 | O habeas data não pode ser impetrado em ... | A | A | Certo |
| 404 | Com nítida inspiração na doutrina da pro ... | B | B | Certo |
| 405 | Fernando e Eulália decidiram adotar uma ... | C | C | Certo |
| 406 | No que tange à chamada ação de improbida ... | C | C | Certo |
| 407 | A estruturação da Administração traz a p ... | B | B | Certo |
| 408 | A revogação representa uma das formas de ... | C | C | Certo |
| 409 | Tendo o agente público atuado nesta qual ... | A | A | Certo |
| 410 | O art. 37, II, da Constituição da Repúbl ... | D | B | Errado |
| 411 | De acordo com o critério da titularidade ... | D | D | Certo |
| 412 | Em relação à união estável, assinale a a ... | C | B | Errado |
| 413 | João trafegava com seu veículo com veloc ... | C | C | Certo |
| 414 | Heitor, solteiro e pai de dois filhos ta ... | C | C | Certo |
| 415 | Durante assembleia realizada em condomín ... | B | A | Errado |
| 416 | O decurso do tempo exerce efeitos sobre ... | A | D | Errado |
| 417 | Em instrumento particular, subscrito por ... | A | A | Certo |
| 418 | A dação em pagamento é | C | C | Certo |
| 419 | Numa ação de reintegração de posse em qu ... | B | B | Certo |
| 420 | Considerando a ação de execução de títul ... | C | D | Errado |
| 421 | O Ministério Público ajuizou ação rescis ... | D | D | Certo |
| 422 | Zélia e Joaquim são vizinhos há cerca de ... | C | C | Certo |
| 423 | No curso dos processos, os juízes são do ... | A | A | Certo |
| 424 | A respeito da liquidação de sentença, as ... | A | C | Errado |