Avaliação Comparativa de Modelos de Linguagem através de Benchmark Multidimensional e Julgamento Automático por LLM-as-a-Judge

Guilherme Maranha Silva, Daniel Facciolo Pires

Resumo


Modelos de Linguagem de Grande Escala (LLMs) têm se tornado fundamentais em aplicações de inteligência artificial voltadas para tarefas textuais, como geração criativa, tradução, resumo e resolução de problemas. Contudo, comparar objetivamente diferentes modelos requer métricas padronizadas de desempenho e qualidade. Este trabalho apresenta um estudo quantitativo e qualitativo envolvendo quatro modelos amplamente utilizados — Llama 3 70B, Mixtral 8x7B, Llama 3 8B e Mistral 7B — avaliados em 50 prompts distribuídos em cinco categorias: Criatividade, Resumo, Tradução, Q&A factual (Perguntas e Respostas Factuais) e Matemática. O desempenho técnico foi mensurado por tempo médio de resposta, enquanto a qualidade subjetiva foi avaliada por meio de um método automatizado conhecido como LLM-as-a-Judge, utilizando o modelo Llama 3 70B como avaliador gratuito via OpenRouter. Foram gerados 200 outputs analisados em múltiplos critérios. Os resultados indicam diferenças relevantes entre os modelos, tanto em velocidade quanto em qualidade textual. A combinação de benchmarking e avaliação automática demonstrou ser eficaz, reprodutível e escalável. Conclui-se que métodos baseados em LLM-as-a-Judge são promissores como alternativa para avaliação humana em experimentos com LLMs.

Texto completo: PDF