Avaliação Comparativa de Modelos de Linguagem através de Benchmark Multidimensional e Julgamento Automático por LLM-as-a-Judge
Resumo
Modelos de Linguagem de Grande Escala (LLMs) têm se tornado fundamentais em aplicações de inteligência artificial voltadas para tarefas textuais, como geração criativa, tradução, resumo e resolução de problemas. Contudo, comparar objetivamente diferentes modelos requer métricas padronizadas de desempenho e qualidade. Este trabalho apresenta um estudo quantitativo e qualitativo envolvendo quatro modelos amplamente utilizados — Llama 3 70B, Mixtral 8x7B, Llama 3 8B e Mistral 7B — avaliados em 50 prompts distribuídos em cinco categorias: Criatividade, Resumo, Tradução, Q&A factual (Perguntas e Respostas Factuais) e Matemática. O desempenho técnico foi mensurado por tempo médio de resposta, enquanto a qualidade subjetiva foi avaliada por meio de um método automatizado conhecido como LLM-as-a-Judge, utilizando o modelo Llama 3 70B como avaliador gratuito via OpenRouter. Foram gerados 200 outputs analisados em múltiplos critérios. Os resultados indicam diferenças relevantes entre os modelos, tanto em velocidade quanto em qualidade textual. A combinação de benchmarking e avaliação automática demonstrou ser eficaz, reprodutível e escalável. Conclui-se que métodos baseados em LLM-as-a-Judge são promissores como alternativa para avaliação humana em experimentos com LLMs.
Revista Eletrônica de Computação Aplicada