Novo LLM Benchmark: refiz todos os testes!
Read OriginalO autor refaz completamente seu benchmark de LLMs para desenvolvimento de software, apresentando a versão 2 do teste. O artigo explica por que a versão anterior foi aposentada (modelos atingiram o teto da prova) e detalha as mudanças: três fases, quatorze objetivos, rubrica de dez dimensões, e ajuste do harness para cada modelo (Claude no Claude Code, GPT no Codex, etc.). Inclui análise de resultados, comparação com versão anterior e discussão sobre a importância do contexto na avaliação de LLMs. Focado em tecnologia, programação e inteligência artificial.
Comments
No comments yet
Be the first to share your thoughts!
Browser Extension
Get instant access to AllDevBlogs from your browser
Top of the Week
1
Limit token usage in Microsoft Agent Framework
Jesse Liberty
•
1 votes
2
How to Roll Back AI Agents: Incident Response, Circuit Breakers, and Recovery Patterns
Paul Bryant
•
1 votes
3
Avoiding Reasoning Model Failures with Microsoft Foundry
Luke Murray
•
1 votes
4
When Your AI Agent Lies: Silent LLM Fallbacks
Luke Murray
•
1 votes
5
Adding a custom MCP server to Claude and ChatGPT
Simon Willison
•
1 votes
6
Testing AI prompts and comparing models with promptfoo
Tim Deschryver
•
1 votes
7
Superlogical
Mitchell Hashimoto
•
1 votes