Claire Vo, no podcast “How I AI”, realizou um benchmark inédito comparando quatro dos principais agentes pessoais de inteligência artificial: Grok Bot, Dot, Muse e Claude Duet. O teste submeteu as ferramentas a nove tarefas do cotidiano profissional e pessoal para determinar quais são mais confiáveis para o trabalho e quais se destacam na vida pessoal.
As tarefas incluíram desde a redação de respostas no Slack e a correção de bugs no Sentry até a criação de thumbnails no Figma e a triagem de e-mails. Para operar os agentes, foi utilizada a funcionalidade de “computer use”, com o Claude operando o Dot e o Codex gerenciando os demais, pontuando os resultados em tempo real.
Desempenho em Cenários Reais
O episódio detalha o desempenho de cada ferramenta em diversos cenários, incluindo:
- Resposta a mensagens de forma personalizada.
- Edição de vídeos curtos a partir de arquivos brutos.
- Resolução de problemas técnicos em ferramentas de monitoramento.
- Organização de fluxos de trabalho e triagem de caixas de entrada.
- Explicação de conceitos complexos para diferentes públicos.
Os resultados oferecem uma visão clara sobre o estado atual dos agentes de IA e sua crescente capacidade de execução autônoma em interfaces de software reais, um marco importante para a produtividade e automação de tarefas.
Artigo original: Lenny’s Newsletter
Traduzido e adaptado pela Equipe CRO Brasil