Pular para o conteúdo

Recursos · Qualidade das respostas

Busca corporativa com resultado verificável em avaliação pública.

A Skyller marcou 71,93 pontos no EnterpriseRAG-Bench, avaliação pública com mais de 500 mil documentos e 500 perguntas. No placar consultado em 6 de setembro de 2026, ficou em 4º lugar entre 22 sistemas, à frente das configurações avaliadas de OpenAI File Search, Amazon Q, Azure AI Search, Vertex AI Search e NVIDIA AI Blueprints. Os resultados, o método e as respostas estão disponíveis para consulta.

Testar grátisAgendar demonstração
Ver como funciona
Skyller · Política de trabalho remoto
Skyller - Assistente IAPolítica de trabalho remoto

Quantos dias de home office eu tenho por semana?

…

A Skyller é uma IA e pode cometer erros. Lembre-se de conferir.

Respondendo

Demonstração · dados ilustrativos

71,93 PONTOS

nota geral da submissão da Skyller no EnterpriseRAG-Bench

+10,9 PONTOS

diferença para OpenAI File Search (61,03), nas configurações registradas no placar de 6 de setembro de 2026

20 DE 20 CASOS

na categoria sem resposta no acervo, todos foram identificados corretamente; o resultado se limita a esses casos

4º DE 22

posição conferida no placar público em 6 de setembro de 2026; a Skyller entrou em 2º em 12 de agosto

O placar

As configurações comparadas no teste.

O benchmark usa um acervo, 500 perguntas e um método de avaliação comuns. Cada linha representa a configuração submetida daquele sistema, com seus modelos e ajustes. Os resultados não são uma avaliação de todos os produtos ou versões de cada fornecedor.

Recorte do placar público do EnterpriseRAG-Bench em 6 de setembro de 2026, com a posição e a nota geral de cada sistema.
metor.comPosição1Nota geral80,34
Causal Dynamics LabPosição2Nota geral78,95
TromlPosição3Nota geral76,79
SkyllerPosição4Nota geral71,93
OpenAI File SearchPosição8Nota geral61,03
Amazon Q (Kendra)Posição10Nota geral48,96
Azure AI SearchPosição11Nota geral48,42
Vertex AI SearchPosição14Nota geral41,87
NVIDIA AI BlueprintsPosição16Nota geral37,73

Recorte das quatro primeiras posições e de cinco sistemas de busca corporativa. O placar listava 22 sistemas em 6 de setembro de 2026. Novas submissões podem mudar posições e resultados; consulte a lista completa no site da Onyx.

Como interpretar a posição

A posição compara as submissões publicadas nesse benchmark, que reúne sistemas de diferentes tipos. Ela não é uma classificação de todos os produtos do mercado nem certifica condições comerciais. A Skyller entrou em 2º lugar em 12 de agosto de 2026 e aparecia em 4º, com os mesmos 71,93 pontos, na consulta de 6 de setembro.

A avaliação

Um vestibular para assistentes de empresa.

O EnterpriseRAG-Bench é mantido pela Onyx, que vende um produto do mesmo tipo e se exclui do próprio placar para evitar conflito de interesse. O acervo, as perguntas, o corretor e o histórico do placar são públicos.

500 MIL

Uma empresa inteira, de mentira

O acervo simula uma empresa de tecnologia que não existe: pouco mais de 500 mil documentos em nove origens — mensagens internas, e-mails, chamados de projeto, arquivos compartilhados, CRM, transcrições de reunião, código, suporte e wiki.

É o volume de uma empresa de verdade, não uma amostra

DE PROPÓSITO

Bagunçado como a vida real

Depois de gerar os documentos, a Onyx embaralha o acervo: arquivos mal guardados, quase-duplicatas em sistemas diferentes, versões desatualizadas e documentos que se contradizem abertamente.

O teste mede busca em desordem, que é o caso de todo mundo

500

Perguntas de gente de verdade

Dez tipos, da pergunta simples com uma única fonte até a que exige juntar um projeto inteiro, a que tem informação conflitante e vinte cuja resposta simplesmente não está no acervo.

Inclui a pergunta que derruba assistente: a que não tem resposta

INDEPENDENTE

Quem corrige não é a Skyller

Cada resposta é comparada com a resposta esperada e com a lista de fatos que ela precisa conter. Os documentos são classificados por três avaliações independentes, e a maioria decide. O programa e as regras são da Onyx.

Nenhuma etapa da correção passa por nós

Como a nota sai

Quatro medidas, não uma opinião.

Correção · 77,0
O corretor lê a resposta da Skyller e a resposta esperada e julga se as duas dizem a mesma coisa. Diferença de estilo não conta contra; número que não bate, sim. Três em cada quatro respostas foram julgadas corretas.
Completude · 79,14
Cada pergunta tem uma lista de fatos que a resposta precisa conter, conferidos um a um. Cerca de quatro em cada cinco fatos esperados apareceram na resposta. A nota geral de 71,93 combina esta medida com a correção.
Documentos certos · 81,6
Das fontes que a avaliação considera necessárias para responder, quatro em cada cinco foram encontradas pela busca. É a medida que diz se o material certo chegou até a resposta.
Ruído · 8,86 por pergunta
Quantos documentos irrelevantes a busca trouxe junto, em média. Aqui menos é melhor: cada arquivo descartável é ruído que o modelo precisa filtrar antes de responder.

O resultado

Tipo por tipo, sem recorte.

A média geral esconde o que mais importa para uma empresa: em que tipo de pergunta a assistente é forte. O teste separa as 500 perguntas em dez tipos, e a tabela abaixo é a íntegra do que a Onyx publicou sobre a Skyller.

Nota da Skyller no EnterpriseRAG-Bench por tipo de pergunta, com a quantidade de perguntas de cada tipo.
Não está no acervoPerguntas20Nota100,00Documentos certos—
Documentos informaisPerguntas20Nota85,00Documentos certos100,0
Trechos distantes do mesmo documentoPerguntas40Nota83,33Documentos certos97,5
Pergunta diretaPerguntas175Nota79,13Documentos certos88,6
Informação conflitantePerguntas20Nota74,57Documentos certos92,5
Pergunta com ressalvaPerguntas30Nota72,56Documentos certos93,3
Pergunta de visão geralPerguntas10Nota68,00Documentos certos—
Pergunta indiretaPerguntas125Nota64,47Documentos certos69,6
Documentos de um projeto inteiroPerguntas40Nota50,89Documentos certos64,0
Trazer tudo o que existePerguntas20Nota32,08Documentos certos52,0

Fonte: arquivo de resultados da Skyller publicado pela Onyx no repositório do placar. O traço aparece onde a avaliação não define documentos esperados. As duas últimas linhas são as frentes em que a equipe está trabalhando para a próxima submissão.

O que foi testado

A submissão usou as rotas públicas do produto.

As 500 respostas foram geradas pelos endereços públicos de conversa da Skyller, no ambiente registrado na submissão. Os modelos e ajustes usados fazem parte desse registro; mudanças posteriores no produto precisam de nova avaliação.

  1. Ponto de partida

    A pergunta literal da avaliação, enviada em uma conversa nova, sem categoria, sem resposta esperada, sem os documentos certos e sem nenhum contexto de pergunta anterior.

  2. O que aconteceu em cada pergunta

    1. 01A pergunta entrou pela mesma rota de conversa do produto, com o roteamento de modelo padrão da plataforma. O modelo que escreveu a resposta é da OpenAI — o que a avaliação mede é o trabalho da Skyller em volta dele.
    2. 02A busca percorreu o acervo de 510.646 documentos e devolveu os trechos, pelo mesmo funil que responde a uma conversa de cliente. Numa checagem de 100 perguntas, a rota pública de busca e o caminho interno do assistente devolveram a mesma taxa de documentos certos (83,72%) e o mesmo documento no topo em 93% das vezes.
    3. 03A Onyx não se contentou com o arquivo de respostas: recebeu acesso ao produto no ar e mandou 80 perguntas que nunca tínhamos visto, respondidas no mesmo dia pela mesma rota, dois dias antes de publicar o resultado.

  3. O que isso permite dizer

    O arquivo de respostas que guardamos aqui tem a mesma impressão digital (SHA-256 dfe926a3…) do arquivo que a Onyx publicou no repositório dela. Ninguém precisa acreditar na nossa palavra: as respostas, o corretor e a conta estão abertos.

Skyller · Resposta sem fonte publicada
Resposta sem fonte publicada

Qual é a nova regra que ainda está em rascunho?

…

A Skyller é uma IA e pode cometer erros. Lembre-se de conferir.

Respondendo

Demonstração · dados ilustrativos

Onde o teste para

  • O acervo é em inglês e de uma empresa fictícia. A prova que vale para a sua empresa é o teste com os seus documentos.
  • O ambiente foi ajustado para esse acervo. O resultado caracteriza essa configuração; a qualidade com outros documentos, idiomas e ajustes precisa ser medida.

Os valores desta seção vêm do registro técnico da submissão, guardado junto com as respostas.

O que isso significa

Por que esse número importa para a sua empresa.

Identificou os 20 casos sem resposta
Nas vinte perguntas cuja resposta não existia no acervo, a Skyller indicou corretamente que não encontrou. Esse resultado não garante ausência de erros em outras perguntas. As fontes apresentadas ajudam a equipe a conferir a resposta antes de fundamentar uma decisão.
Ela acha no meio da bagunça
O acervo do teste foi bagunçado de propósito, com arquivos mal guardados, quase-duplicatas e documentos que se contradizem. É o retrato da pasta compartilhada de qualquer empresa com alguns anos de operação.
O método e as respostas são públicos
A Onyx mantém o benchmark, publica o programa de avaliação e verificou a submissão com acesso à Skyller. As respostas e os resultados permitem examinar o que foi medido e reproduzir a avaliação.
Dá para conferir hoje
O placar, o acervo, as perguntas, o corretor e as nossas 500 respostas estão publicados. Qualquer pessoa da sua equipe pode abrir, comparar com outro fornecedor e refazer a conta.

Na hora de decidir

Como usar isso na sua avaliação.

Se você está comparando assistentes de IA para a sua empresa, três coisas que este resultado deixa fáceis de fazer.

  1. 01Quem vai usar

    Faça a mesma pergunta difícil a cada ferramenta que estiver testando

    de preferência uma cuja resposta esteja em dois documentos que se contradizem

  2. 02Quem decide

    Peça a data e a fonte de qualquer número de qualidade que receber

    o nosso está no placar da Onyx, com data, e pode ser conferido agora

  3. 03Quem cuida da TI

    Pergunte se o teste apresentado rodou no produto no ar ou num ambiente de demonstração

    o nosso rodou nos mesmos endereços que atendem as empresas, e quem publicou conferiu por conta própria

O que a avaliação mostrou

  • Encontrar os documentos certos em um acervo grande e bagunçado
  • Responder com base neles, sem contradizer a fonte
  • Dizer que não encontrou quando a informação não existe

O que só o seu teste mostra

  • Como ela se sai com os documentos e o vocabulário da sua empresa
  • Quem pode ver cada documento e cada conexão
  • As rotinas da sua equipe rodando de ponta a ponta

Onde conferir

Cada número desta página tem endereço.

Nada aqui depende de acreditar na Skyller. Os quatro endereços abaixo são públicos e mantidos pela Onyx.

Perguntas

O que costumam perguntar.

Começar

A prova que decide é com os seus documentos.

Um placar público mostra que a busca funciona num acervo grande e bagunçado, avaliada por quem não vende a Skyller. O que ele não mostra é a sua empresa. Isso dá para descobrir em uma tarde, de graça.

Testar grátisAgendar demonstração