14/06/2024

Opera lança primeira ferramenta de benchmark de IA direto no navegador

Ferramenta permite que usuários avaliem a capacidade de seus dispositivos para IA, com uma análise abrangente do desempenho de PC ou Mac.

Nesta quinta-feira (06), a Opera, empresa desenvolvedora de navegadores lançou uma ferramenta pioneira de benchmark chamada devicetest.ai, que permite que os usuários verifiquem a capacidade de seus dispositivos para executar Inteligência Artificial (IA) localmente. Segundo a empresa, é a primeira do mundo a ser disponibilizada para o público geral e pode ser acessada diretamente através do navegador.

Imagem: Divulgação

A ferramenta já está disponível na versão mais recente do Opera Developer, o primeiro navegador a suportar modelos de linguagem local embutidos (LLMs). A plataforma online marca um passo significativo na integração da IA com o uso cotidiano dos dispositivos. Executar IA localmente traz benefícios como novas possibilidades de uso e melhorias na privacidade dos usuários, o que elimina a necessidade de comunicação com servidores externos.

Como funciona a ferramenta?

A empresa explica que para usar a devicetest.ai, o usuário deve acessar link específico utilizando o navegador, ler as informações relevantes e clicar em “Run Test”, escolher um perfil de teste, que determinará qual modelo de IA local será baixado e usado, e iniciar o teste.

Os perfis de teste disponíveis variam conforme os recursos exigidos pelo modelo de IA. Dependendo das especificações do sistema e do perfil escolhido, o teste pode durar de 3 a 20 minutos. Após a conclusão, os resultados são exibidos e podem ser compartilhados ou baixados como um arquivo CSV para análise posterior.

Os resultados são codificados por cores para facilitar a interpretação: verde indica que o dispositivo está pronto para IA; amarelo significa que o dispositivo é funcional e vermelho aponta que o dispositivo não está pronto para IA.

As principais métricas avaliadas pela ferramenta são:

  • Tokens Por Segundo (TPS): mede quantas palavras o modelo de linguagem consegue processar por segundo. No contexto dos LLMs, um “token” pode ser uma palavra ou uma fração de uma palavra.
  • Latência do Primeiro Token (FTL):FTL mede o tempo necessário para que o modelo gere a primeira palavra após receber um comando ou prompt.
  • Tempo de Carregamento do Modelo (MLT): MLT mede o tempo necessário para carregar o modelo de linguagem na memória RAM do dispositivo quando ele é inicializado pela primeira vez.

Detalhes dos testes

A ferramenta de benchmark realiza os testes várias vezes para garantir a consistência dos resultados. Cada teste avalia como o dispositivo lida com diferentes tarefas que um modelo de IA local executaria normalmente. A média das repetições é utilizada para fornecer um resultado confiável. Além disso, o recurso exibe as especificações do sistema e permite que os usuários vejam quais componentes do hardware estão sendo mais exigidos durante as avaliações.

Privacidade e compartilhamento

A Opera assegura que os dados utilizados no teste são apenas para produzir os resultados e permitir comparações com outros usuários. Não são coletadas informações pessoais, e nenhum dado é associado a usuários específicos, endereços IP ou outros identificadores.

Se inscrever
Notificar de
guest
0 Comentários
Feedbacks embutidos
Ver todos os comentários