Estamos em parceria com a Accenture para uma avaliação independente da IA de ponta. Este é um passo importante para cumprir o compromisso, assumido no ensaio do nosso CEO , “We Must Pace the Frontier” (Precisamos acompanhar o ritmo da fronteira), de integrar avaliadores à Anthropic.
A parceria será liderada pela Faculty, a unidade de negócios especializada em IA da Accenture, e incluirá a avaliação e simulação de vulnerabilidades em modelos, a realização de avaliações de alinhamento e o teste de salvaguardas dos modelos. A Accenture auxilia empresas e governos na implementação de IA em diversos setores. Seu conhecimento sobre como as empresas utilizam a IA na prática influencia sua abordagem de segurança, e essa perspectiva será aplicada na avaliação de nossos modelos.
A Anthropic e a Accenture preveem investir pelo menos US$ 1 bilhão cada na expansão da capacidade nessa área nos próximos cinco anos.
A avaliação integrada é uma novidade, e muitos detalhes sobre seu funcionamento ainda estão sendo definidos. Diferentemente dos avaliadores externos atuais, os avaliadores integrados trabalharão dentro das empresas de IA, com acesso comparável ao de um funcionário. Esse acesso permite que eles acompanhem o desenvolvimento dos modelos durante o treinamento, sigam as decisões que regem a construção e a implementação desses modelos e conversem diretamente com os funcionários. Desse ponto de vista privilegiado, os avaliadores integrados podem avaliar o funcionamento da empresa, verificar se ela está cumprindo seus compromissos com a segurança e identificar pontos cegos. Eles também podem relatar incidentes e fornecer ao público uma visão mais completa dos benefícios e riscos.
Para que fique claro, avaliadores independentes integrados não diminuem nossa responsabilidade, mas ajudam a torná-la mais verificável. A segurança de nossos modelos continua sendo nossa responsabilidade.
Até o momento, não existem padrões definidos sobre a que informações os avaliadores independentes devem ter acesso, nem sobre como devem relatar suas descobertas. Também não há um sistema estabelecido para o financiamento de avaliações independentes. A longo prazo, acreditamos que o financiamento deva provir de fontes públicas ou governamentais, conforme defendemos em nossa Estrutura de IA Avançada, em junho. Como nenhuma dessas opções existe atualmente, planejamos trabalhar com diferentes avaliadores sob diferentes modalidades de financiamento.
Dada a importância e a urgência deste trabalho, a Anthropic financiará diretamente o trabalho da Accenture. Também estamos em diálogo com a METR e outras organizações sem fins lucrativos de avaliação para testar elementos de avaliação integrada usando seus próprios recursos. Em última análise, acreditamos que a IA de ponta precisa de um ecossistema de avaliadores que operem com padrões compartilhados.
Esperamos que os laboratórios de vanguarda trabalhem com diversas organizações simultaneamente. Nossa parceria não é exclusiva; a Anthropic trabalhará com outros avaliadores, que serão anunciados nas próximas semanas, e a Accenture trabalhará com outros desenvolvedores de IA em funções semelhantes.
Continuaremos a treinar e lançar modelos de ponta e queremos avaliadores independentes trabalhando conosco nesse processo. Estamos compartilhando esses esforços iniciais agora para que as pessoas e outros desenvolvedores de IA possam ver nosso processo. Esperamos que nossa abordagem evolua à medida que o campo amadurecer e compartilharemos mais informações conforme nosso trabalho avançar e à medida que incorporarmos mais avaliadores.
Fonte: Anthropic.
Foto: Magnific/@rawpixel.com
