O National Institute of Standards and Technology (NIST), a agência do Departamento de Comércio dos EUA que desenvolve e testa tecnologia para o governo dos EUA, empresas e o público em geral, anunciou na segunda-feira o lançamento do NIST GenAI, um novo programa liderado pelo NIST para avaliar tecnologias de IA generativa, incluindo IA geradora de texto e imagem.

O NIST GenAI lançará benchmarks, ajudará a criar sistemas de detecção de “autenticidade de conteúdo” (ou seja, verificação de deepfakes) e incentivará o desenvolvimento de software para identificar a fonte de informações falsas ou enganosas geradas por IA, explica o NIST no recém-lançado site do NIST GenAI e em um comunicado de imprensa.

O primeiro projeto do NIST GenAI é um estudo piloto para construir sistemas que possam diferenciar de forma confiável entre mídia criada por humanos e gerada por IA, começando com texto. O NIST GenAI está convidando equipes da academia, indústria e laboratórios de pesquisa a enviar “geradores” - sistemas de IA para gerar conteúdo - ou “discriminadores”, que são sistemas projetados para identificar conteúdo gerado por IA.

Os geradores no estudo devem gerar resumos de 250 palavras ou menos, fornecidos um tópico e um conjunto de documentos, enquanto os discriminadores devem detectar se um resumo fornecido é potencialmente escrito por IA. Para garantir a imparcialidade, o NIST GenAI fornecerá os dados necessários para testar os geradores. Sistemas treinados em dados disponíveis publicamente e que não estejam em conformidade com as leis e regulamentos aplicáveis não serão aceitos, diz o NIST.

A inscrição para o estudo piloto começará em 1º de maio, com a primeira rodada prevista para encerrar em 2 de agosto. Os resultados finais do estudo devem ser publicados em fevereiro de 2025.

O lançamento do NIST GenAI e do estudo focado em deepfakes ocorre à medida que o volume de informações falsas e desinformações geradas por IA cresce exponencialmente.

De acordo com dados da Clarity, uma empresa de detecção de deepfakes, houve um aumento de 900% no número de deepfakes criados e publicados este ano em comparação com o mesmo período do ano passado. Isso está causando alarme, compreensivelmente. Uma pesquisa recente do YouGov descobriu que 85% dos americanos estavam preocupados com a disseminação de deepfakes enganosos online.

O lançamento do NIST GenAI é parte da resposta do NIST à ordem executiva do presidente Joe Biden sobre IA, que estabeleceu regras que exigem maior transparência das empresas de IA sobre como seus modelos funcionam e estabeleceu uma série de novos padrões, incluindo para rotular conteúdo gerado por IA.

Também é o primeiro anúncio relacionado à IA do NIST após a nomeação de Paul Christiano, ex-pesquisador da OpenAI, para o Instituto de Segurança de IA da agência.

Christiano foi uma escolha controversa por suas visões “distorcionistas”; ele já previu que “há 50% de chances de que o desenvolvimento de IA possa terminar em [destruição da humanidade]”. Críticos, incluindo supostamente cientistas dentro do NIST, temem que Cristiano possa encorajar o Instituto de Segurança de IA a se concentrar em “cenários fantasiosos” em vez de riscos realistas e mais imediatos da IA.

O NIST afirma que o NIST GenAI informará o trabalho do Instituto de Segurança de IA.