Carta aberta da OpenAI alerta sobre o “sério risco” da IA ​​e a falta de supervisão

Um grupo de atuais e ex-funcionários da OpenAI publicou uma carta aberta na terça-feira descrevendo preocupações sobre o rápido avanço da indústria de inteligência artificial, apesar da falta de supervisão e da ausência de proteções aos denunciantes para aqueles que desejam se manifestar.

“As empresas de IA têm fortes incentivos financeiros para evitar uma supervisão eficaz e não acreditamos que estruturas personalizadas de governança corporativa sejam suficientes para mudar isso”, afirmam os funcionários. escreveu na carta aberta.

OpenAI, Google, Microsoft, meta e outras empresas estão no comando de uma corrida armamentista generativa de IA – um mercado que deverá1 trilhão de dólaresem receita dentro de uma década – à medida que empresas de aparentemente todos os setores correm para adicionar chatbots e agentes com tecnologia de IA para evitar serem deixadas para trás pelos concorrentes.

Os actuais e antigos funcionários escreveram que as empresas de IA têm “informações substanciais não públicas” sobre o que a sua tecnologia pode fazer, a extensão das medidas de segurança que implementaram e os níveis de risco que a tecnologia tem para diferentes tipos de danos.

“Também compreendemos os sérios riscos colocados por estas tecnologias”, escreveram, acrescentando que as empresas “atualmente têm apenas obrigações fracas de partilhar algumas destas informações com os governos, e nenhuma com a sociedade civil. para compartilhá-lo voluntariamente.”

A carta também detalha as preocupações dos actuais e antigos funcionários sobre a protecção insuficiente dos denunciantes para a indústria da IA, afirmando que sem uma supervisão governamental eficaz, os funcionários estão numa posição relativamente única para responsabilizar as empresas.

“Os amplos acordos de confidencialidade impedem-nos de expressar as nossas preocupações, exceto às próprias empresas que podem não estar a abordar estas questões”, escreveram os signatários. “As proteções comuns aos denunciantes são insuficientes porque se concentram em atividades ilegais, enquanto muitos dos riscos que nos preocupam ainda não estão regulamentados”.

A carta pede às empresas de IA que se comprometam a não celebrar ou fazer cumprir acordos de não depreciação; criar processos anônimos para que funcionários atuais e ex-funcionários expressem preocupações ao conselho de administração, reguladores e outros de uma empresa; apoiar uma cultura de crítica aberta; e não retaliar contra denúncias públicas se os processos internos de denúncia falharem.

Quatro funcionários anônimos da OpenAI e sete ex-funcionários, incluindo Daniel Kokotajlo, Jacob Hilton, William Saunders, Carroll Wainwright e Daniel Ziegler, assinaram a carta. Os signatários também incluíram Ramana Kumar, que trabalhou anteriormente no Google DeepMind, e Neel Nanda, que atualmente trabalha no Google DeepMind e anteriormente trabalhou na Anthropic. Três famosos cientistas da computação conhecidos por promover o campo da inteligência artificial também endossaram a carta: Geoffrey Hinton, Yoshua Bengio e Stuart Russell.

“Concordamos que o debate rigoroso é crucial dada a importância desta tecnologia e continuaremos a nos envolver com governos, sociedade civil e outras comunidades ao redor do mundo”, disse um porta-voz da OpenAI à CNBC, acrescentando que a empresa tem uma linha direta anônima de integridade, bem como um Comitê de Segurança e Proteção liderado por membros do conselho e líderes da OpenAI.

A Microsoft não quis comentar.

Mês passado, A OpenAI voltou atrás em uma decisão controversa de fazer com que ex-funcionários escolhessem entre assinar um acordo de não depreciação que nunca expiraria ou manter o patrimônio adquirido na empresa. O memorando interno, visto pela CNBC, foi enviado a ex-funcionários e compartilhado com os atuais.

CEOSam Altman disseno X ele ficou triste ao ver a saída de Leike e que a empresa tinha mais trabalho a fazer. Logo depois, o cofundador da OpenAI, Greg Brockman postouuma declaração atribuída a ele e a Altman no X, afirmando que a empresa “aumentou a conscientização sobre os riscos e oportunidades da AGI para que o mundo possa se preparar melhor para isso”.

“Entrei porque pensei que a OpenAI seria o melhor lugar do mundo para fazer esta pesquisa”, Leike escreveu no X. “No entanto, já faz algum tempo que discordo da liderança da OpenAI sobre as principais prioridades da empresa, até que finalmente chegamos a um ponto de ruptura.”

Leike escreveu que acredita que muito mais da largura de banda da empresa deveria ser focada em segurança, monitoramento, preparação, proteção e impacto social.

“Esses problemas são muito difíceis de resolver e estou preocupado por não estarmos no caminho certo para chegar lá”, escreveu ele. “Nos últimos meses, minha equipe navegou contra o vento. Às vezes, estávamos lutando para [computing resources] e estava ficando cada vez mais difícil realizar essa pesquisa crucial.”

Leike acrescentou que a OpenAI deve se tornar uma “empresa AGI que prioriza a segurança”.

“Construir máquinas mais inteligentes que as humanas é um empreendimento inerentemente perigoso”, escreveu ele. “A OpenAI está assumindo uma enorme responsabilidade em nome de toda a humanidade. Mas, nos últimos anos, a cultura e os processos de segurança ficaram em segundo plano em relação aos produtos brilhantes.”

As saídas de alto nível ocorrem meses depois que a OpenAI passou por uma crise de liderança envolvendo Altman.

Em novembro, o conselho da OpenAI demitiu Altman, dizendo em comunicado que Altman não tinha sido “consistentemente sincero em suas comunicações com o conselho”.

A questão parecia ficar mais complexa a cada dia, com Jornal de Wall Streete outros meios de comunicação relatando que Sutskever treinou seu foco para garantir que a inteligência artificial não prejudicaria os humanos, enquanto outros, incluindo Altman, estavam mais ansiosos para avançar com o fornecimento de novas tecnologias.

A demissão de Altman gerou demissões ou ameaças de demissões, incluindo uma carta aberta assinada por praticamente todos os funcionários da OpenAI e alvoroço de investidores, incluindo a Microsoft. Em uma semana, Altman estava de volta à empresa, e os membros do conselho Helen Toner, Tasha McCauley e Ilya Sutskever, que votaram pela destituição de Altman, saíram. Sutskever permaneceu na equipe na época, mas não mais como membro do conselho. Adam D’Angelo, que também votou pela destituição de Altman, permaneceu no conselho.

Enquanto isso, no mês passado, a OpenAI lançou um novo modelo de IA e uma versão desktop do ChatGPT, juntamente com uma interface de usuário atualizada e recursos de áudio, o mais recente esforço da empresa para expandir o uso de seu popular chatbot. Uma semana depois que a OpenAI estreou a gama de vozes de áudio, a empresa anunciou que retiraria uma das vozes do chatbot viral chamada “Sky”.

“Sky” gerou polêmica por se assemelhar à voz da atriz Scarlett Johansson em “Her”, filme sobre inteligência artificial. A estrela de Hollywood alegou que a OpenAI roubou sua voz, embora ela tenha se recusado a deixá-los usá-la.