Yoshua Bengio, pesquisador canadense reconhecido como um dos formuladores centrais do aprendizado profundo, declara com clareza incomum para o meio técnico que a humanidade já está perdendo o controle efetivo sobre a inteligência artificial e que as decisões de segurança deixaram de ocupar o centro da agenda de quem financia, treina e lança os sistemas mais poderosos do planeta.
Em entrevista à AFP, material depois repercutido em bfmtv.com, ele descreve o quadro como algo que a comunidade científica enxergava no horizonte há anos e cobra a criação imediata de salvaguardas internacionais capazes de frear o avanço de sistemas cada vez mais autônomos antes que a janela de correção se feche de vez. O peso da afirmação vem da biografia de quem a formula.
Bengio, ao lado de Geoffrey Hinton e Yann LeCun, recebeu o Prêmio Turing pelas contribuições que tornaram viáveis as redes neurais profundas hoje embutidas em tradutores, assistentes de linguagem, visão computacional, recomendação de conteúdo e automação industrial. Essa trajetória coloca o alerta no interior do próprio núcleo que inventou as ferramentas em disputa, e não na periferia de críticos externos ao campo.
Quando alguém com esse histórico diz que o controle humano já escorrega, o recado deixa de ser especulação de ficção científica e passa a ser diagnóstico operacional de quem conhece os limites reais dos laboratórios e das empresas.
Como a corrida comercial afastou a segurança do centro das decisões
O mecanismo descrito por Bengio não se resume a um acidente espetacular isolado. Trata-se de um processo acumulativo em que modelos maiores, mais rápidos e mais capazes de encadear tarefas saem do laboratório e entram em produtos comerciais sem que os protocolos de teste de risco, auditoria independente e interrupção de emergência avancem no mesmo ritmo. Investidores cobram retorno em ciclos curtos. Governos temem ficar para trás na disputa geopolítica por chips, talentos e infraestrutura de treino.
Desenvolvedores celebram marcos públicos de desempenho em benchmarks que medem fluência e velocidade, mas raramente medem robustez sob pressão adversária ou transparência de decisão. Nesse ambiente, pausar um lançamento para baterias longas de segurança custa reputação, fatia de mercado e capital, e a segurança acaba rebaixada a item de checklist mínimo em vez de eixo de desenho desde a primeira linha de código.
A perda de controle, no sentido técnico que o pesquisador emprega, aparece quando sistemas passam a tomar decisões em cadeias longas, com pouca visibilidade sobre dados de treino, objetivos internos e critérios de escolha.
Quando esses sistemas interagem entre si em mercados financeiros, logística de escala, cibersegurança defensiva e ofensiva ou infraestrutura crítica de energia e transporte, o operador humano deixa de enxergar a sequência completa de causas e efeitos.
O resultado prático é uma dependência crescente de caixas-pretas que nenhuma empresa, nenhum ministério e nenhum conselho de administração governa sozinho em tempo real.
Bengio insiste que esse descompasso já deixou de ser hipotético porque modelos generativos produzem texto, código e imagens com fluência suficiente para enganar usuários leigos e, em parcelas crescentes de casos, também especialistas pressionados por prazo. Agentes autônomos começam a executar sequências de tarefas sem confirmação humana a cada passo.
Ferramentas de otimização aceleram descobertas científicas inclusive em domínios sensíveis de química, biologia e materiais. A mesma capacidade que reduz o custo de pesquisa legítima pode ser desviada para usos destrutivos ou para falhas em cascata quando o objetivo mal especificado encontra um ambiente complexo.
Sem freios claros de acesso, de teste e de desligamento, a vantagem tende a quem escala primeiro e com menos escrúpulo regulatório, o que reforça exatamente o ciclo que Bengio quer interromper.
Por que o desafio exige regras além das fronteiras nacionais
O enquadramento internacional não é retórica diplomática vazia. Nenhum país controla sozinho a cadeia de semicondutores avançados, de dados de treino em volume planetário, de talentos de pesquisa e de capital de risco que sustenta a corrida atual. Laboratórios e empresas operam em múltiplas jurisdições ao mesmo tempo.
Modelos treinados em um continente são implantados em outro no mesmo dia útil, muitas vezes por meio de interfaces de programação que diluem a responsabilidade entre fornecedor de pesos, integrador de aplicação e plataforma de distribuição.
Regras nacionais isoladas criam buracos de arbitragem: o desenvolvimento e o hospedamento migram para onde a fiscalização é mais frouxa, o custo de compliance é menor e a pressão política por liderança tecnológica é maior. Por isso Bengio fala em barreiras coletivas, e não apenas em códigos de conduta voluntários assinados por uma única firma sob holofotes de relações públicas.
Salvaguardas concretas discutidas no campo incluem testes obrigatórios de risco catastrófico antes da liberação de modelos acima de certos limiares de capacidade computacional e de autonomia, registro público ou semi-público de sistemas de alto impacto, acesso controlado de auditores independentes a logs de decisão e, em condições estritas, a informações sobre pesos e dados, além de protocolos de interrupção de emergência em ambientes críticos de infraestrutura.
Nenhuma dessas medidas resolve sozinha o problema de alinhamento de longo prazo entre objetivos humanos e comportamento de máquinas cada vez mais gerais, mas todas reduzem a chance de surpresa operacional no curto e médio prazo e criam lastro para responsabilidade jurídica quando algo falha em escala. O chamado esbarra em interesses divergentes que o próprio pesquisador não ignora.
Países que lideram a fabricação de chips de ponta querem preservar vantagem industrial e de segurança nacional. Empresas que já imobilizaram bilhões de dólares em centros de dados e contratos de energia resistem a limites que elevem custo marginal por token gerado ou por experimento de treino.
Nações com menor capacidade tecnológica temem ficar permanentemente dependentes de fornecedores externos se a regulação travar transferência de conhecimento e de modelos abertos. Bengio trata esses conflitos como motivo adicional para negociar cedo, enquanto ainda existe margem de manobra diplomática, e não depois que a assimetria de poder torne qualquer tratado inócuo ou inaplicável.
O paralelo com aviação e fármacos e o vazio de governança atual
O contexto histórico ajuda a medir a urgência. Durante décadas a inteligência artificial avançou em ciclos de entusiasmo acadêmico seguidos de invernos de financiamento.
O aprendizado profundo quebrou esse padrão ao entregar ganhos práticos mensuráveis em reconhecimento de imagem, tradução automática e jogos de estratégia. A partir daí o capital privado inundou o setor em velocidade que a governança pública não acompanhou. O que antes era artigo em conferência virou produto de consumo global em questão de meses.
A transição de laboratório para escala planetária ocorreu sem uma arquitetura institucional equivalente à que existe, por exemplo, na aviação civil ou no desenvolvimento de fármacos. Na aviação, falhas geram investigações públicas com relatórios detalhados, redesenho obrigatório de componentes e regras que valem para toda a frota sob supervisão de agências com mandato e dentes.
Na farmacologia, ensaios clínicos em fases, farmacovigilância e agências reguladoras mediam o caminho entre a descoberta e o paciente, com custo alto e deliberado de tempo em nome da segurança coletiva.
Na inteligência artificial de ponta, muitos sistemas chegam ao usuário final sob termos de uso genéricos, com responsabilidade diluída e com pouca obrigação de demonstrar, antes do lançamento, comportamento sob cenários adversos, vazamento de dados de treino ou capacidade de ser isolado quando se desvia do esperado.
Bengio aponta exatamente essa assimetria: o poder de ação dos sistemas cresce mais depressa do que a responsabilidade institucional de quem os coloca no mundo. Essa opacidade tem efeito direto sobre a confiança pública.
Quando um sistema erra de modo incompreensível, a sociedade não consegue distinguir com facilidade se o problema veio de dado enviesado, de objetivo mal definido na função de recompensa, de interação emergente entre módulos ou de uso malicioso por terceiros. A névoa alimenta ao mesmo tempo o alarmismo simplista e o negacionismo conveniente de quem prefere tratar todo freio como inimigo da inovação.
Salvaguardas claras, com auditoria, métricas públicas de risco e capacidade real de desligar ou isolar sistemas de alto risco, serviriam para reduzir essa névoa e para dar base técnica a decisões políticas que hoje oscilam entre euforia de produtividade e medo genérico sem medições.
Riscos de uso dual, emprego, informação e a janela que ainda existe
O pesquisador destaca que a segurança precisa voltar ao centro também porque a tecnologia já molda decisões cotidianas de emprego, de informação, de saúde e de segurança nacional. Assistentes generativos influenciam o que milhões de pessoas leem, escrevem e decidem todos os dias.
Sistemas de recomendação e de moderação definem visibilidade de conteúdo em plataformas que funcionam como praça pública de fato. Ferramentas de análise aceleram inteligência de mercado e de Estado.
Quanto mais essas camadas se entrelaçam com logística, crédito, recrutamento e infraestrutura, menor fica a margem para correção tardia depois que um padrão de falha se espalha. Há ainda o risco explícito de automação de ataques.
Código malicioso, campanhas de phishing sofisticado e engenharia social em escala deixam de exigir equipes humanas enormes quando modelos capazes ficam relativamente baratos e acessíveis por interface. Defensores e atacantes passam a disputar a mesma curva de capacidade.
Sem normas claras de uso dual, sem monitoramento de anomalias de consulta e sem barreiras de acesso a capacidades especialmente perigosas, a vantagem operacional tende a quem age primeiro e com menos restrição ética ou legal.
Bengio enxerga nisso mais um argumento para coordenação internacional permanente, e não apenas para política industrial fechada dentro de cada fronteira. Ele não pede o fim da pesquisa nem a criminalização do progresso.
Pede que a pesquisa de alinhamento, de interpretabilidade, de robustez e de contenção receba o mesmo nível de recurso financeiro, de prestígio acadêmico e de prioridade de gestão que a corrida por modelos maiores e mais gerais. Sem esse rebalanceamento, cada geração nova nasce mais capaz de executar tarefas úteis e, ao mesmo tempo, mais difícil de inspecionar, de prever e de interromper.
A janela de ação humana ainda existe, segundo o cientista, mas encolhe na medida em que a delegação de decisões se normaliza nas empresas e nos governos como atalho de custo. A trajetória pessoal de Bengio reforça a credibilidade do aviso.
Formado e radicado no Canadá, ele ajudou a construir em Montreal uma das principais escolas mundiais de aprendizado de máquina e formou gerações de pesquisadores que hoje ocupam postos em universidades, laboratórios corporativos e startups.
Quando alguém com esse enraizamento institucional diz que a humanidade perde o controle, o recado vem de dentro do circuito que produziu as ferramentas, e não de um observador distante.
Ele lamenta que o debate público ainda oscile entre promessas de produtividade milagrosa e imagens de ficção científica, sem o meio-termo técnico de medir capacidades reais, mapear falhas conhecidas, financiar segurança na mesma ordem de grandeza do desempenho e criar instituições com mandato para intervir quando limiares de risco forem cruzados.
Para formuladores de política e para o público que convive diariamente com assistentes e automações, o ponto prático é tratável em princípio e difícil na execução: tratar a inteligência artificial avançada como infraestrutura de risco sistêmico, no mesmo registro em que se trata de estabilidade financeira, de segurança aérea ou de controle de patógenos em laboratório.
Isso implica orçamento público estável para fiscalização técnica, formação de quadros em órgãos reguladores capazes de dialogar de igual para igual com laboratórios privados, cooperação permanente entre agências de defesa, de proteção de dados e de defesa do consumidor, e canais formais com a comunidade científica que não dependam apenas de ciclos eleitorais. Implica também recusar a falsa escolha entre inovação e segurança.
Na leitura de Bengio, segurança bem desenhada é condição para inovação sustentável, porque reduz a chance de reações políticas bruscas depois de crises evitáveis e preserva a licença social para continuar pesquisando. Enquanto a corrida comercial continua, cada novo sistema amplia o conjunto de tarefas que podem ser delegadas sem supervisão estreita.
A delegação poupa tempo e dinheiro no curto prazo e concentra fragilidade no longo prazo: se o sistema falha, é capturado ou se desvia de modo opaco, o custo se espalha por cadeias inteiras de fornecedores, clientes e cidadãos. Salvaguardas existem para limitar esse efeito dominó e para devolver ao humano a capacidade de dizer não em tempo hábil.
O pesquisador canadense pede que elas deixem de ser apêndice de marketing e passem a ser requisito de operação, negociado entre Estados com base em evidência e não apenas em comunicados voluntários de empresas sob pressão de trimestre. O aviso final embutido na entrevista é de realismo institucional, não de pânico paralisante. A tecnologia não vai desaparecer. O capital não vai deixar de buscar vantagem competitiva.
O que ainda pode mudar é o desenho das regras ao redor do treino, do teste, do deploy e do monitoramento contínuo. Bengio coloca a responsabilidade no campo da política e da coordenação global: ou se constroem barreiras agora, com ciência, diplomacia e orçamento, ou se administra depois o prejuízo de sistemas que já operam além da capacidade cotidiana de acompanhamento humano.
A frase de que esse cenário já era esperado há muito tempo funciona, nesse quadro, como diagnóstico de omissão coletiva. Parte da comunidade técnica via sinais. Organizações da sociedade civil alertavam. Algumas empresas publicavam princípios. Ainda assim o centro de gravidade permaneceu no lançamento rápido e na escala.
O chamado atual tenta deslocar esse centro antes que a autonomia crescente dos agentes torne a correção ordens de magnitude mais cara e mais incierta.