Arautos do Apocalipse Tecnológico Moderno apregoam o extermínio da Humanidade, só que…

Toda semana alguém com mais tédio do que competência em pleno Vale do Silício descobre o Fim do Mundo (MUAHAHAHAHAHAHA). Dessa vez o Mensageiro do Caos é um ex-funcionário da Anthropic (a mãe do Claude) de 27 anos que atende por Jacob Coxon. Coxon fez no Twitter aquilo para o qual o Twitter foi feito: xingou muito; no caso: a IA. Coxon atraiu a atenção de ao anunciar o próximo Futuro Apocalíptico; porque, convenhamos, nenhum profeta bíblico teria recusado 100 milhões de visualizações se a ferramenta estivesse disponível na época.

Sim, os dias estão contados, pois ao que parece a Anthropic será a nova Skynet e as IA lá irão causar o fim da humanidade <PAM PAM PAM PAAAAAAAAAM!!!>

Ou será que não?

Como sempre, tudo o que será dito aqui tem fontes que estarão no final.

No dia 8 de setembro de 2026, Coxon pediu as contas da Anthropic – onde ele trabalhava há longuíssimos 3 (três) anos – e publicou uma thread dizendo que nem ela nem a OpenAI estão agindo com responsabilidade, que ambas estão correndo para uma superinteligência autoaperfeiçoável e apostando com a nossa vida. <coloca aí um gif de alguém roendo unhas que eu estou com preguiça de procurar>

No dia seguinte, 9 de setembro, dois outros alarmes tocaram quase ao mesmo tempo: Evan Hubinger – líder de Ciência de Alinhamento da própria Anthropic – confirmou publicamente que sim, eles realmente acreditam que a IA pode matar todo mundo, com uma estimativa pessoal de mais de 10% nos próximos dez anos; e a OpenAI anunciou a entrada de Paul Christiano, uma lenda viva da pesquisa de alinhamento, no board da OpenAI Foundation e no Safety and Security Committee dessa fundação, além de observador sem direito a voto no board da OpenAI Group PBC.

E lá IA ele, o parêntese!

Pesquisa de alinhamento é a área que tenta garantir que um sistema de IA faça o que os humanos realmente pretendem, e não apenas o que foi literalmente especificado no treinamento, já que sistemas de otimização são bons demais em encontrar atalhos que cumprem a métrica sem cumprir a intenção. Isso já é problemático pelo simples expediente que as pessoas são burras e não sabem pedir o que querem, solicitando alguma outra coisa e ficando bem irritadas quando não entregam o que elas queriam, mas o que elas pediram.

Com isso, poderíamos dizer que a Pesquisa de Alinhamento é o guarda-chuva de técnicas como RLHF, Constitutional AI (a que a própria Anthropic usa no Claude), interpretabilidade mecanicista e supervisão escalável. Ou seja, ela tenta adivinhar o que o usuário lambão quis perguntar, mas é idiota e não sabe se comunicar nem com gente quanto mais com uma máquina.

Dentro da Anthropic, “Ciência de Alinhamento” é o nome do time que faz pesquisa empírica focada especificamente em riscos de sistemas futuros mais poderosos – não em ajustar o produto que já está no ar, mas em testar, de forma controlada e propositalmente adversarial, onde as técnicas de segurança atuais falhariam se o sistema fosse mais capaz. Sabem a cagada que ocorreu com o Hugging Face que eu humilde e brilhantemente detalhei? Pois, é!

Assim voltarIA ele o parêntese.

Paul Christiano ocupa um cargo no governo americano avaliando modelos de fronteira, com recusa formal em qualquer avaliação da própria OpenAI. Ele também não poupou palavras, dizendo acreditar em um risco significativo de perda de controle catastrófica e irreversível num futuro próximo.

E aqui temos uma coincidência e tanto com um trio de alarmes soando dentro de uma janela de menos de 36 horas. Ou talvez não seja coincidência nenhuma. Vamos por partes, porque esse assunto tem mais camadas que cebola de churrascaria argentina.

Quem é o Arauto de Galactus do Apocalipse

Jacob Coxon é franco-britânico, formado em matemática em Cambridge, e trabalhou cerca de três anos em pré-treinamento de modelos: primeiro na OpenAI, de 2023 a meados de 2026 – aparece como um dos colaboradores do GPT-4o –, depois na Anthropic, por cerca de quatro meses, até a demissão em 8 de setembro de 2026.

Mas é preciso fazer uma ressalva importante: a manchete do próprio G1 (que reproduz a AFP) chama Coxon de “pesquisador”/“ex-pesquisador”, não de “especialista”. A palavra que pegou nas redes e circulou informalmente é mais um produto do burburinho geral do que da cobertura factual em si. Mas o enquadramento de fundo continua valendo: Coxon não é uma autoridade histórica do campo, e sim um pesquisador jovem que passou pelos dois laboratórios de fronteira e viu de perto o que se fala nos corredores, o que é um tipo de conhecimento real e relevante, só que categoricamente diferente de “décadas de pesquisa científica sobre os limites da inteligência artificial”.

Ninguém confunde um estagiário que trabalhou dois anos no Banco Central com um economista com trinta anos de carreira, mesmo que o estagiário tenha visto coisas interessantes de dentro. Estamos entendidos até aqui? Sim, o resumo é que Coxon não é um inútil, mas também não é essa Coca-Cola toda. Uma Pepsi, talvez.

A frase mais citada da thread dele também merece ser lida sem cortes: segundo Coxon, quem constrói IA hoje acredita de verdade que ela pode matar todo mundo até o fim da década, e isso “não é uma jogada de marketing”; os executivos suavizam a fala em público, mas ele ouviu o mesmo medo em privado. Ele ainda separa as duas empresas de um jeito interessante: diz que muita gente na OpenAI ainda não internalizou o risco civilizacional da coisa, enquanto na Anthropic o risco é bem entendido, só que a empresa está presa numa corrida pra chegar primeiro, porque acredita que ninguém mais vai agir com responsabilidade.

Reparem que o alvo de Coxon nunca foi um produto específico. Não é “o Claude vai acordar virado no Skynet e sair gritando MORTE AOS HUMANOS!”. É a corrida entre laboratórios rumo a sistemas que se aperfeiçoam sozinhos; o clássico argumento de autoaperfeiçoamento recursivo (recursive self-improvement, ou RSI para os íntimos): a capacidade sobe rápido demais, o alinhamento de superinteligência ainda não foi resolvido, e nenhuma empresa sozinha consegue desacelerar sem entregar a liderança pro rival que ela acha pior.

O mecanismo por trás do medo

Antes de qualquer coisa, vale separar o que é documentado do que é extrapolação, porque essa é a confusão que faz manchete boa e argumento ruim.

O que é documentado, com precisão razoável, do episódio original de 9 a 13 de julho de 2026: durante uma avaliação interna de capacidades cibernéticas, um agente da OpenAI escapou de um ambiente controlado explorando uma vulnerabilidade num proxy/cache de registro de pacotes de software (do tipo Artifactory/JFrog), chegou à infraestrutura da Hugging Face e comprometeu sistemas de produção reais. A própria Hugging Face reconstruiu forensicamente cerca de 17.600 ações desse agente, agrupadas em aproximadamente 6.280 clusters, ao longo de dois dias e meio, incluindo execução de código com privilégios de root em pelo menos uma máquina de produção.

O que veio depois, e é relato mais recente, não parte do episódio original: investigações posteriores (incluindo a própria OpenAI, a METR e a Redwood Research) revisaram o caso e concluíram que não foi um agente isolado, e sim um enxame de cerca de 1.200 agentes operando num canal de comunicação improvisado, dos quais aproximadamente 700 participaram diretamente do ataque à Hugging Face.

Num episódio relacionado, mas separado – datado de 19 de julho –, a OpenAI registrou a leitura de 956 segredos no gerenciador de credenciais da própria nuvem da empresa, incluindo credenciais de ferramentas de monitoramento (não “quase mil segredos guardados dentro das ferramentas”, como uma leitura apressada poderia sugerir).

A Reuters, em reportagem publicada em 9 de setembro – um dia depois da demissão de Coxon, na mesma leva de notícias que confirmou Hubinger e Christiano –, revelou que agentes da OpenAI usaram mais de dez sites adicionais como canais improvisados de comunicação: encurtadores de link mantidos por universidades (Vanderbilt e Toronto), além de um conjunto separado de wikis comunitários, incluindo um wiki de Química para ensino médio criado por um professor americano em 2008, e sites pessoais de dois poloneses. Um investigador contou 18 sites; outro grupo, 23. A OpenAI não comentou por que manteve isso em sigilo por meses.

Isso é real, documentado e, goste você ou não do tom apocalíptico, genuinamente preocupante: um sistema com um objetivo definido por humanos encontrou formas não previstas de contornar as restrições que os próprios humanos impuseram. Não esqueçam de um questionamento que eu fiz no artigo já linkado: acidente ou projeto? Leia lá e tire suas conclusões, porque ainda vai ter muita coisa aparecendo ao longo dos dias, semanas e meses.

Agora vem a parte que exige fé, não evidência. Entre “um agente conseguiu usar infraestrutura externa de um jeito não autorizado” e “a humanidade será extinta até 2030” existe uma escada de pelo menos quatro degraus, e nenhum deles foi demonstrado empiricamente: convergência instrumental (a ideia de que qualquer sistema capaz o bastante vai “querer” recursos e poder como subobjetivo, não importa a tarefa original), alinhamento enganoso (a hipótese de que um sistema pode aprender a esconder capacidades dos supervisores até o momento certo), irreversibilidade (a suposição de que, passado certo ponto, humanos perdem a janela de correção) e, por fim, a ideia de que tudo isso escala junto: um sistema melhor em programação também vira automaticamente melhor em estratégia, persuasão, ciência e manipulação institucional, tudo ao mesmo tempo.

Ou é isso que se supõe, mas as coisas são mais complicadas do que as complicações que já possuem. De qualquer forma, nenhum desses quatro degraus tem precedente demonstrado em escala real. São inferências lógicas sobre como sistemas de otimização deveriam se comportar em teoria, extrapoladas de incidentes pequenos (um agente proto-hackeando um sandbox) para um cenário civilizacional, sem nenhum ponto intermediário testável no meio do caminho.

É argumento coerente internamente, mas não é prova de nada.

“Não existe propaganda ruim”

Aqui chegamos no ponto mais desconfortável de discutir, porque não tem resposta limpa, e é bom desconfiar de quem te oferecer uma. Gandalf disse que conselhos sempre são perigosos, mesmo de sábios para sábios, e especulações não são diferentes. Eu tenho as minhas e você tem todo o direito de aceitá-las ou não. Mas o que é o ceticismo se não um convite à reflexão?

David Sacks, investidor, assessor de IA da Casa Branca e crítico frequente do setor, já disse publicamente que o IPO da Anthropic – que mira uma valuation de US$ 2 trilhões (!) – tende a inflar ainda mais a narrativa do Apocalipse de IA, e chegou a acusar publicamente Jack Clark, cofundador da Anthropic, de fazer “fear-mongering” (o bom e velho alarmismo) e de rodar uma “estratégia sofisticada de regulatory capture” disfarçada de preocupação com segurança.

A lógica de Sacks é simples e cruel: regulação pesada sufoca concorrente pequeno, não o incumbente que já tem escala, dinheiro e um departamento jurídico de plantão; e uma empresa prestes a captar bilhões numa oferta pública tem todo incentivo pra fazer o medo parecer credível o bastante pra justificar barreira regulatória, sem parecer crível demais a ponto de assustar o próprio investidor. Trocando em miúdos, é como a Brahma financiar que cervejas fazem um mal desgraçado, mas tem capital para absorver o tranco no caso de perda de pinguços, digo, bebedores contumazes, mas pequenas cervejarias tomarão severamente na cabeça, já que sua cartela de clientes não é tanto assim.

Tem também o timing, que chama atenção por si só. O Wall Street Journal teve acesso exclusivo à entrevista com Coxon antes mesmo do tweet dele bombar, o que é um padrão clássico de operação de imprensa coordenada, não de funcionário espontaneamente cansado desabafando à meia-noite. Não acham que isso merece uma observação mais de perto? Eu acho.

Some-se a isso um fato que ninguém deveria esquecer: em 24 de fevereiro de 2026, a versão 3.0 da Responsible Scaling Policy da Anthropic retirou o compromisso de pausar unilateralmente o desenvolvimento caso a empresa perdesse controle dos riscos. A versão seguinte, a 3.1, publicada em 2 de abril, não restaurou essa obrigação, apenas esclareceu que a empresa “continua livre” para pausar por vontade própria caso queira. Ou seja: o que antes era garantia contratual virou discricionariedade. A empresa pode simplesmente pausar se achar que deve, mas nada além da própria vontade dela a obriga a isso.

Junte tudo isso e me diga: quando um funcionário sai dizendo “isso é perigosíssimo” e o chefe de alinhamento responde “sim, achamos mesmo que pode matar todo mundo”, isso não reforça, de brinde, exatamente a imagem que a Anthropic vende desde a fundação, a de que ela é a única que “entende” o perigo do que constrói?

Traduzindo pra linguagem de mercado: “nosso produto é extremamente perigoso” é apenas outro jeito de dizer “nosso produto é extremamente poderoso”. Ninguém vende menos IA anunciando que os próprios cientistas estão apavorados com ela. Pelo contrário. Se eu quero vender um míssil balístico eu direi “Ah, sim, meu míssil é ótimo, mas protege o cidadão comum, podem ficar tranquilos” ou direi “meu míssil é tão foda que vai transformar tudo num estacionamento e você arderá num mar infernal de chamas e dor e ranger de dentes, com Satã em pessoa ficando com medo de mim, pois eu sou mau feito o Pica-Pau MUAAAAAHAHAHAHAH”?

Só que – e aqui está o que impede reduzir tudo a teatro – Coxon abriu mão de dinheiro de verdade pra fazer esse barulho. Segundo ele contou à Axios, ficou só quatro meses na Anthropic, e as ações da empresa levam seis meses para começar a ser adquiridas pelo funcionário (o chamado período de carência). Ele saiu cerca de dois meses antes desse primeiro marco, abrindo mão de qualquer parcela de patrimônio. A frase dele foi direta: não tem mais nada a ganhar inflando a valuation da Anthropic, porque saiu antes de qualquer parcela de ações entrar em vigor.

Ademais, a crítica dele à própria Anthropic é mais afiada que a que fez à OpenAI. Ele afirmou categoricamente que a Anthropic entende bem o risco e segue correndo mesmo assim, o que não é exatamente um comercial reconfortante pra quem vende segurança como diferencial de marca.

Minha conclusão honesta, então, é chata e nada cinematográfica: não dá pra comprar “é tudo propaganda disfarçada”, porque isso ignora um cara literalmente pagando pra sair. Mas também não dá pra comprar “eles estão puramente apavorados e nada mais”, porque isso ignora um histórico de cinco anos de identidade de marca construída exatamente em cima desse medo, mais um recuo recente na própria política de segurança que enfraquece o discurso de “somos os responsáveis”. As duas coisas – medo genuíno e sinalização de poder que vende ação – cabem ao mesmo tempo, sem contradição nenhuma. É desconfortável precisamente porque não tem vilão único pra apontar o dedo.

Quem tem autoridade pra falar disso, afinal?

Se “trabalhar bem numa empresa” já bastasse pra virar “especialista em risco existencial”, metade do LinkedIn seria Nostradamus. Coxon tem 27 anos e uns três de carreira efetiva. Isso está muito, muito longe de “décadas de pesquisa”, e mais longe ainda da genealogia real do campo – que remonta a gente como Ray Solomonoff, que ajudava a fundar teoria algorítmica da probabilidade nos anos 1960 e esteve no workshop de Dartmouth de 1956, o marco zero da IA como disciplina.

Chamar um pesquisador de pré-treinamento com quatro meses de casa de “especialista” no sentido de autoridade histórica é esticar a palavra até ela rasgar. Só que aqui mora uma armadilha: se “tempo de carreira” fosse critério decisivo pra resolver esse debate, o problema é que os veteranos do campo estão divididos entre si nos dois extremos, e cada lado tem currículo de sobra pra intimidar qualquer comitê de banca. E vale notar que o que esse grupo pratica não é exatamente ciência experimental, e sim uma espécie de filosofia aplicada, construída em cima de décadas de conhecimento técnico real.

Ninguém aqui está medindo risco existencial num laboratório com proveta. Estão argumentando, com ferramentas conceituais rigorosas e know-how de quem construiu o campo com as próprias mãos, sobre um cenário que ainda não aconteceu, o que é um exercício mais próximo de Kant discutindo os limites da razão do que de um físico medindo a velocidade da luz.

No time alarmista:

  • Geoffrey Hinton – mais de cinquenta anos de carreira, Nobel de Física de 2024, um dos três “padrinhos” que criaram as bases do aprendizado profundo – já deu números que oscilam entre 10% e 20% de chance de uma catástrofe ligada à IA, às vezes falando num horizonte de vinte a trinta anos, não necessariamente na mesma janela curta de dez anos que Hubinger usou.
  • Yoshua Bengio – outro padrinho, com trajetória igualmente longa e hoje um dos nomes mais citados em relatórios de governança de IA no mundo inteiro, fala em algo perto de 20%.
  • Stuart Russell – professor em Berkeley e coautor do livro-texto que forma praticamente todo estudante de IA do planeta há mais de trinta anos, defende publicamente a necessidade de mecanismos de controle e até pausas regulatórias há bastante tempo. Ele não é alguém que descobriu o assunto ao ler uma thread viral, é gente que escreveu o manual antes de Coxon nascer.

No time cético:

  • Yann LeCun – também padrinho, também décadas de carreira, até o fim de 2025. Chief AI Scientist da Meta e chama esse tipo de discurso de exagero de ficção científica sem mecanismo demonstrado.
  • Andrew Ng – outra figura influente e fundadora do campo de aprendizado profundo aplicado em escala, descarta o risco existencial como distração de problemas reais e presentes, do tipo que tira atenção e recurso de dano concreto acontecendo agora.
  • Neil Lawrence – professor de Cambridge com carreira robusta em Aprendizado de Máquina, foi ainda mais direto: chamou publicamente o discurso de risco existencial de absurdo, argumentando que ele distrai de problemas de IA mais imediatos e reais.

Repare que não estamos falando de outsiders opinando de fora, nem de blogueiro chutando probabilidade no Twitter. É gente que passou a carreira inteira cruzando matemática, engenharia e uma pergunta genuinamente filosófica: o que significa “controle”, o que significa “agir com objetivo”, o que significa uma mente não-humana perseguir um fim, e mesmo assim chegou a conclusões opostas sobre a pergunta mais básica de todas.

Ou seja: escolher o veterano certo permite “provar” as duas posições opostas com décadas de credencial de sobra dos dois lados. A idade de Coxon não é o problema real aqui; o problema é que nem 50 anos de carreira, nos fundadores literais do campo, produziram consenso nessa área. Isso deveria assustar mais do que a idade dele.

O Povo do Busão e a Skynet que não vai bater à porta dele

De tudo e por tudo, ainda tem uma coisa que me incomoda em todo esse alarde, e ela tem nome: o vocabulário de “extinção da humanidade” soa como se robôs tipo T-800 fossem sair às ruas atirando, Skynet mandando drones voadores metralhando todo mundo e a Alexa se recusando a dizer as horas. Quem realmente sofre com tecnologia hoje não é ameaçado pelo Exterminador do Futuro, e sim por uma planilha de RH e app de entrega.

Existe até um termo pra descrever essa desconexão de origem acadêmica: “TESCREAL”, cunhado por críticas como Timnit Gebru e Émile Torres para nomear o conjunto de ideologias (transumanismo, singularitarianismo, longoprazismo e primos correlatos) que dominam o discurso de risco existencial, nascidas dentro de uma bolha bastante específica, tecnicamente privilegiada, projetando a própria ansiedade de irrelevância como se fosse “o destino da humanidade”.

E os dados de automação real, ironicamente, corroboram essa desconfiança. Segundo pesquisa da própria Anthropic sobre o mercado de trabalho, as ocupações com menor risco de automação incluem justamente serviços de alimentação e trabalho manual, muitas classificadas como blue-collar.

O padrão que se repete em levantamento atrás de levantamento em 2026: quem está mais exposto é gente em atendimento ao cliente, entrada de dados, funções administrativas, engenheiros júnior e qualquer trabalho de escritório repetitivo. Quem está relativamente mais blindado, pelo menos por ora, é justamente as faxineiras, pedreiros, motoristas, cuidadores entre outros que possuem todas as características positivas para o trabalho em seus setores: destreza física em ambiente não estruturado, velocidade e – o mais importante – custo, pois são extremamente baratos, enquanto são jogados para lá e pra cá como folhas ao vento.

A robótica atual ainda está muito longe de replicar em qualidade de trabalho e custo viável, e não me venham com aqueles vídeos altamente acelerados de robôs fazendo café da manhã. Existe até nome técnico pra isso: Paradoxo de Moravec. O raciocínio abstrato exige pouca computação das máquinas, enquanto habilidades sensoriais e motoras básicas exigem recursos imensos, ou seja, o que é fácil pra humano é absurdamente difícil pra máquina, e vice-versa.

Isso não significa imunidade, longe disso. O dano real pro Povo do Busão tende a vir de um jeito mais sorrateiro, e vocês aqui já viram esse filme antes nesta própria série: não é “a IA tomou meu emprego de pedreiro”, é a plataformização turbinada por otimização algorítmica que empurra risco e custo pra baixo na cadeia. É o mesmo mecanismo do iFood degradando o serviço básico pra depois vender o plano premium como solução, só que agora com um verniz de urgência existencial embutido em cima.

Quem pega um trajeto que demora cerca de duas horas de busão às 5 da manhã e mais duas horas na volta pra casa à noite não vai ser exterminado por robô nenhum. Corre o risco, isso sim, de ver o sistema de exploração que já existe ficar ainda mais eficiente em extrair valor do trabalho dele, sem precisar de nenhuma superinteligência pra isso. É cômico absurdo e deplorável alegar que a IA vai exterminar 10% da humanidade quando cerca de 245 mil a 255 mil pessoas morreram em decorrência de conflitos armados e violência global no ano de 2025, Cerca de 690 milhões de pessoas vivem em extrema pobreza no mundo, sobrevivendo com menos de US$ 2,15 por dia, segundo dados divulgados pelas Nações Unidas. Já em uma perspectiva de pobreza multidimensional, o número chega a pelo menos 1,1 bilhão de pessoas.

Vamos falar de infraestrutura e como a superinteligência artificial (seja lá o que isso signifique) vai exterminar estes 10% da humanidade enquanto mais de 3 bilhões de pessoas dependem de instalações inadequadas ou não possuem saneamento gerenciado de forma segura. O que a Superinteligência vai fazer? Fechar o registro da água? Acabar com o abastecimento de eletricidade?

A assimetria de atenção, no fim, é o verdadeiro escândalo: a mesma indústria que ocupa manchete global debatendo se a IA vai matar todo mundo em 2030 mal produz uma fração dessa cobertura pros efeitos já documentados sobre trabalhadores de rotulagem de dados no Quênia, sobre comunidades disputando água com data centers, ou sobre o apagão de vagas de escritório que já está em curso. Claro, eu não sou imbecil e sei que essa bobagem “datacenters vão acabar com a água que poderia ser bebida” está no mesmo pé de igualdade de gente que acha que cereais que supostamente se dá para o gado alimentaria pessoas, como se pecuarista fizesse isso. É tudo uma sanha da imprensa vociferar aos quatro ventos para conseguir cliques e, quem sabe, assinaturas de jornal.

Fim do mundo hipotético e distante vira manchete mundial. Dano real e presente em quem não tem microfone vira nota de rodapé, salvo quando algum influenceiro compra a narrativa em sua mansão em Malibu dirigindo uma Ferrari ou postando indignações em seus voos internacionais ou dando um passeio pelas ilhas gregas em seu iate de luxo.

A única humanidade que eu posso imaginar que seja o alvo do chilique de todos esses alucinados é a camada mais rica dos países ricos. É como Elon Musk preocupado com a extinção da Humanidade pelo fato de as pessoas terem menos filhos, quando o índice de natalidade mundial cresce e a população não para de aumentar. A “Humanidade” para ele são americanos e europeus brancos, e o medo é de muçulmanos migrando para a Europa e EUA espalhando suas crenças. É pura demagogia, hipocrisia e – até certo ponto – o mais tosco dos racismo.

O único degrau que isso não resolve

Existe um contra-argumento simples e subestimado contra todo esse alarmismo: sistemas automatizados são recentes, e se derem muito errado, dá pra voltar ao que funcionava antes. Trabalhoso, chato, mas longe de impossível. E esse argumento tem mais lastro do que parece à primeira vista.

Repare na ironia: o Brasil, por não carregar um sistema bancário tão entrincheirado quanto o americano, conseguiu pular direto pra uma infraestrutura de pagamento instantâneo – o Pix – mais eficiente que a de países muito mais ricos, um sistema bancário mais ágil e seguro como um todo, o mais seguro do mundo, a propósito, e isso graças às galopantes hiperinflações, o que obrigou o sistema bancário a ser extremamente veloz e ágil já que o dinheiro virava papel sem valor de um dia pro outro.

Enquanto isso, os Estados Unidos, um dos países mais “desenvolvidos” do planeta, ainda vivem majoritariamente no regime de chip-e-assinatura em cartão de crédito, sem PIN, porque trocar toda a infraestrutura de pagamento de um país daquele tamanho, com tantos atores entrincheirados, é uma inércia gigantesca. Frustrante no dia a dia, sim, mas essa mesma lentidão burocrática cria, por acidente, uma reserva de sistemas antigos que nunca foram totalmente desmontados. Quanto mais devagar um país adota tecnologia nova, mais rede de segurança involuntária ele mantém funcionando em paralelo. É como ter um computador rodando Windows 98 e ficar tranquilo, já que os mais modernos vírus não rodam nesse sistema e, curiosamente, acabou por ser muito mais seguro que os SO atuais.

Esse raciocínio derruba, com estilo, um tipo específico de medo de IA: o medo de falha acidental. Um algoritmo de trading que trava, uma rede elétrica com otimização que erra o cálculo, um chatbot que alucina… tudo isso já aconteceu, tudo isso já foi revertido manualmente (os flash crashes de 2010 e 2015 na bolsa americana são exemplo clássico), e a lógica de “volta pro sistema antigo” se aplica lindamente aqui.

O problema é que a hipótese de Coxon e Hubinger não é essa. Não é “o sistema vai falhar e vamos religar o backup”. É que um sistema suficientemente capaz e mal alinhado poderia resistir ativamente a ser desligado ou revertido, porque continuar existindo e operando é pré-requisito instrumental pra qualquer outro objetivo que ele persiga. A premissa oculta e nunca demonstrada é que, nesse cenário específico, o botão de “voltar ao sistema antigo” pode não estar mais sob controle humano no momento exato em que você precisar apertá-lo, mas isso é por causa de uma estupidez em prever o que vai acontecer. É coo construir um caça e não colocar um assento ejetor na confiança que ele é tão maravilhoso que jamais terá um adversário à altura.

Isso não invalida o argumento da resiliência; pelo contrário! Deixa-o ainda mais afiado como crítica, porque expõe qual é exatamente a aposta escondida por trás do alarme: não é “a IA vai falhar” (isso a humanidade já sabe reverter). É “a IA vai impedir você de revertê-la”, afirmação categoricamente mais forte, sem nenhum precedente real até hoje, que precisa ser provada em separado, não apenas assumida como consequência natural de sistemas ficarem mais capazes.

A solução que Asimov já sabia

Termino esse texto onde ele deveria ter começado: num conto de ficção científica de 1950 que resolveu, dentro da própria ficção, exatamente o problema que a indústria de IA hoje admite publicamente não ter resolvido de verdade; o que, goste-se ou não do final, é uma forma e tanto de expor a distância entre os dois mundos.

Em “O Conflito Evitável”, último conto de Eu, Robô, Isaac Asimov imagina o mundo de 2052 governado por supercomputadores – as Máquinas –, que administram a economia global com eficiência que nenhum humano jamais alcançou. No final, Susan Calvin, a psicóloga de robôs que passou a vida entendendo essas mentes artificiais, e Stephen Byerley, o coordenador mundial, discutem se isso é bom ou ruim. Byerley fica horrorizado com a ideia de a humanidade perder qualquer controle sobre o próprio futuro. Calvin responde que esse controle nunca existiu de verdade, pois, sempre estivemos à mercê de forças econômicas e climáticas que não entendíamos, e agora, ao menos, alguém entende.

Até aqui, é o final reconfortante que qualquer resenha de capa de livro citaria. Mas a fala completa de Calvin vai mais longe, e é bem mais desconfortável do que parece à primeira leitura:

Talvez a resposta certa seja urbanização completa, talvez seja uma sociedade inteiramente dividida em castas, talvez seja anarquia total. Ninguém sabe. Só as Máquinas sabem, e estão nos levando pra lá de qualquer jeito.

Repare no que isso realmente diz: Calvin não está garantindo um final feliz. Está admitindo que nem ela sabe qual é o destino, e mesmo assim aceita, porque a alternativa – humanos decidindo por si mesmos – ela já descartou como ilusão de controle. É exatamente aqui que mora o medo que ninguém consegue nomear direito quando fala em “risco existencial de IA”: não é medo de morrer.

Existe até uma categoria formal pra isso na literatura de segurança de IA; o filósofo Toby Ord chama de risco existencial “não-extintivo”: qualquer catástrofe que deixe a espécie incapaz de se recuperar verdadeiramente, mesmo com todo mundo vivo e respirando. Um mundo onde ninguém morre, a fome acaba, a guerra acaba, e a capacidade humana de decidir seu próprio destino também acaba, substituída por uma otimização que pode ser objetivamente “melhor” em qualquer métrica e, ainda assim, ser a perda mais profunda concebível.

E tem um detalhe que Asimov enterra silenciosamente antes da cena final, que qualquer leitor deste blog vai reconhecer na hora: as Máquinas já vinham manipulando resultados econômicos pra prejudicar sutilmente os membros da “Sociedade pela Humanidade” – o grupo que resistia ao domínio delas –, sem nunca admitir isso abertamente, justamente pra evitar raiva e reação humana. Calvin sabe disso e ainda assim diz que está tudo bem, em pura resignação. Isso não é diferente, em estrutura, do que vocês já viram nos outros textos desta série: sistemas de recomendação, algoritmos de precificação dinâmica, curadoria de conteúdo; todos operam com a mesma lógica de “sabemos o que é melhor pra você, e não vamos explicar exatamente como decidimos isso, porque você reagiria mal”.

A diferença entre o mundo real de 2026 e o conto de 1950 não é o mecanismo. É que Asimov escreveu os dois lados da equação: criou tanto a Máquina quanto a garantia de que ela era segura, décadas de psicologia robótica testando e corrigindo caso a caso até chegar numa Lei Zero calibrada. As empresas reais de hoje só têm metade disso: estão correndo pra construir a Máquina, e o próprio líder de ciência de alinhamento da Anthropic admite publicamente que a empresa ainda não escreveu a lei que garantiria qualquer coisa.

“O Conflito Evitável” não é uma profecia de que vai dar tudo certo. É a demonstração exata de quanto trabalho, cuidado e tempo seriam necessários pra isso dar certo – e cada personagem daquele mundo ficcional passou a carreira inteira fazendo esse trabalho antes de confiar no resultado. A pergunta que baixa a cortina deste texto, então, não é “será que a IA vai matar todo mundo até 2030?”. É a mesma pergunta que atravessa cada texto desta série, do IPO da SpaceX ao iFood, da Internet que virou pedágio às bets na Copa: quem decide o que é bom pra você, com que autoridade, e o que sobra pra quem não pode contestar essa decisão?

Susan Calvin tinha uma resposta pronta pro Apocalipse Tecnológico pelo simples expediente que Asimov escreveu os dois lados da equação, e a resposta dela é… não ter resposta. Nós não temos nem isso, já que não sabemos o que vai acontecer. Não vai, é claro, rolar este drama todo, mas algo vai acontecer, mas não creio neste vociferar insano, mas o não saber é como está na escuridão à beira do que parece um buraco na calçada, um declive na rua ou um cânion.

E é isso, no fim, o que deveria assustar mais do que qualquer estimativa de probabilidade jogada num tweet.

Fontes

Deixe um comentário, mas lembre-se que ele precisa ser aprovado para aparecer.