O paciente H e memórias do futuro
Um processo analítico aberto aos leitores e uma antítese ao mesmo na sequência sobre o ChatGPT e Inteligência Artificial
O paciente H está comigo desde 2019. Acho que é um bom tempo de análise. Tal processo de elaboração e deslocamento nesse caso foi lento mas neuróticamente metódico. Os encontros eram semanais, depois quinzenais e agora mensais. H saiu de uma posição de vítima neoliberal para uma posição atuante. O cara é um opiniâtre no bom sentido (palavra que certa vez joguei numa sessão sem querer querendo e ele adorou).
Fato é... recentemente a empresa que ele trabalhava resolveu se implodir e demitir gente que cresceu. Ele foi um destes... Mas ele estava tão fortalecido pelas sessões que me surpreendeu! Parece que não doeu.
Psicanálise funciona sim — é nessa sustentação e força diante de um possível trauma que a gente vê! Agora H sabe que tem uma vida mais rica. Não é a grana da rescisão que o deixou rico — que aliás ele muito bem sabe aplicar e etc... mas sim o ego crescido, calejado, blindado e uma existência mais recheada de bons objetos, no sentido bacana!
Este relato tem uma produção de sessão a comunicar ;)
Nesta semana, H via análise percebe que existe uma grande e positiva possibilidade de estudar profundamente o ChatGPT. Ele tem tempo, está atrás de cursos até fora do Brasil. Eu não acho que o mundo vai acabar por causa do ChatGPT ou muito menos por causa de artes produzidas no MidJourney. Mas na sequência você caro leitor poderá ler uma tradução d euma matéria interessante da TIME. Lembro-me do medo de muita gente do mundo editorial antigo... Quark, Photoshop... Illustrator... muitos novos empregos e novos talentos surgiram. Gente criando software, plugins (quem lembra do Kai's Power Tools?). Mudanças, mudanças e mais mudanças. Só posso escrever que as mudanças são o sintoma da impermanência — que é o tal REAL de Lacan e é difícil de simbolizarmos e nunca veio para o divã!
O interessante é que H dá umas pinceladas nessa infância TALVEZ nada inocente do ChatGPT e numa guinada estilo Cixin Liu e Phillip K. Dick já avisa que em breve serei psicanalista de alguma AI... de alguma criatura meio homem, meio máquina — biocibermecânica e que talvez novas estruturas psíquicas, muito além de neurose, psicose e perversão apareçam. Será? Até pincelamos a possibilidade de uma quarta estrutura — a autista (calma... vi uma psicanalista xpto que dará um curso sobre essa hipótese e não descarto ser boa possibilidade mas descordo, estudo o autismo e entendo causas neurológicas — mas, pra pensar!). Enfim, H não descartou o fator humano.
Quando mencionei HAL de 2001 e discussões antigas sobre um supercomputador psicótico, H, o já conhecido paciente respondeu que nunca tinha assistido ao filme. Fato corrigido ansiosamente. Mesmo assim, foi uma sessão positiva, rendeu papos no WhatsApp que não tive tempo hábil de dar continuidade — mas vai ter muita coisa interessante nos próximos encontros! Às vezes ser psicanalista nerd ajuda na sessão! Mas vale o contraponto pessimista sobre IA. Seguimos…
“Pausar o desenvolvimento não é suficiente.
Temos que desligar tudo.”
(artigo traduzido da revista time de 29/03/23)
Esse é o título da matéria da revista Time, que traduzi e transcrevo abaixo para você caro leitor. Foi escrita por Eliezer Yudkowsky.
Yudkowsky é um teórico norteamericano e lidera pesquisa no Instituto de Pesquisa de Inteligência das Máquinas. Ele tem trabalhado em Inteligência Artificial desde 2001 e é amplamente considerado como um criador da área. Portanto, o cara tem um certo DISCURSO DO MESTRE!
Se eu fosse você caro leitor, leria até o fim com atenção mas sem pânico. É uma visão pessimista, bem diferente da transferência entre eu e o analisante H.
Uma carta aberta publicada em 29 de março de 2023 conclama “todos os laboratórios a pausarem imediatamente por 6 meses o treinamento de todos sistemas mais poderosos que o GPT-4. Essa moratória de 6 meses seria melhor que nenhuma moratória. Eu tenho respeito pelos que deram um passo à frente e a assinaram. É uma melhora na margem.
Eu me recusei a assinar porque eu penso que a carta está subestimando a seriedade da situação e pedindo muito pouco para solucioná-la.
A questão principal não é inteligência “competidora de humanos” (como a carta aberta coloca); é o que acontece depois da IA se tornar inteligência mais-esperta-que-humanos. Os limites podem não ser óbvios, nós definitivamente não conseguimos calcular de antemão o que aconteceria, e dá pra saber que um laboratório de pesquisa iria atravessar linhas críticas sem notar.
Muitos pesquisadores entraram nessas questões, incluindo eu, imaginando que o resultado mais provável de se construir uma IA espertamente sobre-humana, em uma situação remotamente parecida com a nossa, seria: todos na terra vão morrer. Não como “talvez possivelmente uma chance remota”, mas como “é óbvio que isso iria acontecer”. Não é que você não consiga, em princípio, sobreviver criando alguma coisa mais esperta que você; é que isso iria requerer precisão e preparação e novos insights científicos, e provavelmente não ter sistemas de IA compostos de gigantescas matrizes de números fracionais inescrutáveis.
Sem essa precisão e preparação, o resultado mais provável é uma IA que não faz o que queremos, e não se importa conosco nem com a vida senciente em geral. Esse tipo de cuidado é algo que poderia, em princípio, estar embutido em uma IA, mas não estamos prontos e atualmente não sabemos como.
Sem esse cuidado, teremos “a IA não te ama, nem te odeia, e você é feito de átomos que ela pode usar para outra coisa”.
O resultado provável da humanidade enfrentar uma inteligência sobre-humana é a perda total. Metáforas válidas incluem “uma criança de 10 anos tentando jogar xadrez contra Stockfish 15”, “o século 11 tentando lutar contra o século 21” e “Australopithecus tentando lutar contra o Homo sapiens”.
Para visualizar uma IA sobre-humana hostil, não imagine um pensador inteligente e sem vida morando dentro da Internet e enviando e-mails mal-intencionados. Visualize toda uma civilização alienígena, com velocidade de pensamento milhões de vezes mais rápida que a dos humanos, inicialmente confinada a computadores — em um mundo de criaturas que são, de seu ponto de vista, muito estúpidas e muito lentas. Uma IA suficientemente inteligente não ficará confinada aos computadores por muito tempo. No mundo de hoje, você pode enviar sequências de DNA por e-mail para laboratórios que produzirão proteínas sob demanda, permitindo que uma IA inicialmente confinada à Internet construa formas de vida artificiais ou pule direto para a fabricação molecular pós-biológica.
Se alguém construir uma IA muito poderosa, nas condições atuais, eu penso que cada membro da espécie humana e toda a vida biológica na Terra irá morrer logo em seguida.
Não há nenhum plano proposto de como poderíamos fazer tal coisa e sobreviver. A intenção abertamente declarada da OpenAI é fazer com que alguma IA futura faça nosso dever de casa de alinhamento de IA. Ouvir que este é o plano deveria ser suficiente para fazer qualquer pessoa sensata entrar em pânico. O outro laboratório líder de IA, o DeepMind, não tem nenhum plano.
Um aparte: nenhum desses perigos depende se as AIs são ou podem ser conscientes; é intrínseco à noção de sistemas cognitivos poderosos que otimizam e calculam soluções que atendem a critérios de resultado suficientemente complicados. Isso posto, eu seria negligente em meus deveres morais como humano se também não mencionasse que não temos ideia de como determinar se os sistemas de IA estão cientes de si mesmos — já que não temos ideia de como decodificar qualquer coisa que aconteça nas gigantescas matrizes inescrutáveis — e, portanto, podemos, em algum momento, criar inadvertidamente mentes digitais que são verdadeiramente conscientes e devem ter direitos e não devem ser propriedade de ninguém.
A regra que a maioria das pessoas cientes dessas questões teria endossado há 50 anos, era que, se um sistema de IA pudessem falar fluentemente e dissesse que é auto-consciente e exigisse direitos humanos, isso deveria ser um limite para as pessoas que casualmente possuíssem essa IA e a estivessem usando além desse ponto. Já ultrapassamos essa velha linha na areia. E isso provavelmente foi correto; eu concordo que as IAs atuais provavelmente estão apenas imitando a conversa sobre autoconsciência de seus dados de treinamento. Mas eu reforço que, com o pouco conhecimento que temos sobre o funcionamento interno desses sistemas, na verdade não sabemos.
Se esse é o nosso nível de ignorância com o GPT-4, e o GPT-5 dará o mesmo pulo gigante de capacidade que o GPT-3 deu para o GPT-4, acho que não seremos mais capazes de dizer justificadamente "provavelmente não auto-ciente” se deixarmos as pessoas produzirem o GPT-5s. Será apenas “eu não sei; ninguém sabe." Se você não tem certeza que está criando uma IA auto-consciente, isso é alarmante não apenas por causa das implicações morais da parte “auto-consciente”, mas porque não ter certeza significa que você não tem ideia do que está fazendo. E isso é perigoso. E você deve parar.
Em 7 de fevereiro, Satya Nadella, CEO da Microsoft, vangloriou-se publicamente de que o novo Bing faria o Google “sair e mostrar que sabe dançar”. “Quero que as pessoas saibam que os fizemos dançar”, ele disse.
Em um mundo são, não é assim que um CEO da Microsoft fala. Isso mostra uma lacuna assustadora entre o quão seriamente estamos encarando o problema e o quão seriamente deveríamos estar encarando o problema, começando há 30 anos.
Não vamos preencher essa lacuna em seis meses.
Passaram-se mais de 60 anos entre quando a noção de Inteligência Artificial foi proposta e estudada pela primeira vez e quando atingimos as capacidades de hoje. Resolver a segurança da inteligência sobre-humana — não segurança perfeita, segurança no sentido de “não matar literalmente todo mundo” — poderia levar pelo menos metade desse tempo. E o problema de tentar isso com inteligência sobre-humana é que, se você errar na primeira tentativa, não aprenderá com seus erros, porque estará morto. A humanidade não irá aprender com o erro, tirar a poeira e tentar de novo, como em outros desafios que superamos em nossa história, porque já teremos todos desaparecido.
Tentar acertar qualquer coisa na primeira tentativa realmente crítica é uma tarefa extraordinária, tanto na ciência quanto na engenharia. Não estamos vindo com nada parecido com uma abordagem que seria necessária para fazer isso com sucesso. Se no campo nascente da Inteligência Artificial Geral exigíssemos o mesmo mínimo padrão de rigor que a engenharia aplica a uma ponte destinada a transportar alguns milhares de carros, todo o campo de IA seria fechado amanhã.
Não estamos preparados. Não estamos a caminho de estar preparados em qualquer janela de tempo razoável. Não há plano. O progresso nas capacidades de IA está muito, muito à frente do progresso no alinhamento da IA ou mesmo do progresso na compreensão do que diabos está acontecendo dentro desses sistemas. Se realmente fizermos isso, todos morreremos.
Muitos pesquisadores que trabalham nesses sistemas acreditam que estamos mergulhando em uma catástrofe, a maioria deles ousando dizer isso mais em particular do que em público; mas eles pensam que não podem parar unilateralmente esse salto para a frente, que outros continuarão mesmo que eles abandonem seus empregos. E assim eles todos concluem que devem continuar. Isso e uma situação estúpida e uma maneira indigna da Terra morrer, e o resto da humanidade deveria intervir neste ponto e ajudar a indústria a resolver seu problema de ação coletiva.
Alguns de meus amigos me relataram recentemente que, quando pessoas fora da indústria de IA ouvem pela primeira vez sobre o risco de extinção, sua reação é “talvez não devêssemos construir AI, então”. Ouvir isso me dá um pequeno lampejo de esperança, porque é a reação mais simples, mais sensata e francamente mais sã que ouvi nos últimos 20 anos de tentativas de fazer com que qualquer um na indústria leve as coisas a sério. Qualquer pessoa que fale coisas tão sensatas merece ouvir o quão ruim a situação realmente é, e não ser informado de que uma moratória de seis meses vai consertá-la.
Em 16 de março, minha socia me enviou este e-mail (mais tarde, ela me deu permissão para citá-lo aqui). “Nina perdeu um dente! Do jeito normal que acontece com as crianças, não por descuido! Ver o GPT4 explodir aqueles testes padronizados no mesmo dia em que Nina atingiu um marco na infância trouxe uma onda emocional que me tirou do sério por um minuto. Está tudo indo muito rápido. Fico preocupada que compartilhar isso aumente sua dor, mas prefiro que você saiba disso tudo do que cada um de nós sofra sozinho”. Quando uma conversa íntima é sobre a dor de ver sua filha perder o primeiro dente e pensar que ela não terá chance de crescer, acredito que já passamos do ponto de jogar xadrez político sobre uma moratória de seis meses.
Se houvesse um plano para a sobrevivência da Terra, se ao menos aprovássemos uma moratória de seis meses, eu apoiaria esse plano. Não existe nada como esse plano.
Aqui está o que realmente precisaria ser feito:
A moratória em novos grandes processos de treinamento precisa ser indefinida e mundial. Não pode haver exceções, inclusive para governos ou militares. Se a política começar pelos EUA, então a China precisa ver que os EUA não estão buscando uma vantagem, mas sim tentando impedir uma tecnologia terrivelmente perigosa que pode não ter um verdadeiro dono e que matará todos nos EUA, na China e na Terra.
Se eu tivesse liberdade infinita para escrever leis, iria criar uma única exceção para IAs sendo treinadas apenas para resolver problemas em biologia e biotecnologia, não treinadas em textos da internet e não em um nível em que começam a falar ou planejar; mas se isso começasse a complicar a questão, eu descartaria imediatamente essa proposta e diria para desligar tudo.
Desligar todos os grandes clusters de GPU (os grandes farms de computadores onde as IAs mais poderosas são refinadas). Desligar todas os grandes processadores de treinamento. Colocar um teto em quanto poder de computação alguém pode usar no treinamento de um sistema de IA e reduzi-lo nos próximos anos para compensar por algoritmos de treinamento mais eficientes. Sem exceções para governos e militares. Fazer acordos internacionais imediatos para evitar que as atividades proibidas se movam para outro lugar. Rastrear todas as GPUs vendidas. Se a inteligência disser que um país fora do acordo está construindo um cluster de GPU, ter menos medo de uma guerrilha entre nações do que da moratória sendo violada; estar disposto a destruir um datacenter clandestino por ataque aéreo.
Não enquadrar nada como um conflito entre interesses nacionais, deixar claro que quem fala em corrida armamentista é um tolo. Que todos vivamos ou morramos como um, nisso, não é uma política, mas um fato da natureza. Deixar explícito na diplomacia internacional que a prevenção de cenários de extinção de IA é considerada uma prioridade acima de impedir uma troca nuclear completa, e que os países nucleares aliados estão dispostos a correr algum risco de troca nuclear se isso for necessário para reduzir o risco de grandes processos de treinamento de IA .
Esse é o tipo de mudança de política que faria com que meu parceiro e eu nos abraçássemos e disséssemos um ao outro que um milagre aconteceu e agora há uma chance de que talvez Nina viva. As pessoas sãs que ouvem isso pela primeira vez e dizem sensatamente “talvez não devêssemos” merecem ouvir, honestamente, o que seria necessário para que isso acontecesse. Com uma solicitação política tão grande, a única forma de aprovação seria se os legisladores percebessem que, se conduzirem os negócios como sempre e fizerem o que é politicamente fácil, seus próprios filhos também morrerão.
Desliguem tudo.
Não estamos prontos. Não estamos a caminho de estar significativamente mais preparados num futuro próximo. Se continuarmos com isso, todos morreremos, inclusive as crianças que não escolheram isso e não fizeram nada de errado.
Desliguem.
É um contraponto interessante essa matéria. Será mesmo que estamos diante de uma possibilidade estarrecedora de finitude ou… estamos abrindo uma nova Caixa de Pandora e seremos surpreendidos com novas possibilidades de existência? Estamos resistentes?