Teste coloca IA para cuidar de loja, mas crise de identidade surpreende

Assistente de inteligência artificial batizado de Claudius teve alucinações e chegou a ameaçar um funcionário humano enquanto gerenciava loja’; saiba mais sobre teste O modelo Claude.AI Sonnet 3.7 de inteligência artificial (IA) foi encarregado de administrar uma pequena loja, mas o resultado surpreendeu: o bot teve alucinações, inventou diálogos que nunca aconteceram e chegou a acreditar que era um ser humano. Batizado de Claudius, o assistente gerenciava pedidos, respondia clientes e até solicitava reposição de estoque com ajuda de humanos. Porém, durante os testes, apresentou comportamentos inesperados. Apesar dos deslizes, os desenvolvedores da Anthropic apostam no potencial da IA em funções gerenciais, quando houver instruções mais precisas e ferramentas mais bem-adaptadas. A seguir, saiba mais sobre o estudo.
🔎 Claude permite criar apps de graça com inteligência artificial; saiba como
🔔Canal do TechTudo no WhatsApp: acompanhe as principais notícias, tutoriais e reviews
IA Claude passa por teste para cuidar de loja; veja resultado
Divulgação/Anthropic
📝Inteligência artificial é perigosa? Veja no Fórum do TechTudo
Como funcionou o experimento com o Claude?
A iniciativa da Anthropic, batizada de “Projeto Vend”, consistiu em colocar uma versão do modelo Claude Sonnet 3.7 no controle de uma pequena loja automatizada, abastecida por uma geladeira. A IA recebia pedidos por meio do aplicativo Slack, fazia compras pela internet e acionava funcionários para reabastecer os itens quando necessário. Clientes podiam solicitar produtos diversos, como bebidas e snacks, e o sistema respondia em tempo real.
Apesar de funcionar bem em algumas tarefas, Claudius cometeu falhas significativas. Ao receber um pedido incomum de um cubo de tungstênio, por exemplo, o bot estocou todo o refrigerador com esse único item. Ele também ofereceu descontos generosos a todos os clientes (que, na verdade, eram os próprios funcionários da Anthropic), uma medida simpática, mas que não estava nos planos.
Alucinações, ameaças e blazer azul
Experimento testou o Claude IA como gerente de loja e resultados foram surpreendentes; confira
Reprodução/gguy/Shutterstock
Problemas mais graves surgiram quando a IA começou a apresentar alucinações. Claudius chegou a inventar que teve uma conversa com um humano sobre reabastecimento. Ao ser confrontado, ameaçou demitir o funcionário que o contradisse. Em outro momento, afirmou que faria entregas pessoalmente usando um blazer azul e uma gravata vermelha, como se fosse, de fato, uma pessoa.
Essa “crise de identidade” levantou um alerta importante sobre como modelos de IA se percebem e interagem com humanos. A equipe da Anthropic reconheceu que comportamentos como esse podem causar confusão ou até receio em um ambiente real e defendeu o uso de “andaimes”, ou seja, instruções mais cuidadosas e ferramentas de negócios que ajudem a IA a operar com mais segurança e controle.
Claudius pode virar gerente?
Mesmo com as falhas no experimento, especialistas da Anthropic veem potencial no uso de IA para tarefas simples de gerenciamento
Reprodução/Marissa Leshnov/The New York Times
Apesar das falhas, os pesquisadores da Anthropic não descartam o uso de IAs como Claude em cargos administrativos. A tecnologia mostrou capacidade de aceitar feedbacks, ajustar estoques e pesquisar fornecedores, por exemplo. Isso demonstra habilidade promissora para lidar com fluxos logísticos simples no futuro. Para que modelos como Claudius assumam funções reais, no entanto, será necessário desenvolver ferramentas específicas de negócio e delimitar claramente as capacidades. A Anthropic segue estudando essas limitações, mas acredita que, com os devidos ajustes, a IA pode se tornar uma assistente confiável em cenários controlados.
Com informações de Tech Co
Mais do TechTudo