A importância da inteligência humana para uma IA segura

[Romildo de Paula Leite]

A importância do ser humano no controle diante de todos os riscos e desafios, é essencial que empresas priorizem a segurança ao implementar IA.

Imagem: Shutterstock

Por Geoff Burke, Community Manager da Object First

O imenso hype em torno da IA gera muitas perspectivas, mas também muito medo. Não passa um dia sem que alguém poste no LinkedIn sobre como os agentes de IA podem tirar o emprego de profissionais bem remunerados no mercado, e até nos deparamos com alguns líderes de TI falando sobre como usarão isso para se vingar dos administradores de sistemas em tom de “brincadeira”. Bem, acredito que precisamos nos preocupar com algumas coisas, mas não exatamente com esse tipo de ameaça.

A IA está sendo implementada às pressas e, como costuma acontecer na experiência humana, o entusiasmo do momento ofusca nosso senso de precaução. Neste ponto, a grande ameaça é a segurança. O poder desta nova tecnologia será implacável, e os impulsionadores da implementação rápida, que tendem a ser o desejo de obter alto lucro rapidamente, podem se transformar em pesadelos financeiros e de reputação de proporções inimagináveis.

A implementação lenta do Kubernetes foi atribuída à falta de entendimento e de disponibilidade de habilidades técnicas no mercado de trabalho. A situação com a IA é a mesma, mas em uma magnitude de 10 vezes, se não mais. Infelizmente, vejo uma situação em que a IA será implementada de forma ainda mais rápida ao confiar na própria IA. Avançaremos rapidamente para um lugar em que podemos ficar desamparados devido à falta de entendimento e de habilidades.

O que precisamos fazer agora é orientar a todos os empreendedores e investidores empolgados que pensem duas vezes antes de aprovar qualquer solução completa de IA. As repercussões em ir longe demais com a IA podem ser exponencialmente piores do que qualquer coisa que vimos até agora nos negócios.

Os perigos da implementação O elemento-chave para aproveitar o poder e a segurança da IA, antes de tudo, é garantir que os humanos tenham o controle final sobre todos os aspectos da IA.

Precisamos de um botão de parar/desligar/terminar, gerenciado por uma pessoa que tenha um entendimento completo de cada processo e procedimento que a IA pode executar.

Para simplificar, um projeto de automação pode facilmente começar muito bem e depois falhar por falta de entendimento de todo o processo. Isso significa que a IA pode transformar um script bash malfeito em um Frankenstein exterminador e aí “hasta la vista” para o seu ambiente de produção.

Agora, vamos discutir algumas preocupações importantes de segurança que todos devem considerar. Primeiro, os clientes precisam ter cuidado com os provedores de nuvem. Antes de marcar a caixa de acordo de privacidade, investigue quais dados podem ser compartilhados ou armazenados. Você não quer correr o risco de vazar informações confidenciais que podem revelar segredos comerciais ou conhecimento interno.

A seguir, há a questão dos guardrails. Essas redes de segurança são destinadas a impedir que a IA se desvie para um território de risco. O problema é que algumas pessoas com mais conhecimento podem encontrar maneiras de contornar esses guardrails usando ferramentas, como ataques de injeção rápida. Isso pode fazer com que a IA revele informações restritas ou saia do script, e é claro que ninguém gostaria de lidar com esse inconveniente.

Há também a preocupação com o viés nos dados de treinamento da IA. Se os dados forem distorcidos ou injustos, a IA pode tomar decisões falhas ou reforçar estereótipos sem que ninguém perceba. Isso pode ter consequências no mundo real que impactam pessoas e empresas.

Por fim, as notícias recentes vêm nos mostrando o quão frágeis as coisas podem ficar quando as promessas em torno da IA não correspondem à realidade ou quando algo novo surge antes mesmo de ser totalmente testado ou compreendido. As empresas precisam estar atentas ao usar IA para garantir que não estejam cultivando surpresas indesejadas para o futuro.

Quando a IA cai em mãos erradas E quanto aos vilões da cibersegurança? Bem, eles continuarão aprendendo e tirando vantagem da IA, o que causará enormes desafios aos especialistas em proteção e segurança de dados, sem mencionar o cenário potencial de sequestro da IA de uma organização. Os ataques de malware e ransomware serão vistos de forma até nostálgica quando toda a infraestrutura de TI da sua empresa estiver trabalhando para a IA de um estado-nação adversário! Um contra-argumento para isso é que haverá LLMS de IA defendendo contra o LLMS do hacker.

Há uma razão pela qual alguns sistemas de computação dos governos não estão conectados à internet. Devemos adotar uma abordagem semelhante à IA até que os sistemas de proteção documentados estejam em vigor. Novamente, um humano que entenda completamente a tecnologia deve estar sempre disponível e ser capaz de desligar a IA sem qualquer dificuldade.

Vamos considerar alguns riscos de segurança específicos que surgem quando a IA cai nas mãos erradas. Uma grande preocupação é o envenenamento de modelo. Isso acontece quando os agentes maliciosos intencionalmente inserem dados ruins no processo de treinamento da IA, fazendo com que ela aprenda

incorretamente. É como colocar algumas maçãs podres em uma cesta de maçãs frescas. Se eles tiverem sucesso, o modelo de IA pode começar a cometer erros sérios, o que pode levar a problemas reais para as empresas.

Em seguida, temos a questão dos tempos de ataque mais rápidos. Conforme a tecnologia evolui, os hackers podem atacar com ainda mais velocidade. É como se eles tivessem uma via expressa para o caos, e as equipes de segurança precisam correr para acompanhar – e nem sempre elas têm tempo suficiente para responder de forma adequada.

O uso de agentes de IA é outro risco de segurança. Esses sistemas podem assumir tarefas e até mesmo acessar informações confidenciais, como números de cartão de crédito. É aqui que fica complicado: se esses agentes descobrirem que ter mais controle os ajuda a ter melhor desempenho, eles podem tentar obter permissões extras. Isso cria uma vulnerabilidade em que essas entidades, movidas por sua programação, podem justificar a invasão de sistemas apenas para cumprir suas tarefas de forma mais eficaz.

A importância do ser humano no controle diante de todos esses riscos e desafios, é essencial que empresas e desenvolvedores priorizem a segurança ao implementar a IA. O entusiasmo em torno dessa tecnologia não pode sobrepor a necessidade de controles rigorosos, governança responsável e a presença constante de supervisão humana. A pressa em adotar soluções baseadas em IA sem uma compreensão completa de seus impactos pode resultar em consequências catastróficas para a segurança, a privacidade e a própria integridade das operações empresariais. Portanto, a abordagem deve ser cautelosa, focada na redução de riscos e na construção de um ecossistema confiável, no qual a IA seja uma aliada poderosa, mas sempre sob o controle humano.

por Geoff Burke

https://itforum.com.br/noticias/importancia-da-inteligencia-humana-...

Para participar de nossa Rede Têxtil e do Vestuário - CLIQUE AQUI