Scott Zoldi: ‘ChatGPT é interessante, mas também muito perigoso’

[Romildo de Paula Leite]

Chief Analytics Officer da FICO demonstra preocupação sobre IA responsável e ética.

Scott Zoldi, Chief Analytics Officer e vice-presidente de analytics da FICO

Antes, as empresas interessadas em Inteligência Artificial (IA) se concentravam em como trazer aprendizado de máquina para computadores menores e softwares menos sofisticados. Ou seja, estavam focadas na operacionalização desses modelos. E, ainda hoje, grande parte das organizações não são capazes de realmente implantar o aprendizado de máquina em um sentido operacional para tomar decisões e, portanto, ainda há a perspectiva de operacionalização.

“Apesar de permanecer, observamos para onde o interesse mudou de uma perspectiva de nuvem, levando nossas tecnologias para a cloud, mas também garantindo que elas possam ser operacionalizadas para a tomada de decisão. Pois, se você construiu um modelo que não pode ser operacionalizado, não poderá usá-lo e tomar uma decisão em torno dele. Mais recentemente, nos últimos 10 anos, um dos meus focos tem sido a IA responsável. Acreditamos que a IA e o aprendizado de máquina podem fazer muitas coisas maravilhosas para a sociedade e para as pessoas, mas também podem prejudicar as pessoas se forem construídas de maneira descuidada”, revela Scott Zoldi, Chief Analytics Officer e vice-presidente de analytics da FICO, em entrevista ao IT Forum no FICO World*.

Há 30 anos, diz ele, as pessoas que construíam modelos de aprendizado de máquina eram as mesmas que construíam os algoritmos. Elas sabiam exatamente como o algoritmo foi construído e, por isso, conheciam os perigos e as suposições.

“Essas pessoas e a indústria estavam testando agressivamente se havia uma desconfiança total. Era tão novo na sociedade de hoje, certo? Há IA em nossos telefones, estamos acostumados. Interagimos com ela, permitimos que ela nos guie por nossas cidades com nossos mapas e tudo mais. E assim a percepção da IA é muito mais segura, e as pessoas começaram a usar e desenvolver modelos. Entretanto, as pessoas que usam às vezes não sabem o que os algoritmos fazem. E isso é perigoso porque agora eles estão construindo coisas porque podem fazer isso na nuvem. Mas eles realmente não entendem ou não são especialistas o suficiente para dizer se devem usar esse modelo”, frisa Scott.

De acordo com o especialista, esses modelos devem ser construídos de forma robusta. Isso significa pensar nos dados que coleta, remover o viés, entender como será implantado, precisa ser explicável ou interpretável. Portanto, é preciso poder explicar corretamente o modelo para que o público entenda.

“O outro aspecto disso é que tem que ser ético. Não queremos que a IA discrimine grupos de pessoas. E então, quando você permite que o aprendizado de máquina aprenda e otimize um problema, talvez otimize um resultado discriminando um grupo ou outro e, portanto, deve ser ético. E a parte final é ser responsável”, diz Zoldi.

Para ele, o modelo de governança tem grande parte nisso tudo. E que a jornada foi uma reação às pessoas que irão obter o código aberto, baixar alguns tipos de dados, executar o modelo e implantá-lo corretamente.

“Queremos ter todas essas etapas lá. Para que os consumidores possam ser protegidos. E realmente acreditamos que as organizações devem definir impor isso. A última parte dessa discussão é que usamos a tecnologia blockchain para colocar nele todas as etapas do desenvolvimento do modelo, para que saibamos como o modelo foi desenvolvido e, por consequência, possamos voltar e entender quais foram as condições sob as quais usamos o modelo. E se esse modelo deve ou não, digamos, remover saiu da produção”, revela Scott.

A FICO realizou uma pesquisa com as empresas de serviços financeiros norte-americanos e cerca de 71% disseram que não têm IA ética como parte de suas operações atuais e 50% afirmaram não ter um modelo padrão de IA. O medo do executivo é de que de uma perspectiva de IA responsável, as instituições não estejam necessariamente me uma boa posição.

Os perigos do ChatGPT

“Mas agora você tem essa novidade chamada ChatGPT, que é bem interessante, mas também muito perigoso. E é perigoso porque ele pode fabricar informações. Você tem problemas porque, ao menos que você seja um especialista, não saberá que está mentindo para você. Quando você olha para essas tecnologias e diz: prove para mim que está me dizendo a verdade. Às vezes, ele inventa citações e outras informações certas. E assim vai gerar interesse”, adverte Scott.

O especialista afirma que muitas empresas estão tentando dizer que tudo o que é feito é IA generativa, porque essa é a próxima moda e é um ciclo de hype. “Assim como o big data foi quando surgiu. Todos achavam que isso mudaria o mundo e não mudou. No momento, a conversa gira em torno de small data. Minha opinião é que é uma distração de fazer um bom trabalho em torno da IA responsável.”

O especialista, inclusive, já fez textos para alertar o mercado sobre os perigos na perspectiva de IA responsável e, agora, vê com bons olhos a carta aberta de pesquisadores pedindo a pausa da tecnologia. “Os empresários veem uma oportunidade de ganhar algum dinheiro. Mas acho que os pesquisadores e as pessoas que querem ter certeza de que usamos a tecnologia com cuidado e ética viram que não é a tecnologia a ser usada em geral e provavelmente levará meses e anos para descobrir como usar essa tecnologia de forma segura e responsável.”

Ao ser questionado sobre o bom uso da tecnologia, ele dá o exemplo de lavagem de dinheiro. Quando há um suspeito, deve ser feito um relatório com os argumentos para a suspeita. Esse tipo de tecnologia faria um bom trabalho em explicar quais são as transações e onde o dinheiro é transacionado. Ou seja, resumir os dados da transação em uma narrativa que a pessoa possa entender.

Siga o IT Forum no LinkedIn e fique por dentro de todas as notícias!

“As pessoas precisam entender que essas tecnologias são construídas sem grades de proteção hoje. Elas são construídas por matemáticos, cientistas de dados e pesquisadores que estão tentando entender o quão bem suas máquinas podem funcionar. E só porque a IA está produzindo informações impressionantes, não significa que esteja certa ou que não seja fácil de seguir”, diz ele.

Sobre a discussão em torno de regulações em todo o mundo, Scoot diz ser importante pois muitas empresas escolherão não se autorregular. Ao fazer um regulamento, o governo estabelece essencialmente algumas proteções para o direito dos cidadãos. Por isso, em geral, o executivo apoia as regulações.

“Acho que o desafio da regulamentação está em que, em algumas partes do mundo, os reguladores realmente não entendem a IA ou como escrever a regulamentação de maneira apropriada. Então, às vezes, o regulamento é apenas uma orientação e eles não têm como fazer cumprir essa orientação. Às vezes, essa regulamentação não usa a tecnologia, o que também não é ótimo, porque talvez do ponto de vista econômico ou geopolítico, esse país não está evoluindo na mesma proporção que outros países em termos de uso da tecnologia”, comenta Scott.

Por isso, ele acredita a coisa certa é pisar no freio e fazer as pessoas pensarem sobre isso. “Minha esperança é que, quando as pessoas falarem sobre regulamentações, as indústrias se reúnam para definir uma estrutura de como fazer isso”, finaliza.

* a jornalista viajou para Miami à convite da FICO

Laura Martins*

https://itforum.com.br/noticias/scott-zoldi-chatgpt-perigoso/

Para participar de nossa Rede Têxtil e do Vestuário - CLIQUE AQUI