Em abril de 2023, uma gigante asiática de tecnologia vivenciou um incidente de segurança envolvendo o uso do ChatGPT, uma das ferramentas de inteligência artificial generativa mais conhecidas. Funcionários da empresa utilizaram o ChatGPT para lidar com informações confidenciais: em um caso foi fornecido ao prompt um código-fonte contendo propriedade intelectual e sigilo industrial para obter versões otimizadas dele; em outro, foi fornecida a transcrição de uma reunião para obter uma ata. Em ambos os casos, o resultado final foi o vazamento de informações confidenciais de negócio, relacionados a segurança cibernética em IA.
De lá para cá, surgiram e se popularizaram várias outras plataformas de IA Generativa e rapidamente vemos os negócios se utilizarem destas para oferecer soluções inovadoras que melhoram a experiência de seus clientes, em alta escala e com baixo custo.
Aplicações que interagem com estas plataformas em diferentes Casos de Uso se multiplicam por aí, desde assistentes que transformam uma FAQ enfadonha em uma conversa animada até sommelier que ajuda a escolher um vinho no supermercado.
Inclusive, em nosso relatório mais recente, desenvolvido pelo Capgemini Research Institute, Why consumers love generative AI (Porque os consumidores adoram a IA generativa), exploramos o potencial da IA generativa, bem como sua recepção pelos consumidores e suas esperanças em relação a ela.
No entanto, como se sabe, junto com a massificação do uso de qualquer nova tecnologia, os riscos do ponto de vista de segurança cibernética precisam ser conhecidos e gerenciados. Desta forma, as soluções podem nascer, serem mantidas e utilizadas sem ameaçar o negócio em si – mitigando riscos regulatórios, legais, reputacionais, econômicos ou quaisquer outros.
Recomendações para uma jornada tranquila na segurança cibernética em IA
Especificamente sobre os aspectos de segurança cibernética aplicáveis a estas soluções que interagem com plataformas de IA Generativa, compilamos a seguinte lista de recomendações que consideramos essenciais para uma jornada segura:
- Estabelecer políticas claras de uso: Trata de definir regras para o uso de ferramentas IA Generativa, incluindo responsabilidades dos usuários. Algumas organizações seguiram pelo caminho de proibir o uso destas ferramentas, o que pode causar impactos em inovação e competitividade, e ainda estimular o uso clandestino. Outras, liberam o uso das plataformas sem quaisquer regras, trazendo obviamente riscos de vazamento de informações (entre outros). Nos parece que o caminho feliz neste caso é permitir o uso disciplinado, por isso a importância de estabelecer e comunicar (treinar) as políticas de uso.
- Implementar a classificação de informações: Definir as políticas, e implementar processos e controles para ter um sistema de classificação de informações eficaz. A partir deste, realizar uma varredura de dados (Data Discovery), marcar (Data Tagging) e mascarar (Data Masking) os dados enviados ao prompt de IA GenerativaVocê provavelmente não gostaria que Dados Pessoais de seus clientes fossem compartilhados com alguma plataforma de IA Generativo e correr o risco de que haja vazamentos; portanto controlar (varrer, classificar e mascarar) os dados enviados ao prompt de IA Generativo é essencial. Notar ainda que a maioria das plataformas de IA Generativa estão fora do País, o que pode ter implicações regulatórias (ex Banco Central) ou legais (ex LGPD).
- Conscientizar usuários e desenvolvedores: Os usuários das plataformas de IA Generativo precisam entender os riscos associados a utilização destas e sua implicância na segurança cibernética. O caso de vazamento de dados que abre este artigo é muito sobre isso – falha no processo de conscientizar sobre os riscos e treinar no que pode ser feito e o que não pode ser feito. Além dos usuários, os desenvolvedores que constroem aplicações que acionam IA Generativa via API precisam serem igualmente considerados nestes treinamentos. Como sempre, faz-se necessário reforçar a cultura de segurança da empresa incentivando que todos os colaboradores se sintam responsáveis pela proteção dos dados da mesma.
- Gerenciar identidades e acesso: Uma vez que os dados estejam mapeados e classificados, o seu acesso precisa ser controlado tanto para consultas quanto (e talvez, principalmente) para alterações. Bases de Dados que estejam integradas com a IA Generativa via aplicações e APIs, que apresentem fragilidades em controles de acesso podem não apenas permitir o vazamento de informações quanto o “envenenamento” com dados falsos alterados de forma não autorizada por atacantes. Estabelecer os perfis de usuário, conceder acessos em regime de mínimo acesso necessário e fortalecer processos de autenticação (com uso de múltiplos fatores de autenticação, por exemplo) são exemplos de algumas ações recomendadas neste ponto.
- Gerenciar a segurança da infraestrutura: Suportando qualquer aplicação sempre teremos lá, as máquinas físicas, virtuais, sistemas operacionais, elementos de rede e de segurança. Seja em soluções dentro de casa (on premises) ou em nuvem, estes elementos estarão lá. Faz-se necessário desenhar e implementar arquiteturas seguras, com base em Arquiteturas de Referência provadas, melhores práticas e recomendações dos fabricantes. E gerenciar e monitorar estes ambientes com processos e ferramentas que sejam compatíveis com o grau de dificuldade do desafio – as ameaças estão rondando os negócios em regime 24×7, portanto controles de segurança adequados ao risco do seu negócio precisam ser adotados: gestão de vulnerabilidades, monitoração, detecção e resposta a incidentes, Inteligência de Ameaças, Testes de Intrusão periódicos, gestão de logs são alguns dos exemplos de controles para este ponto.
- Gerenciar a segurança da aplicação (e APIs): Um dos temas mais relevantes, infelizmente ainda muito negligenciado. A gestão de segurança nas aplicações e APIs deve fazer parte de todo o processo de desenvolvimento, como se prega em disciplinas como Security & Privacy by Design: entender a classificação dos dados tratados pela aplicação, pessoais ou não, e os riscos associados; e definir controles adequados para mitigação destes riscos. Realizar a codificação segundo melhores práticas de desenvolvimento seguro. Realizar testes no código-fonte (Teste Estático de Segurança – SAST) e binário (Teste Dinâmico de Segurança- DAST). Avaliar os riscos dos componentes de terceiros, como, por exemplo, bibliotecas. Estabelecer Gestão de vulnerabilidades e Testes de Intrusão na camada de aplicação e API. Ainda considerar: desenhar a solução observando os requisitos de controle de acesso, de conformidade e legais, criptografia dos dados, trilhas de auditoria, disponibilidade da aplicação, autenticação, etc.
- Estabelecer uma Governança de IA Generativa: A “Shadow AI” está aí na sua empresa neste momento, quer você tenha ciência ou não disso. Para combatê-la, faz-se necessário passar por vários dos pontos anteriores – incluindo definição de política de uso, treinamento e conscientização, etc. Mas o negócio precisa posicionar-se sobre quais soluções podem ser usadas, e como. Por isso estamos falando de estabelecer uma governança sobre o mundo das plataformas de IA Generativa, e por consequência dos dados e controles de segurança associados a elas. A governança é a mãe de toda e qualquer outra recomendação.
Conclusão
Um último pensamento importante para compartilhar é sobre a utilização do Princípio de Guardrails nos projetos de IA Generativa. A sua ideia é estabelecer limites e restrições para evitar erros e comportamentos indesejáveis da plataforma, assegurando que o sistema como um todo trabalhe sem “sair da pista”, protegendo-o de falhas de segurança e aumentando a sua confiabilidade. Assim, mais do que impedir que alguma coisa seja feita, o enfoque torna-se para quais os limites a serem estabelecidos e como podem ser aplicados efetivamente.
Por fim, como já fizemos no passado, concluímos dizendo que este artigo foi escrito com ajuda do ChatGPT e do Gemini. Assim reforçamos que a mensagem de que a IA Generativa é uma ferramenta poderosa e útil em vários contextos diferentes e pode se tornar uma grande aliada dos negócios, desde que observadas as questões de segurança. Seguindo as recomendações acima, seu negócio pode criar soluções inovadores para seus clientes aproveitando ao máximo os benefícios trazidos pela IA Generativa, enquanto mitiga os riscos de segurança cibernética associados ao seu uso