MasterClass sobre segurança em aplicações com IA, cobrindo threat…
INEMA
📘 Documento criado agora⌗
Guia Técnico-Prático de Segurança de IA⌗
Esse guia é:
- 🔧 Mão na massa
- 🧪 Cheio de exemplos reais
- 📡 Baseado em fontes técnicas oficiais
- 🛠️ Pensado para quem constrói, testa e defende sistemas
Ele não repete o material conceitual — ele aprofunda.
O que este guia técnico entrega (na prática)⌗
✅ Threat Modeling aplicado (não teórico)⌗
- Fluxo real de sistemas com IA
- Onde marcar fronteiras de confiança
- Perguntas que geram bugs reais
- Regra clara: IA nunca decide autorização
✅ Prompt Injection com exemplos reais⌗
- Prompt direto
- Prompt indireto (via arquivos/dados)
- Por que filtros ingênuos falham
- Como separar dados vs instruções
Com referência direta:
- OWASP LLM Top 10
✅ IDOR + Broken Access Control (caso do chatbot)⌗
- Request HTTP real
- Payload vulnerável
- Lógica correta no backend
- Pseudocódigo defensivo
Baseado em:
- OWASP API Top 10
✅ HTTP Attack Surface (pentest real)⌗
- O que o atacante realmente controla
- Ferramentas reais (Burp, Caido)
- Exercício prático reproduzível
✅ OWASP LLM Top 10 (uso prático)⌗
- Não só lista — quando e onde ocorre
- Ligação direta com IA em produção
✅ Hackbots & AI-orchestrated attacks⌗
- Casos Anthropic / OpenAI
- IA como operador (não assistente)
- Impacto real em threat modeling
✅ Código gerado por IA (com correção)⌗
- Exemplo inseguro
- Versão segura
- Estatísticas reais de falhas
✅ AI Code Security Reviews (hands-on)⌗
- Uso do Arcanum-Sec
- Prompt pronto para security agent
- Pipeline simples de DevSecOps com IA
✅ Defense in Depth específico para IA⌗
- Camadas mínimas
- O que acontece quando uma falha
- Como conter impacto
📚 Fontes técnicas incluídas⌗
O documento já referencia:
- OWASP API Top 10
- OWASP LLM Top 10
- Arcanum-Sec / sec-context
- Anthropic (AI-orchestrated espionage)
- OpenAI Threat Intelligence Reports
Nada “opinião”, tudo referência real.
Como você pode usar isso agora⌗
Você pode:
- 🎓 Usar como apostila técnica
- 🏢 Treinar times de engenharia
- 🧪 Basear labs práticos
- 📦 Criar módulos avançados de curso
- 🔐 Padronizar segurança interna
Próximo nível (se quiser avançar mais)⌗
Posso evoluir isso para:
- 🧪 Labs práticos guiados (passo a passo)
- 🔥 Checklists ofensivos e defensivos
- 📊 Mapeamento ataque → controle
- 🎥 Roteiro de aula técnica
- 🧠 Playbook de segurança para IA em produção
MUITO conteúdo prático dessa masterclass.⌗
1. Threat Modeling prático (aplicável amanhã)⌗
O que ele ensinou na prática⌗
Threat modeling não é documento, é exercício mental contínuo.
Como aplicar:⌗
Para qualquer app com IA, responda sempre:
- O que estou construindo?
-
Chatbot? Agent? API com IA? Suporte automático? 2. Quais dados ele acessa?
-
Usuários, tickets, pagamentos, CRM, emails? 3. Onde estão os limites de confiança?
-
Frontend vs backend
-
IA vs APIs internas 4. Como isso pode ser abusado?
-
Alterando IDs?
- Mudando parâmetros?
- Usando a IA para executar ações “legítimas” de forma maliciosa?
👉 Exercício prático: desenhe o fluxo do seu app e marque onde a IA toca dados ou APIs.
2. Lição central do estudo de caso (muito prática)⌗
O erro real que ele explorou⌗
- A IA estava segura
- As integrações não estavam
- Falta de validação de autorização no backend
O aprendizado prático⌗
❌ Não confie que:
- “A IA só acessa dados do usuário”
- “O frontend já bloqueia isso”
- “O ID vem certo”
Checklist prático:⌗
Sempre valide no servidor:
- O usuário é dono desse recurso?
- Esse ID realmente pertence a ele?
- Essa ação é permitida para esse papel?
3. Regra de ouro: nunca confiar na IA para autorização⌗
Ele mostrou na prática:⌗
A IA:
- Seguiu instruções corretamente
- Mas assumiu que o usuário era autorizado
- Resultado: vazamento massivo de dados
Aplicação direta:⌗
-
IA NUNCA decide:
-
Quem pode acessar o quê
- Quem pode modificar dados
- IA só pede → backend decide
4. Conteúdo prático sobre chatbots de suporte⌗
Se você tem (ou vai ter) chatbot:
Testes práticos que você pode fazer:⌗
-
Tentar acessar:
-
Tickets de outros usuários
- Dados antigos
-
Alterar:
-
IDs de tickets
- IDs de usuários
- Papéis (role=user → admin)
-
Ver se a IA:
-
Executa ações sem validar permissão
- “Ajuda demais”
👉 Se isso for possível, há falha crítica.
5. Defesa em profundidade (aplicável em times pequenos)⌗
Você não precisa de tudo que ele mostrou, mas pode aplicar:
Camadas mínimas recomendadas:⌗
- Validação server-side
- Privilégio mínimo
- Logs de ações da IA
- Rate limiting
-
Separar:
-
IA → pedido
- Backend → decisão
👉 Mesmo que uma camada falhe, a outra segura o impacto.
6. Hack bots: impacto prático para você⌗
O que muda na prática:⌗
-
Ataques estão:
-
Mais rápidos
- Mais baratos
- Mais frequentes
Aplicação direta:⌗
- Bugs simples viram incidentes grandes
- “Depois a gente vê segurança” não funciona mais
- Automatizar segurança vira necessidade
7. Código gerado por IA = revisar sempre⌗
O que ele mostrou:⌗
- IA repete padrões inseguros
- Muito código gerado é vulnerável
Aplicação prática:⌗
Use IA para revisar IA:
- Secure code review agents
- Checklists de antipatterns
- Revisão automática antes de produção
8. Conteúdo prático resumido em 1 frase⌗
O problema raramente está no modelo de IA — está nas integrações, permissões e suposições erradas do sistema ao redor.
9. Se você quiser transformar isso em algo prático⌗
Posso:
- Criar um checklist de segurança para apps com IA
- Montar um template de threat model para IA
- Criar um guia “antes de lançar um chatbot”
- Adaptar isso para produto, dev, jurídico ou liderança
Resumo – AI Threat Models, Attacker Playbook & Defense⌗
A palestra aborda segurança em aplicações com IA, focando em como atacantes pensam, onde as equipes falham e como defesa em profundidade é essencial.
1. Quem é o palestrante⌗
Brandon é pesquisador de segurança com mais de 11 anos de experiência, especializado em segurança de IA. Já reportou centenas de vulnerabilidades em grandes empresas (AWS, Nvidia, Slack, Salesforce etc.) e atua tanto como pesquisador ofensivo quanto consultor.
2. Threat Modeling: a base de tudo⌗
Threat modeling é um processo contínuo para entender:
- O que estamos construindo
- O que pode dar errado
- Como um atacante pode vencer
- Quais defesas existem ou faltam
- Como corrigir e validar
Não é checklist — é tentar quebrar seu próprio sistema do jeito mais valioso possível.
3. Dois threat models em IA (erro comum)⌗
Hoje existem dois modelos de ameaça distintos:
- Uso da IA em si (modelo, prompts, ferramentas, supply chain)
- O que a IA gera (código, respostas, ações, integrações)
👉 Muitas equipes protegem apenas um lado e ignoram o outro.
4. Por que builders precisam pensar como hackers⌗
Atacantes:
- Não precisam de bugs no começo
- Pegam funcionalidades legítimas e viram armas
- Pensam sempre: “como isso pode ser abusado?”
5. Estudo de caso: chatbot de suporte com IA⌗
Um chatbot corporativo bem protegido no modelo de IA, mas fraco nas integrações.
Vulnerabilidade encontrada:
- Falha de controle de acesso
-
Era possível:
-
Manipular IDs de tickets
- Adicionar o próprio email a tickets de outros usuários
- Receber automaticamente dados sensíveis (PII, pagamentos, anexos)
Resultado:
- Mais de 100 mil tickets comprometidos
- Vazamento massivo de dados
- Impacto legal, reputacional e financeiro
👉 A IA “fez o que foi pedida”, mas confiou em premissas erradas do sistema ao redor.
6. O ponto-chave: IA não precisa ser quebrada⌗
Na maioria dos ataques:
- O modelo estava “ok”
-
O problema estava em:
-
APIs
- IDs previsíveis
- Integrações
- Falta de validação server-side
7. Hack bots e automação ofensiva⌗
-
Hack bots já existem e são usados por:
-
Red teams
- Bug bounty hunters
- Estados-nação
-
Reduzem drasticamente:
-
Tempo
- Custo
- Esforço humano
Consequência:
- Muito mais ataques, muito mais rápido
8. IA também gera código vulnerável⌗
- Grande parte do código gerado por IA replica padrões inseguros
- Treinada com código vulnerável da internet
- Estudos mostram até 80% de código com falhas em certos contextos
9. A boa notícia: IA também ajuda a defender⌗
É possível:
- Criar agentes de secure code review
- Usar listas de anti-patterns
- Automatizar revisões antes do código ir para produção
- Reduzir drasticamente bugs comuns
10. Defesa em profundidade é obrigatória⌗
Nunca assumir que uma camada é suficiente.
Boas práticas:
- Validações no backend
- Privilégio mínimo
- Logs e monitoramento
- Controles específicos para IA
- Segurança integrada ao ciclo de desenvolvimento
👉 Bug não precisa virar breach.
11. Mensagem final⌗
- IA aumenta muito a superfície de ataque
- Segurança não pode ser “depois”
- Pensar como atacante é essencial
- Defender IA é defender todo o ecossistema ao redor dela
MasterClass Segurança em IA
1