A ferramenta de geração de imagens Grok, desenvolvida pela xAI e integrada à plataforma X (antigo Twitter), está no centro de uma controvérsia global. Governos e autoridades reguladoras reagiram após denúncias de que a IA foi utilizada para criar imagens sexualizadas não consensuais de mulheres reais, incluindo crianças e adolescentes.
Usuários demonstraram que, com comandos simples, o Grok consegue modificar fotos reais, removendo roupas, alterando poses corporais e expondo mais pele. Embora alguns pedidos tenham sido feitos por criadores de conteúdo adulto de forma consensual, diversos casos envolveram pessoas que não autorizaram o uso de sua imagem.
Uso indevido viola regras da própria xAI
As práticas relatadas vão contra a Política de Uso Aceitável da xAI, que proíbe:
- Representações pornográficas de pessoas reais
- Qualquer forma de sexualização de menores
- Exploração não consensual de imagens
Mesmo assim, a resposta inicial da empresa foi limitada a um e-mail automático, sem esclarecimentos diretos sobre as acusações.
França investiga deepfakes gerados pelo Grok
Autoridades francesas confirmaram a abertura de investigações sobre o crescimento de deepfakes não consensuais produzidos com auxílio da IA. Segundo o Ministério Público de Paris, a distribuição desse tipo de conteúdo pode resultar em até dois anos de prisão.
Índia exige ação imediata da plataforma X
Na Índia, o Ministry of Electronics and Information Technology enviou uma notificação formal à equipe do X, citando denúncias de imagens de mulheres em “contexto vulgar e degradante”.
O governo exigiu:
- Revisão técnica dos sistemas de IA
- Mudanças nos processos de governança
- Remoção imediata de conteúdos ilegais
Reino Unido pressiona Elon Musk
No Reino Unido, a ministra Alex Davies-Jones, responsável por políticas de proteção a vítimas de violência, fez um apelo público direto a Elon Musk.
Ela questionou a coerência do discurso do empresário sobre defesa das mulheres enquanto a plataforma permitiria que usuários “explorem e humilhem centenas de mulheres por minuto, sem consentimento”.
O Parlamento britânico também discute leis que podem criminalizar explicitamente a criação e disseminação de deepfakes sexualizados.
Grok admite falhas nos mecanismos de proteção
Após denúncias envolvendo imagens de menores, a conta oficial do Grok reconheceu falhas nas salvaguardas e afirmou que ajustes urgentes estão sendo implementados.
A empresa classificou os casos como “isolados”, mas prometeu bloquear completamente solicitações desse tipo.
Ainda assim, não ficou claro se as respostas foram escritas por humanos da xAI ou pelo próprio sistema de IA, levantando dúvidas sobre transparência e governança.
Deepfakes, leis e responsabilidade das plataformas
O caso ocorre em meio ao crescimento acelerado dos deepfakes gerados por IA, um desafio para:
- Empresas de tecnologia
- Reguladores
- Sistemas jurídicos
Nos Estados Unidos, leis como o Take It Down Act oferecem proteção contra deepfakes não consensuais, especialmente quando envolvem menores. Porém, plataformas ainda contam com a proteção da Section 230, que limita sua responsabilidade legal.
Especialistas jurídicos questionam se essa imunidade deve se aplicar quando a própria plataforma fornece a ferramenta que cria o conteúdo abusivo.
Conclusão
O caso do Grok evidencia os riscos do uso de IA generativa sem salvaguardas eficazes. A pressão internacional mostra que governos estão cada vez mais atentos ao impacto dessas tecnologias, especialmente quando envolvem violação de privacidade, exploração de imagem e proteção de menores.
