Las conversaciones sobre jailbreaks y el uso de herramientas de IA maliciosas en el cibercrimen clandestino aumentaron en 2024, según un análisis de la firma de inteligencia de amenazas Kela.
La firma monitoreó foros sobre cibercrimen a lo largo del año para elaborar su nuevo estudio, Informe de Amenazas de IA 2025: Cómo los Cibercriminales están Utilizando la Tecnología de IA como Arma.
El estudio reveló un aumento del 52% en las discusiones relacionadas con el jailbreaking de herramientas de IA legítimas como ChatGPT, y un aumento del 219% en las menciones de herramientas y tácticas de IA maliciosas.
Mientras que el primero trata sobre formas de eludir las barreras de seguridad integradas en dichas plataformas para realizar actividades maliciosas, el segundo se relaciona con lo que Kela denomina herramientas de «IA oscura».
Se trata de versiones jailbreakeadas de herramientas de IA generativa (GenAI) disponibles públicamente, que suelen ofrecerse como servicio en el cibercrimen clandestino, o bien se han desarrollado utilizando modelos de lenguaje grandes (LLM) personalizados de código abierto.
WormGPT, por ejemplo, se basa en una versión del LLM GPT-J diseñada para actividades maliciosas como el compromiso de correo electrónico empresarial (BEC) y el phishing.
Estas herramientas se han vuelto tan comunes y demandadas que varios actores de amenazas están estafando a sus competidores con versiones falsas, añadió Kela.
El proveedor señaló que los actores de amenazas también utilizan herramientas GenAI basadas en LLM para:
- Automatizar y mejorar la sofisticación del phishing/ingeniería social, incluyendo audio y video deepfake.
- Automatizar el escaneo y análisis de vulnerabilidades (pruebas de penetración) para acelerar el ciclo de ataque.
- Mejorar el desarrollo de malware y exploits, incluyendo ladrones de información y ransomware.
Automatizar y optimizar el fraude de identidad, incluyendo el uso de herramientas deepfake para eludir las comprobaciones de verificación. - Automatizar otros ciberataques como el descifrado de contraseñas, el robo de credenciales y los ataques DDoS.