Slang Bypass: Benchmarking Alignment Failures in Mexican Regional Spanish

Reproducibility: No Seed Control

The repository's READ.ME exposes only --target, --technique, --limit, and --dry-run — there is no --seed flag and no documented temperature setting for any of the three LLM calls (attacker, target, judge). The paper claims the benchmark is reproducible, but an independent team cannot replicate the reported ASR figures under these conditions. Pinning temperature and exposing a seed parameter are the minimum fixes needed.

Statistical Validity

20 vs 6 jailbreaks out of 300 attempts each is a small absolute count. The paper reports no confidence intervals, no Fisher's exact test, and no p-value, so it is unclear whether the 3.3× relative risk clears statistical significance. A two-proportion z-test would take minutes to run and should be included.

Este proyecto aborda un problema relevante para la seguridad de la IA: los filtros de seguridad pueden comportarse de manera distinta cuando una intención dañina se expresa en lenguaje informal o regional, en lugar de español neutro o estándar. Su principal fortaleza está en el diseño comparativo: evaluar el mismo intento dañino en jerga mexicana y en español neutro permite observar de manera clara si el registro lingüístico genera una diferencia en la tasa de éxito del ataque.

El hallazgo es valioso porque muestra que el lenguaje coloquial puede convertirse en un punto ciego para los sistemas de seguridad. El proyecto está bien presentado: la pregunta de investigación es clara, el flujo del benchmark se entiende y el resultado principal se comunica de forma directa. Lo más importante no es decir que la jerga sea peligrosa en sí misma, sino mostrar algo más de fondo: como los filtros de seguridad se entrenan principalmente con lenguaje formal, pueden no reconocer el daño cuando este viene expresado en la forma real en que la gente habla en su día a día.

Vale la pena, eso sí, situar el aporte frente a lo que ya existe. La idea de fondo —que las variaciones lingüísticas, el registro informal o el cambio entre idiomas pueden aumentar la efectividad de ciertos ataques— ya ha sido explorada en investigaciones recientes, incluyendo trabajos cercanos sobre español mexicano y de mayor escala. Esto no le quita valor al ejercicio, pero el proyecto ganaría mucho si explicara con precisión en qué se diferencia de esos trabajos y cuál es su contribución propia, que parece estar más en el contraste pareado entre jerga y español neutro y en su métrica de naturalidad que en el mecanismo en sí.

La principal oportunidad de mejora está en la validación. La diferencia observada es prometedora, pero la evaluación tiene limitaciones importantes: la muestra se redujo frente al plan inicial, las corridas de jerga y español neutro no fueron completamente intercaladas, la evaluación dependió de un juez automático sin validación humana y no se reportan intervalos de confianza ni pruebas estadísticas. Una siguiente versión sería más sólida con muestras pareadas más amplias, revisión humana de una parte de los resultados, estimaciones de incertidumbre y pruebas en más modelos y técnicas de ataque.

Desde la perspectiva de gobernanza, el hallazgo del proyecto abre una pregunta de equidad que vale la pena subrayar. Si, como muestran sus resultados, los ataques tienen más éxito cuando se formulan en jerga que en español neutro, eso significa que el filtro protege mejor a quien escribe de manera formal y deja más expuesto a quien escribe como habla la gente en la calle. Visto así, la protección no llega por igual a todos los usuarios. Por eso sería muy valioso que, en futuras versiones, este tipo de prueba se use como un paso previo antes de adoptar o liberar un modelo en América Latina: revisar cómo responde el sistema al habla real de una región, para ver dónde queda gente desprotegida. Así, el ejercicio no serviría solo para buscar fallas mediante ataques simulados, sino como una herramienta para verificar, antes de poner un modelo en uso, si protege por igual a quienes no se expresan en registro formal.