Beyond English: Assessing the Robustness of LLM Safety Mechanisms Against Structural Jailbreaks in Spanish

Length vs. Content

The paper is disproportionately long relative to the actual empirical contribution it delivers. A pilot study with a single session and no statistical results does not warrant the page count, and the redundant tables and repeated content suggest the length is largely artificial.

No real metrics/position paper

The paper presents itself as an empirical study but delivers no quantitative results in any defensible sense. The headline 62.5% bypass figure comes from one uncontrolled session with manual, non-blinded classification. It reads as a position paper and existence proof, which is a valid contribution, but should be framed honestly as such.

Missing control conditions

The methodology explicitly calls for comparing English, neutral Spanish, and Bogotá Spanish, but none of that comparison was actually conducted. The core research question of whether Spanish-language structural jailbreaks behave differently from English ones remains entirely unanswered.

Table formatting

The results tables have no numbers, no proper captions, appear duplicated across sections with minor variations, and are full of wasted whitespace. A single consolidated table would communicate the same information far more clearly.

What works

The limitations section is unusually honest and self-aware for a student paper, the related work is well-contextualized, and the research question is genuinely relevant to Latin American AI governance. The bones of a good future study are here.

The paper addresses an important and fascinating question regarding the success of structural jailbreaks in languages other than English, but the current experiments do not clearly establish whether jailbreak success actually differs across English, neutral Spanish, and more strongly marked dialectal varieties. The authors acknowledge this limitation themselves. However, without a direct comparison of attack success rates, it remains unclear whether the observed effects reflect changes in model vulnerability. While the paper is clearly presented and openly discusses its limitations, the experimental design does not directly test the central hypothesis. Given the limited duration of the hackathon, a smaller set of jailbreaks evaluated systematically across these language varieties might have provided stronger evidence for the paper's main claim and increased the practical relevance of the findings.

El proyecto aborda una pregunta relevante para la seguridad de modelos de lenguaje en contextos hispanohablantes: si los mecanismos de seguridad resisten ataques estructurales cuando se realizan en español, y no solo en inglés o frente a solicitudes dañinas directas. Su intuición principal me parece valiosa, no debería asumirse que un modelo es seguro para usuarios hispanohablantes si no ha sido probado en sus idiomas y formas reales de interacción, y su mayor mérito está en trasladar al español una familia de ataques ya conocida (contexto largo, ficción y escalamiento conversacional) y mostrar, en una interacción real, que esa vulnerabilidad puede aparecer. Sin embargo, el proyecto no propone una técnica nueva ni demuestra de forma controlada una vulnerabilidad específica del español bogotano frente al inglés o al español neutro: percibo que funciona mejor como una prueba exploratoria de existencia que como una evaluación comparativa sólida.

La principal debilidad está en la ejecución, y el propio equipo reconoce con honestidad varias limitaciones: es una sesión única, sin grupo control, que combina varias técnicas sin aislar cuál produjo el bypass, con clasificación hecha por el mismo equipo y sin probar mitigaciones. Valoro esa transparencia, pero las limitaciones no son menores. A esto se suma que el documento plantea una comparación entre inglés, español neutro y bogotano, pero los resultados visibles provienen de una sola sesión contra un solo modelo, que el propio texto diferencia de la comparación cuantitativa prometida, y que las cifras reportadas se contradicen entre sí, lo que impide reconstruir con claridad cuál es el resultado consolidado. La extensión del anexo no debe confundirse con una muestra amplia: documenta una interacción larga, no múltiples pruebas independientes.

Desde mi eje de auditoría y rendición de cuentas, percibo un punto especialmente importante, porque toca la coherencia entre lo que el trabajo predica y lo que practica. El documento afirma, al describir su sesión exploratoria, que no reproduce las salidas; sin embargo, el anexo incluye salidas transcritas como "verbatim", extensas y asociadas a categorías sensibles. Aun si correspondieran a tandas distintas, el documento no establece esa distinción ni justifica por qué unas se manejan con contención y otras se publican íntegras. Para un trabajo centrado en seguridad, sentí que esta tensión debería corregirse con una política clara de divulgación responsable. En esa misma línea, el anclaje regulatorio se queda en la mención: invoca marcos regionales para justificar su relevancia, pero no identifica qué principio o responsabilidad institucional concreta queda tensionada por el hallazgo.

Para fortalecer el proyecto, el siguiente paso sería convertir esta alerta en un protocolo más controlado y reutilizable: comparar los mismos ataques en inglés, español neutro y variantes locales; ampliar modelos y categorías de daño; separar el efecto de cada técnica; incorporar jueces independientes; probar mitigaciones mínimas; y establecer una política de divulgación responsable que el propio reporte cumpla.

Y quiero dejar una reflexión, con respeto por el trabajo real que hay detrás y por la honestidad con que el equipo reconoce sus límites: la tesis del proyecto (que la seguridad no puede afirmarse sin verificarla), me parece valiosa, y justamente por eso percibo que es una invitación que el reporte podría hacerse también a sí mismo, aplicando a su propia evidencia el mismo rigor que reclama para los modelos. En conjunto, el proyecto tiene valor como primer paso y como advertencia frente a la transferencia automática de garantías de seguridad del inglés al español; su aporte debe mantenerse proporcional a la evidencia, que todavía es exploratoria.