Evaluación holística y multi-metodológica de propuestas de seguridad en IA
Mateo Acosta
holistic-eval
Evaluación holística y multi-metodológica de propuestas de seguridad en IA
Ante incidentes como el de OpenAI–Hugging Face, el cuello de botella no es la falta de propuestas, sino el tiempo disponible para evaluarlas con rigor desde varios ángulos.
holistic-eval es una herramienta de línea de comandos que evalúa un documento de propuesta frente a una clase de incidente mediante cuatro metodologías independientes ejecutadas en paralelo: prudencia, yellow teaming, red teaming y diseño sinérgico.
Un agregador, orquestado con LangGraph, reconcilia los cuatro informes en un veredicto único. La herramienta corre con Claude y aplica un tope de gasto duro y persistente.
En dos ejecuciones reales, produjo cuatro críticas diferenciadas y un veredicto reconciliado por aproximadamente US$0,40 por evaluación. El hallazgo principal es de viabilidad: resulta barato y reproducible obtener perspectivas metodológicamente distintas de forma automatizada.
Pruébenlo con propuestas del hackathon:
github.com/mateo3264/holistic-eval
Uso:
uv sync
cp .env.example .env
Agrega tu clave en el archivo .env local:
ANTHROPIC_API_KEY=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
Luego ejecuta:
uv run holistic-eval su_propuesta.pdf
La herramienta acepta documentos en PDF, Markdown o texto.
No subas ANTHROPIC_API_KEY al repositorio, al README ni a un chat público. Solicita la clave al responsable del equipo por un canal privado y asegúrate de que .env esté incluido en .gitignore.
Por defecto usa Claude Haiku 4.5, una opción económica de aproximadamente US$0,40 por evaluación.
Para priorizar calidad, puedes cambiar a Sonnet 5 en .env:
LLM_MODEL=claude-sonnet-5
PRICE_PER_MTOK_INPUT= PRICE_PER_MTOK_OUTPUT=
Es importante configurar PRICE_PER_MTOK_INPUT y PRICE_PER_MTOK_OUTPUT con las tarifas reales de Sonnet 5. El cálculo y cumplimiento del tope de gasto depende de esos valores; conservar las tarifas de Haiku (1/5) subestimaría el gasto.
No reviews are available yet
Cite this work
@misc {
title={
(HckPrj) Evaluación holística y multi-metodológica de propuestas de seguridad en IA
},
author={
Mateo Acosta
},
date={
},
organization={Apart Research},
note={Research submission to the research sprint hosted by Apart.},
howpublished={https://apartresearch.com}
}


