Скаффолды вокруг LLM почти не влияют на измеряемую безопасность — а формат теста влияет
Учёные провели 62 808 оценок шести ведущих моделей на четырёх бенчмарках безопасности. Оказалось, что способ измерения влияет на результат в 45 раз сильнее, чем архитектура скаффолда вокруг модели.