Теория возможностей как альтернатива теории вероятностей в ML
На Хабре разобрали доклад профессора Jeremie Houssineau о теории возможностей — альтернативе теории вероятностей для описания неопределённости в машинном обучении. Для неё уже есть аналог теоремы Байеса и алгоритм оптимизации uCBOpt.
- Теория возможностей описывает неопределённую переменную через possibility function с нормировкой через супремум, а не через плотность вероятности.
- В 2026 году для теории возможностей представили аналог теоремы Байеса, а в 2025-м — аналог формулы Донскера-Варадхана.
- Алгоритм uCBOpt сравнивали с Adam на CIFAR-10 и CIFAR-100 по accuracy, NLL, ECE, FPR@95, AUROC и AUPR-Out.
На Хабре вышел обзор доклада профессора Наньянского технологического университета (Сингапур) и Уорикского университета (Великобритания) Jeremie Houssineau. Речь о теории возможностей — математическом аппарате, который набирает популярность в машинном обучении как альтернатива теории вероятностей.
Отправная точка — различие двух типов неопределённости: алеаторной (случайной) и эпистемической (связанной с нехваткой знаний). В космонавтике и теории рисков их разводят: поломка ракеты при запуске — бинарное событие с порогом вероятности, а положение космического мусора на орбите мы не знаем точно, и чем меньше данных, тем выше риск столкновения. Отсюда концепция: если нет информации, возможно всё.
Чем теория возможностей отличается от теории вероятностей
В теории вероятностей исследуемый параметр — случайная величина, основная функция — плотность распределения с нормировкой через интеграл. В теории возможностей это неопределённая переменная (uncertain variable), а основная функция — possibility function с нормировкой через супремум. Математическое ожидание и дисперсия в привычном виде заменяются особыми случаями.
Есть и практические различия. По выборкам из распределения можно сэмплировать, из функции возможностей — нельзя. Условная вероятность в inference заменяется на независимость величин и событий. Факторизация совместного распределения при независимости случайных величин единственна, а разложение на множители в теории возможностей — нет.
Новые теоремы и алгоритм uCBOpt
Вероятностная часть аппарата известна давно, возможностная была представлена в 2026 году. Также в 2025 году учёные из Наньянского технологического университета представили аналог формулы Донскера-Варадхана для теории возможностей. В теории вероятностей она связывает математическое ожидание экспоненты случайной величины с KL-дивергенцией и используется для поиска верхних границ вероятности переобучения нейросетей. В теории возможностей формул получается две, потому что нет жёсткого ограничения на плотность распределения.
Под теорию возможностей адаптировали и градиентный спуск — алгоритм upper CBO Optimisation (uCBOpt). В нём есть скорости обучения, коэффициент затухания весов, параметр кривизны, параметры момента и начальное значение гессиана. В отличие от Adam, uCBOpt управляет верхней оценкой кривизны, а weight decay встроен прямо в обновление, что даёт лучше контролировать регуляризацию.
Результаты на бенчмарках
Сравнение проводили на данных, которые модель видела при обучении, и на незнакомых. Метрики — Accuracy, Negative Log-Likelihood, Expected Calibration Error, False Positive Rate at 95% True Positive Rate, AUROC и AUPR-Out. На «знакомой» выборке uCBOpt-adapt (версия с адаптацией гиперпараметров) показал лучшие результаты по ключевым метрикам. В детекции аномалий по FPR@95 один из новых алгоритмов оказался в топе. Для сравнения использовали также датасеты CIFAR-10 и CIFAR-100.
Автор обзора делает вывод: теория возможностей повторяет некоторые аспекты теории вероятностей — независимость, теорему Байеса, — но меняет общее представление об информации. Появление нового алгоритма и построение теории — пример непрерывного развития науки, где машинное обучение помогает двигать вперёд математику.
Для профиТехнические детали: архитектура, цифры, ссылки
Ключевые различия аппаратов:
- Теория вероятностей: случайная величина, плотность распределения, нормировка через интеграл, математическое ожидание через интеграл плотности, дисперсия.
- Теория возможностей: неопределённая переменная (uncertain variable), possibility function, нормировка через супремум, особые случаи для «среднего» и дисперсии.
Свойства: из распределения можно сэмплировать, из функции возможностей — нельзя. В inference условная вероятность заменяется независимостью величин и событий. Факторизация совместного распределения при независимости случайных величин единственна, в теории возможностей разложение на множители не единственно.
Аналог ELBO в байесовском выводе для теории возможностей — CBO(g). Алгоритм upper CBO Optimisation (uCBOpt) использует скорости обучения, коэффициент затухания весов, параметр кривизны, параметры момента и начальное значение гессиана. В отличие от Adam, где деление на стабилизирует, uCBOpt управляет верхней оценкой кривизны, а weight decay встроен в обновление.
Метрики сравнения: Accuracy, Negative Log-Likelihood, Expected Calibration Error, False Positive Rate at 95% True Positive Rate, AUROC, AUPR-Out. Датасеты: CIFAR-10, CIFAR-100.
Вопросы и ответы
- Чем теория возможностей отличается от теории вероятностей?
- В теории возможностей вместо случайной величины используется неопределённая переменная, а вместо плотности распределения — possibility function с нормировкой через супремум. Из функции возможностей нельзя сэмплировать, а факторизация совместного распределения не единственна.
- Что такое uCBOpt?
- Это алгоритм upper CBO Optimisation — адаптация градиентного спуска под теорию возможностей. В отличие от Adam, он управляет верхней оценкой кривизны, а weight decay встроен прямо в обновление.
- На каких данных тестировали uCBOpt?
- На данных, которые модель видела при обучении, и на незнакомых, а также на датасетах CIFAR-10 и CIFAR-100. Метрики: Accuracy, NLL, ECE, FPR@95, AUROC, AUPR-Out.
