ИИ нашёл 93% контрольных дефектов в проектной документации
Российская платформа Signal провела семь тестов ИИ-проверки проектной документации. Лучший результат показала GPT-6 Astra: 13 из 14 контрольных дефектов при подтверждаемости замечаний около 91%.
- GPT-6 Astra нашла 13 из 14 контрольных дефектов (около 93%) и сформировала 23 замечания, из которых 21 подтвердил инженер.
- Локальная Qwen3-VL 8B выдала 47 замечаний, но подтвердилось только одно, а из контрольных дефектов она нашла частично один.
- В четырёх запусках GPT-5.6-sol на одном комплекте система находила от 5 до 12 замечаний — результат зависит от организации проверки.
Специалисты российской платформы для управления строительством Signal провели серию экспериментов с ИИ-проверкой проектной документации. Один и тот же комплект из 40 страниц проверяли разными моделями и сценариями — всего семь тестов. Для сравнения результатов сформировали контрольный набор из 14 заранее известных дефектов: расхождения между чертежами и спецификациями, ошибки в размерах и арифметике, неправильные ссылки между листами, несоответствия массы и количества элементов, противоречия между листами и сводными ведомостями.
Разрыв между моделями
Лучший результат показала GPT-6 Astra. Она обнаружила 13 из 14 контрольных дефектов — около 93%. Всего система сформировала 23 замечания, из которых 21 подтвердил инженер, одно оказалось спорным и только одно ложным. Подтверждаемость результатов составила около 91%.
Разрыв между моделями оказался большим. Локальная мультимодальная Qwen3-VL 8B сформировала 47 замечаний, но после экспертной проверки подтвердилось только одно, а из 14 контрольных дефектов модель обнаружила частично один. Один из лучших прогонов GPT-5.6-sol сформировал 12 замечаний, все они подтвердились, однако модель нашла лишь 8 из 14 контрольных проблем.
Результат зависит не только от мощности нейросети, но и от способа организации проверки. В четырёх запусках одной и той же GPT-5.6-sol на одном комплекте документации система находила от 5 до 12 замечаний. Поэтому, по выводам эксперимента, недостаточно передать нейросети документы с общей командой «проверить проект»: разные типы ошибок нужно искать по отдельным сценариям, а результаты сопоставлять и перепроверять.
Что умеет ИИ и чего не умеет
Нейросети уже способны сопоставлять данные на разных листах, сравнивать локальные спецификации со сводными ведомостями, находить расхождения в количестве и массе элементов, проверять перекрёстные ссылки и выявлять аномальные значения. Например, система может обнаружить отличие массы одного изделия от данных сводной спецификации и проследить влияние расхождения на итоговый показатель конструкции.
Полностью заменить инженера-проверяющего ИИ пока не может. Одним из самых сложных направлений остаётся проверка документации на соответствие нормативам: при самостоятельной интерпретации требований СП и других нормативных документов растёт риск ложных замечаний. Разработчики считают более надёжной модель, при которой ИИ обнаруживает потенциальное несоответствие, система сверяет его с контролируемой базой нормативов, а окончательное решение принимает специалист.
Сейчас ИИ Checker от Signal существует как отдельное приложение, следующий этап — интеграция непосредственно в среду общих данных Signal Docs. В таком сценарии документацию сначала будет автоматически проверять ИИ, после чего инженер получит комплект с отмеченными потенциально проблемными местами и сможет подтвердить или отклонить замечания.
«Наиболее важный результат эксперимента для нас заключается не в количестве замечаний, которые способен сформировать ИИ. Если нейросеть выдает десятки ложных ошибок, инженер потратит больше времени на их проверку, чем сэкономит. Практическая ценность появляется тогда, когда одновременно растут два показателя: доля обнаруженных реальных проблем и точность самих замечаний. Результат в 13 из 14 контрольных дефектов при подтверждаемости свыше 90% показывает, что технология уже может использоваться как первый уровень проверки документации», — сказал Александр Попов, технический директор Signal.
По оценке разработчиков, основной экономический потенциал технологии связан не с заменой специалиста, а с сокращением объёма рутинной работы: сверки десятков листов, спецификаций, ссылок, количественных показателей и повторяющихся значений. Оценивать конкретный рост производительности пока преждевременно: для этого технологию нужно протестировать на большем количестве проектов и разделов документации.
Для профиТехнические детали: архитектура, цифры, ссылки
Методика эксперимента Signal: один комплект проектной документации из 40 страниц, семь тестов с разными ИИ-моделями и сценариями, контрольный набор из 14 заранее известных дефектов. Типы дефектов: расхождения между чертежами и спецификациями, ошибки в размерах и арифметике, неправильные ссылки между листами, несоответствия массы и количества элементов, противоречия между листами и сводными ведомостями.
- GPT-6 Astra: 13 из 14 контрольных дефектов (около 93%), 23 замечания, 21 подтверждено инженером, одно спорное, одно ложное; подтверждаемость около 91%.
- Qwen3-VL 8B (локальная мультимодальная): 47 замечаний, подтвердилось одно, из контрольных дефектов найден частично один.
- GPT-5.6-sol: лучший прогон — 12 замечаний, все подтвердились, найдено 8 из 14 контрольных дефектов; в четырёх запусках на одном комплекте — от 5 до 12 замечаний.
ИИ Checker сейчас поставляется как отдельное приложение, планируется интеграция в среду общих данных Signal Docs. Разработчики называют перспективной схему, где ИИ находит потенциальное несоответствие, система сверяет его с контролируемой базой нормативов, а решение принимает специалист.
Что это значит для России
Эксперимент провела российская платформа Signal, разрабатывающая софт для управления строительством. Речь идёт о применении зарубежных моделей — GPT-6 Astra, GPT-5.6-sol и локальной Qwen3-VL 8B — для проверки проектной документации по российским стройпроектам.
В Signal рассчитывают встроить ИИ-проверку в среду общих данных Signal Docs, то есть продукт ориентирован на российский рынок строительной документации. Данных о сроках интеграции и стоимости в источнике нет.
Вопросы и ответы
- Сколько дефектов нашла лучшая модель?
- GPT-6 Astra обнаружила 13 из 14 контрольных дефектов — около 93%. Всего она сформировала 23 замечания, 21 из которых подтвердил инженер.
- Может ли ИИ полностью заменить инженера-проверяющего?
- Нет. Особенно сложна проверка на соответствие нормативам: при самостоятельной интерпретации требований СП растёт риск ложных замечаний. Разработчики предлагают схему, где окончательное решение принимает специалист.
- Где будет применяться ИИ-проверка Signal?
- ИИ Checker сейчас работает как отдельное приложение, следующий этап — интеграция в среду общих данных Signal Docs.
