OpenAI выпустила GPT-6 Astra Ultrafast на GPU NVIDIA Blackwell
OpenAI представила режим GPT-6 Astra Ultrafast, работающий на GPU NVIDIA Blackwell. Он генерирует токены до 8 раз быстрее Astra Standard и уже доступен в API и для части пользователей ChatGPT.
- GPT-6 Astra Ultrafast обеспечивает до 8x более быструю генерацию токенов по сравнению с Astra Standard.
- Режим работает на GPU NVIDIA Blackwell и доступен в OpenAI API.
- Доступ к Ultrafast также получили пользователи ChatGPT Work и Codex, соответствующие критериям.
OpenAI выпустила режим GPT-6 Astra Ultrafast, который работает на GPU NVIDIA Blackwell. По данным NVIDIA, он обеспечивает до 8 раз более быструю генерацию токенов по сравнению с Astra Standard. Режим уже доступен в OpenAI API, а также для подходящих пользователей ChatGPT Work и Codex.
Ускорение достигается за счёт оптимизаций инференса, использующих возможности архитектуры Blackwell. Для разработчиков это сокращает циклы редактирования, тестирования и отладки в кодирующих агентах, уменьшает время генерации ответов между вызовами инструментов и делает интерактивные приложения более отзывчивыми.
Где важна скорость
Быстрый ответ особенно заметен в повторяющихся рабочих процессах: агент пишет код, использует инструмент, проверяет результат и решает, что делать дальше. Ultrafast переносит возможности Astra в такие чувствительные ко времени циклы. Инфраструктура NVIDIA AI помогает OpenAI выдавать больше полезных результатов модели тогда, когда они нужны разработчикам.
«Глубокие инвестиции NVIDIA в инструменты и документацию позволили нам сделать наши модели исключительно хорошо работающими с GPU Blackwell и Rubin. Astra может превратить эти знания в высокопроизводительные ядра, которые делают аппаратное обеспечение NVIDIA привлекательным по всей границе задержки, пропускной способности и стоимости. С Astra Ultrafast это означает более быстрые ответы модели, когда агенты пишут код, используют инструменты и решают сложные задачи», — сказал Филипп Тилле, руководитель направления инференса в OpenAI.
Улучшения после запуска
Производительность не останавливается на моменте развёртывания модели. OpenAI использует собственные модели, чтобы улучшать программное обеспечение для инференса на GPU NVIDIA, задействуя программируемость платформы для тестирования и внедрения улучшений. Эта постоянная работа может со временем делать ответы модели быстрее, а развёрнутую инфраструктуру — продуктивнее.
«Наша работа с NVIDIA помогает делать ИИ быстрее и полезнее. Мы использовали наши внутренние модели для оптимизации инференса на GPU NVIDIA, и программируемость NVIDIA помогла нам обеспечить ускорение, стоящее за Astra Ultrafast», — сказал Удай Руддарраджу, технический директор по вычислениям в OpenAI.
Программируемая платформа NVIDIA позволяет разработчикам и исследователям переиспользовать инфраструктуру для обучения, инференса и обучения с подкреплением по мере развития моделей. Такая гибкость помогает командам перераспределять вычислительные ресурсы при изменении спроса, повышая утилизацию и избегая избыточного резервирования под каждую задачу.
Разработчики могут использовать GPT-6 Astra Ultrafast через API уже сейчас. Дополнительные сведения о доступе, ценах и внедрении приведены в руководстве по Ultrafast.
Для профиТехнические детали: архитектура, цифры, ссылки
Доступность: GPT-6 Astra Ultrafast доступна в OpenAI API, а также для подходящих пользователей ChatGPT Work и Codex.
Аппаратная платформа: NVIDIA Blackwell. Ускорение достигается за счёт оптимизаций инференса, использующих возможности архитектуры Blackwell.
Производительность: до 8x более быстрая генерация токенов по сравнению с Astra Standard.
Цитаты:
- Филипп Тилле, руководитель направления инференса в OpenAI: «NVIDIA’s deep investment in tooling and documentation has enabled us to make our models exceptionally good at programming Blackwell and Rubin GPUs. Astra can turn that knowledge into high-performance kernels that make NVIDIA hardware compelling across the full frontier of latency, throughput and cost. With Astra Ultrafast, that means faster model responses as agents write code, use tools and work through complex tasks».
- Удай Руддарраджу, технический директор по вычислениям в OpenAI: «Our work with NVIDIA is helping us make AI faster and more useful. We used our internal models to optimize inference on NVIDIA GPUs, and NVIDIA’s programmability helped us deliver the acceleration behind Astra Ultrafast».
Ссылки: руководство по Ultrafast (см. источник).
Вопросы и ответы
- Насколько быстрее GPT-6 Astra Ultrafast по сравнению с Astra Standard?
- До 8 раз быстрее генерация токенов.
- Где доступна GPT-6 Astra Ultrafast?
- В OpenAI API, а также для подходящих пользователей ChatGPT Work и Codex.
- На каком оборудовании работает GPT-6 Astra Ultrafast?
- На GPU NVIDIA Blackwell.
