В июле NVIDIA присоединилась к открытому письму Open Weights and American AI Leadership, которое поддержали свыше 200 компаний и организаций, а теперь вывела в открытый доступ семейство Cosmos 3. В него входят три модели — на 4, 16 и 64 млрд параметров, распространяемые по лицензии OpenMDW 1.1. Новинка уже занимает верхние строчки в ряде профильных бенчмарков и стала основой решений Doosan Robotics, Skild AI и Li Auto.
Источник: blogs.nvidia.com
Смысл июльского письма сводится к тому, что лидерство в области искусственного интеллекта определяется не одной самой мощной моделью, а широтой открытой экосистемы, способной охватывать множество отраслей. Модели с открытыми весами, которые можно скачивать, изучать, модифицировать и запускать на собственной инфраструктуре, делают такой подход практическим. Особенно важна эта логика для физического ИИ, где каждое внедрение требует отдельной специализации.
Если обычным ИИ-системам достаточно распознавать объекты, то физическому ИИ необходимо понимать, как устроен реальный мир, и предсказывать последствия действий. Для этого применяются так называемые world models, или мировые модели: они изучают поведение физической среды, прогнозируют дальнейшее развитие ситуации и помогают определить, какие действия целесообразны. Такие системы создают физически достоверные данные, моделируют будущие состояния и служат фундаментом, который затем адаптируется под роботов, беспилотный транспорт и компьютерное зрение.
Именно для этих задач NVIDIA и собрала семейство Cosmos 3. Открытые мировые модели уже используются при генерации обучающих данных, тестировании политик и специализации систем физического ИИ, а Cosmos 3 объединяет все эти возможности в единую платформу. По данным компании, семейство демонстрирует лучшие результаты в эталонных тестах и уже широко применяется в робототехнике, автономном транспорте и компьютерном зрении.
Важную роль в экосистеме играют библиотеки NVIDIA Omniverse из состава NVIDIA Agent Toolkit. Они предоставляют готовые инструменты для построения симуляционных сред, в которых команды могут обучать и тестировать системы физического ИИ до их выхода в реальный мир. Это критично, поскольку сбор данных для таких систем сложен и дорог в нужном масштабе, а редкие случаи из «длинного хвоста» практически невозможно безопасно и многократно воспроизводить на практике.
Мировые модели помогают справиться с этой проблемой сразу по нескольким направлениям: они позволяют получать более ценные данные за счет изучения физических взаимосвязей на крупных мультимодальных наборах сценариев, формировать разнообразные среды с разной погодой, освещением, объектами и траекториями движения, а также создавать более качественную базу, которую затем можно донастроить под конкретного робота, транспортное средство, датчики, задачу и условия эксплуатации.
При этом универсальная модель изначально не знает особенностей конкретного робота, набора сенсоров или сценария использования отдельной команды. Поэтому разработчикам необходим доступ к весам, лицензия, допускающая модификацию, и набор инструментов для дообучения. Базовые мировые модели Cosmos распространяются по лицензии Linux Foundation OpenMDW 1.1, которая разрешает обучать их дальше на собственных данных и собственном оборудовании. На этапе специализации открытость становится уже не идеей, а прямым техническим требованием.
Но одной только настройки модели недостаточно. Командам также нужны средства для генерации данных, проведения симуляций и проверки поведения систем в различных условиях. Здесь используются библиотеки Omniverse, позволяющие строить среды, готовые к симуляции, а также платформа OpenUSD — открытая база для компоновки, повторного применения и обмена сложными 3D-данными в цифровых двойниках, симуляторах и процессах генерации синтетических данных. Связка Omniverse и OpenUSD избавляет от лишнего дублирования работы, которое иначе неизбежно возникало бы при каждом изменении активов, конфигурации датчиков или параметров окружающей среды.
Сама Cosmos 3 представляет собой открытую базовую omni-модель физического ИИ, построенную на архитектуре mixture-of-transformers. Она совмещает визуальное рассуждение, генерацию мира и предсказание действий. За счет этого разработчики могут опираться на одно семейство моделей для понимания сцен, синтеза данных, моделирования будущих состояний и создания специализированных world action models, а не поддерживать отдельную модель под каждую задачу. Cosmos 3 может выступать как визуально-языковая модель, как физически обоснованный симулятор мира для предсказания будущих состояний и масштабной генерации синтетических данных, а также как основа для world action models.
В линейку входят три версии. Cosmos 3 Super получила 64 млрд параметров и ориентирована на максимально точное моделирование мира. Cosmos 3 Nano с 16 млрд параметров предназначена для эффективного рассуждения и последующего дообучения. Cosmos 3 Edge с 4 млрд параметров рассчитана на визуальное рассуждение непосредственно на устройстве и развертывание робототехнических политик.
Версия Cosmos 3 Edge достаточно компактна для работы на edge-GPU и может запускаться на видеокартах NVIDIA RTX, системах NVIDIA DGX и платформах NVIDIA Jetson, включая Jetson Thor.
По итогам тестов Cosmos 3 занимает первое место в рейтинге Artificial Analysis среди моделей с открытыми весами в задачах генерации изображений по тексту и генерации видео по изображению, лидирует на PAI-Bench в генерации мира и выходит на первое место в категории «изображение в видео» теста Physics-IQ. В области робототехнических политик семейство лидирует на RoboLab, а Cosmos 3 Super также возглавляет рейтинг открытых моделей на VANTAGE-Bench по пониманию визуальной информации.
Помимо Cosmos, в стек физического ИИ NVIDIA также входят Isaac GR00T для робототехники, Alpamayo для автономного транспорта и Metropolis для систем компьютерного зрения. На базе Cosmos решения создают компании из разных сегментов: в робототехнике это Doosan Robotics, LG Electronics, Samsung Electronics и Skild AI; в автономном транспорте — Li Auto, Xiaomi и Afari; в сфере агентов компьютерного зрения для промышленности и умных пространств — Centific, Fogsphere, Linker Vision, Milestone Systems и Yuan.
Развитием направления занимается и NVIDIA Cosmos Coalition, объединяющая разработчиков мировых моделей, ИИ-специалистов и представителей индустрии физического ИИ для совместных исследований, создания моделей и выработки методов оценки. Недавно NVIDIA расширила эту коалицию, включив Японию: местные лидеры в робототехнике и производстве планируют участвовать в разработке открытых мировых моделей для заводов, логистики, сельского хозяйства, строительства, медицины и транспорта. В совокупности все эти партнерства и внедрения постепенно формируют открытые мировые модели как универсальную и гибко настраиваемую основу для развития физического ИИ в робототехнике, автономном транспорте и системах компьютерного зрения.
