Компания NVIDIA анонсировала широкий спектр новых технологий, призванных ускорить развитие систем физического искусственного интеллекта. Новые решения охватывают сразу несколько направлений: гуманоидную робототехнику, автономный транспорт, производство полупроводников и промышленную автоматизацию.
На конференции GTC Taipei компания представила открытую базовую модель Cosmos 3, новый эталонный гуманоидный робот на платформе Isaac GR00T, набор инструментов с открытым исходным кодом для робототехники и промышленного ИИ, а также новые инициативы в области производства микросхем совместно с TSMC.
Все эти разработки отражают стратегию NVIDIA по созданию полноценной экосистемы для физического искусственного интеллекта — от генерации синтетических данных и моделирования до развертывания решений в реальном мире.
Семейство открытых моделей Cosmos 3 обеспечивает разработчикам качественно новый уровень возможностей для создания роботов, автономных автомобилей и систем компьютерного зрения, способных воспринимать окружающий мир, рассуждать, планировать действия и взаимодействовать с физической средой.
Центральным элементом анонса стала модель Cosmos 3, которую NVIDIA называет первой в мире полностью открытой омнимоделью, способной одновременно понимать и генерировать текст, изображения, видео, окружающие звуки, действия и поведение объектов.
В основе системы лежит архитектура mixture-of-transformers («смесь трансформеров»), объединяющая механизмы логического рассуждения и генерации контента.
Cosmos 3 может использоваться сразу в нескольких ролях:
Компания утверждает, что по ряду открытых тестов Cosmos 3 превосходит существующие модели в задачах генерации виртуальных миров, понимания визуальной информации и обучения роботизированным действиям.
Одновременно NVIDIA представила набор открытых инструментов и готовых навыков, позволяющих интеллектуальным агентам самостоятельно выполнять сложные процессы разработки. Эти средства могут автоматизировать генерацию данных, моделирование и симуляции, обучение моделей, тестирование и развертывание готовых решений. Инструменты ориентированы на применение в робототехнике, автономном транспорте, здравоохранении, компьютерном зрении и цифровых двойниках промышленных объектов.
Для исследователей в области робототехники NVIDIA представила платформу Isaac GR00T Reference Humanoid Robot. Она объединяет гуманоидного робота Unitree H2 Plus, высокоточные роботизированные кисти Sharpa, вычислительный модуль Jetson Thor и программную платформу Isaac GR00T. Цель проекта — максимально упростить создание гуманоидных роботов, объединив аппаратное обеспечение, моделирование, обучение и внедрение в единую экосистему.
Отдельное направление сотрудничества NVIDIA и TSMC связано с внедрением искусственного интеллекта непосредственно в процессы производства полупроводников. TSMC уже использует: библиотеки CUDA-X, специализированные модели ИИ и ускоренные вычисления NVIDIA. Эти технологии применяются для вычислительной литографии, моделирования транзисторов, контроля производственных процессов, инспекции кремниевых пластин и планирования загрузки фабрик. Кроме того, инструменты NVIDIA Metropolis и TAO Toolkit помогают выявлять дефекты нанометрового масштаба, что особенно важно при производстве современных микросхем.
Компания также представила новую модель логического вывода для автономного транспорта — Alpamayo 2 Super. Система содержит 32 миллиарда параметров и предназначена для использования в роботакси. Ее задача — помогать автономным автомобилям понимать дорожную обстановку, прогнозировать развитие событий, строить планы действий, принимать решения в сложных и нестандартных ситуациях.
Если раньше NVIDIA в первую очередь ассоциировалась с графическими процессорами и вычислениями для ИИ, то теперь компания стремится стать поставщиком всей инфраструктуры для интеллектуальных машин — от обучения моделей и моделирования виртуальных миров до управления роботами, роботакси и автоматизированными производствами.
Фактически NVIDIA делает ставку на то, что следующая крупная революция в сфере искусственного интеллекта произойдет не только в цифровом пространстве, но и в физическом мире, где роботы и автономные системы смогут воспринимать окружающую среду, принимать решения и выполнять сложные задачи практически без участия человека.
