Обновление Nvidia NIM: и благословение, и вызов
NVIDIA объявила, что Nvidia NIM была дополнительно оптимизирована и стандартизировала сложное развертывание моделей ИИ. NIM является ключевым элементом в стратегии NVIDIA в области ИИ. Дженсен Хуанг неоднократно высоко оценивал инновации, привнесенные NIM, называя ее "### ИИ в коробке, по сути, это искусственный интеллект в коробке."
Это обновление, несомненно, укрепляет лидирующие позиции NVIDIA в области ИИ и становится важной частью ее технологического преимущества.
CUDA долгое время считалась ключевым фактором, позволившим NVIDIA занять лидирующие позиции в области GPU. С поддержкой CUDA GPU эволюционировали от специализированных графических процессоров до универсальных устройств параллельных вычислений, что сделало возможным разработку ИИ. Однако, несмотря на богатую программную экосистему NVIDIA, эти разрозненные системы все еще слишком сложны и трудны для освоения традиционными отраслями, не имеющими базовых навыков разработки ИИ.
Чтобы решить эту проблему, в марте этого года на конференции GTC NVIDIA представила облачные микросервисы NIM (Nvidia Inference Microservices), объединяющие все программное обеспечение, разработанное за последние несколько лет, для упрощения и ускорения развертывания приложений ИИ. NIM может представлять модели как оптимизированные "контейнеры", которые могут быть развернуты в облаке, центрах обработки данных или на рабочих станциях, позволяя разработчикам выполнять работу за считанные минуты, например, легко создавать генеративные приложения ИИ для второго пилота, чат-ботов и т.д.
К настоящему времени экосистема NIM, созданная NVIDIA, уже может предоставить ряд предварительно обученных моделей ИИ. NVIDIA объявила, что помогает разработчикам ускорить разработку и развертывание приложений в нескольких областях, и фокусируется на предоставлении конкретных моделей ИИ в различных областях (таких как понимание, цифровые люди, трехмерная разработка, робототехника и цифровая биология):
В направлении понимания NIM может использовать Llama 3.1 и NeMo Retriever для улучшения обработки текстовых данных; в направлении цифровых людей предоставляются такие модели, как Parakeet ASR и FastPitch HiFiGAN, поддерживающие высококачественный синтез речи и автоматическое распознавание речи, предоставляя мощные инструменты для создания виртуальных помощников и цифровых людей;
В области трехмерной разработки такие модели, как USD Code и USD Search, упрощают создание и манипулирование трехмерными сценами, помогая разработчикам более эффективно создавать цифровые двойники и виртуальные миры;
В направлении воплощения роботов NVIDIA представила модели MimicGen и Robocasa, которые ускоряют исследования и разработки в области робототехники путем генерации синтетических данных о движении и моделирования окружающей среды. NIM MimicGen может генерировать синтетические данные о движении на основе данных дистанционного управления, записанных устройствами пространственных вычислений, такими как Apple Vision Pro. NIM Robocasa может генерировать задачи для роботов и среды, готовые к моделированию, в OpenUSD (универсальной платформе для разработки и сотрудничества в 3D-мирах).
Модели в области цифровой биологии, такие как DiffDock и ESMFold, предоставляют передовые решения в области открытия лекарств и предсказания сворачивания белков, продвигая биомедицинские исследования и т.д.
Кроме того, NVIDIA объявила, что платформа Hugging Face Inference-as-a-Service также поддерживается Nvidia NIM и работает в облаке.
Интегрируя эти многофункциональные модели, экосистема NVIDIA не только повышает эффективность разработки ИИ, но и предоставляет инновационные инструменты и решения. Однако, хотя многочисленные обновления Nvidia NIM действительно являются "благословением" для отрасли, с другой стороны, они также создают множество проблем для программистов.
Nvidia NIM значительно упрощает процесс разработки и развертывания моделей ИИ, предоставляя предварительно обученные модели ИИ и стандартизированные API, что действительно является благословением для разработчиков, но не означает ли это, что возможности трудоустройства для обычных программистов могут еще больше сократиться в будущем? В конце концов, компании могут выполнять ту же работу с меньшим количеством технических специалистов, поскольку эти задачи уже предварительно выполнены NIM, и обычным программистам, возможно, больше не нужно будет выполнять сложную работу по обучению и настройке моделей.
Обучение ИИ мыслить в 3D и создавать виртуальные физические миры
На конференции SIGGRAPH NVIDIA также продемонстрировала применение генеративного ИИ на открытых платформах USD и Omniverse.
NVIDIA объявила о создании первой в мире генеративной модели ИИ, способной понимать язык OpenUSD (Universal Scene Description), геометрию, материалы, физику и пространство, и упаковала эти модели в микросервисы Nvidia NIM. В настоящее время в каталоге API NVIDIA доступны для предварительного просмотра три NIM: USD Code для ответов на вопросы о знаниях OpenUSD и генерации кода Python OpenUSD; USD Search, позволяющий разработчикам искать в обширной базе данных 3D и изображений OpenUSD с помощью естественного языка или ввода изображений; и USD Validate, который проверяет совместимость загруженных файлов с выпущенной версией OpenUSD и генерирует полностью отрендеренные изображения с трассировкой лучей RTX с помощью облачного API Omniverse.
NVIDIA заявляет, что с улучшением и доступностью OpenUSD через микросервисы Nvidia NIM в будущем все отрасли смогут создавать виртуальные миры и цифровые двойники на основе физики. С помощью нового генеративного ИИ на основе OpenUSD и ускоренных фреймворков разработки NVIDIA, построенных на платформе NVIDIA Omniverse, больше отраслей теперь могут разрабатывать приложения для визуализации промышленного дизайна и инженерных проектов, а также для моделирования сред для создания следующей волны физического ИИ и роботов. Кроме того, новые коннекторы USD соединяют форматы данных робототехники и промышленного моделирования, а также инструменты разработчиков, позволяя пользователям передавать масштабные наборы данных, полностью отрендеренные с помощью трассировки лучей NVIDIA RTX, на Apple Vision Pro.
Проще говоря, внедрение USD через Nvidia NIM, лучшее понимание физического мира и создание виртуальных миров с помощью больших моделей - это очень ценный цифровой актив. Например, в 2019 году собор Парижской Богоматери во Франции пострадал от сильного пожара, в результате которого большая часть собора была разрушена. К счастью, дизайнеры игр Ubisoft бесчисленное количество раз посещали это здание, изучая его структуру, и выполнили работу по цифровому восстановлению собора Парижской Богоматери, воссоздав все детали собора в игре AAA "Assassin's Creed: Unity", что также оказало большую помощь в реставрации собора Парижской Богоматери. В то время дизайнерам и историкам потребовалось два года, чтобы воссоздать его, но с появлением этой технологии в будущем мы сможем значительно ускорить воссоздание цифровых копий в массовом масштабе, используя ИИ для более детального понимания и воссоздания физического мира.
Еще один пример: дизайнеры создают базовые трехмерные сцены в Omniverse и используют эти сцены для настройки генеративного ИИ, реализуя контролируемый и совместный процесс создания контента. Например, WPP и Coca-Cola Company первыми применили этот рабочий процесс для расширения своей глобальной рекламной кампании.
NVIDIA также объявила о скором выпуске нескольких новых микросервисов NIM, включая USD Layout, USD Smart Material и FDB Mesh Generation, для дальнейшего повышения возможностей и эффективности разработчиков на платформе OpenUSD.
На этой конференции NVIDIA Research представила более 20 статей, в которых поделилась инновационными достижениями в области продвижения генераторов синтетических данных и инструментов обратного рендеринга, две из которых получили награду за лучшую техническую статью. Исследования, представленные в этом году, показывают, что ### ИИ улучшает возможности моделирования за счет повышения качества изображений и разблокировки новых способов 3D-представления; в то же время улучшенные генераторы синтетических данных и больше контента также повышают уровень ИИ. Эти исследования демонстрируют последние достижения и инновации NVIDIA в области ИИ и моделирования.
NVIDIA заявляет, что у дизайнеров и художников теперь появились новые улучшенные способы повышения производительности с помощью генеративного ИИ, обученного на лицензированных данных. Например, Shutterstock (американский поставщик изображений) запустил коммерческую бета-версию своего генеративного 3D-сервиса. Он позволяет создателям быстро прототипировать 3D-активы и генерировать 360-градусные HDRi-фоны для освещения сцен, используя только текстовые или графические подсказки; а Getty Images (американская компания по торговле изображениями) ускорила свой сервис генеративного ИИ, удвоив скорость генерации изображений и повысив качество вывода. Эти сервисы основаны на мультимодальной генеративной архитектуре ИИ Nvidia Edify, которая удваивает скорость с помощью новых моделей, улучшает качество изображений и точность подсказок, позволяя пользователям контролировать настройки камеры, такие как глубина резкости или фокусное расстояние. Пользователи могут генерировать четыре изображения примерно за шесть секунд и увеличивать их до разрешения 4K.
Заключение
На различных мероприятиях, где появляется Дженсен Хуанг, он всегда одет в кожаную куртку, описывая миру захватывающее будущее, которое принесет ИИ.
Мы также переживаем рост NVIDIA, наблюдая, как NVIDIA шаг за шагом превращается из гиганта игровых GPU в лидера чипов для ИИ, а затем в компанию с полным стеком программного и аппаратного обеспечения для ИИ. NVIDIA амбициозна и быстро развивается на переднем крае технологической волны ИИ.
От программируемых шейдерных GPU и ускоренных вычислений CUDA до выпуска Nvidia Omniverse и генеративных микросервисов ИИ NIM, а также продвижения технологий 3D-моделирования, моделирования роботов и цифровых двойников - все это означает наступление нового раунда инноваций в индустрии ИИ.
Однако по мере того, как крупные компании получают доступ к большему количеству ресурсов, включая финансы, технологии и человеческие ресурсы, они смогут быстрее внедрять и реализовывать передовые технологии, такие как Nvidia NIM. В то же время малым и средним предприятиям может быть трудно идти в ногу с технологическим прогрессом из-за ограниченных ресурсов. В сочетании с различиями в уровне технических навыков талантов, не приведет ли это к усилению технологического неравенства в будущем?
Идеальный ИИ в представлении человечества - это тот, который помогает освободить руки и рабочую силу людей, принося миру более высокую производительность. Но когда производительные силы и средства производства сосредоточены в руках немногих, не вызовет ли это более глубокий кризис? Это вопросы, над которыми нам нужно задуматься.