01 Обучение больших моделей дорого, как Meta планирует вернуть свои деньги?
Основной бизнес Meta - ленты новостей и рекомендательные системы - "пошатнулся" из-за больших языковых моделей
Дженсен Хуанг: Марк, добро пожаловать на твой первый SIGGRAPH. Можешь ли ты поверить? Как один из пионеров в области компьютерных технологий и двигатель современных вычислений, я приглашаю тебя на SIGGRAPH, и я рад, что ты здесь.
Цукерберг: Да, должно быть интересно. Ты уже говорил около пяти часов, верно?
Дженсен Хуанг: Да, это SIGGRAPH, здесь 90% - доктора наук. Лучшее в SIGGRAPH то, что это выставка, объединяющая компьютерную графику, обработку изображений, искусственный интеллект и робототехнику. На протяжении многих лет многие компании демонстрировали и раскрывали здесь удивительные вещи, такие как Disney, Pixar, Adobe, Epic Games и, конечно, NVIDIA.
В этом году здесь проделана большая работа: мы опубликовали 20 статей на стыке ИИ и симуляции; мы используем ИИ, чтобы помочь симуляции работать в большем масштабе и быстрее. Например, дифференцируемая физика, мы используем симуляцию для создания моделируемых сред для ИИ, для генерации синтетических данных, эти две области действительно сливаются.
Meta на самом деле проделала удивительную работу в области ИИ. Я думаю, интересно, что когда СМИ пишут о том, что Meta внезапно вложилась в ИИ за последние несколько лет, они как будто не знают о прошлых достижениях FAIR (Facebook AI Research, исследовательское подразделение Meta по ИИ, основанное в 2013 году). На самом деле, мы все используем PyTorch, фреймворк глубокого обучения с открытым исходным кодом от Meta (незаменимый инструмент для исследований и разработок в области ИИ), и работа Meta в области компьютерного зрения, языковых моделей и перевода в реальном времени была новаторской.
Первый вопрос, который я хочу задать: как ты смотришь на прогресс Meta в области генеративного ИИ? Как это усилит ваш бизнес или введет новые возможности?
Цукерберг: По сравнению с вами, мы новички. Но Meta участвует в SIGGRAPH уже восемь лет. В 2018 году мы впервые продемонстрировали некоторые работы по отслеживанию рук для наших VR и смешанной реальности гарнитур. Мы также обсуждали много прогресса в области кодек-аватаров для реалистичных аватаров, которые можно отображать в потребительских гарнитурах.
Также большая работа, которую мы проделали в области систем отображения, некоторые будущие прототипы и исследования, позволяющие сделать гарнитуры смешанной реальности очень тонкими. Я хочу очень продвинутый оптический стек, системы отображения и интегрированные системы.
Так что я рад быть здесь, в этом году не только говорить о метавселенной, но и обо всем, что касается ИИ. Как ты сказал, мы основали FAIR до того, как начали Reality Labs (подразделение Meta по разработке метавселенной), когда мы еще назывались Facebook, а теперь, конечно, Meta. Так что в ИИ у нас многолетний опыт.
Что касается генеративного ИИ, это интересная революция, я думаю, что в конечном итоге она радикально изменит все продукты, которые мы делаем. ### Например, ленты новостей и рекомендательные системы Instagram и Facebook, которые мы развивали десятилетиями, ИИ изменит их еще больше.
Изначально ленты новостей были только о связях с друзьями, в этом случае ключевым было ранжирование ленты. Потому что если кто-то сделал что-то очень важное, например, у твоего двоюродного брата родился ребенок, ты хочешь, чтобы это было наверху. Если мы закопаем это где-то в углу твоей ленты, ты будешь очень зол.
Но ### за последние несколько лет ленты новостей перешли на другой этап, где контент, который тебе нужен, больше связан с публичным контентом. В этом случае рекомендательные системы становятся супер важными. Потому что это уже не несколько сотен или тысяч постов от друзей, ожидающих показа тебе, а миллионы единиц контента, и это становится очень интересной проблемой рекомендаций.
А с генеративным ИИ мы скоро войдем в новую фазу. Сегодня большая часть контента, который ты видишь в Instagram, рекомендована тебе, написана кем-то в мире и соответствует твоим интересам, независимо от того, подписан ты на этих людей или нет. Но в будущем ### некоторые из них будут новым контентом, созданным креаторами с помощью инструментов, и даже некоторый контент будет создаваться мгновенно для тебя или будет синтезирован из различного существующего контента.
Это просто пример того, как будет развиваться наш основной бизнес, который уже развивался 20 лет, но мало кто это осознает.
Раскрытие секретов Llama4, позволяющей ИИ-ассистентам "разблокировать" интеллектуальных агентов во всем семействе продуктов Meta
Дженсен Хуанг: Однако люди осознают, что одна из крупнейших вычислительных систем в мире - это рекомендательная система.
Цукерберг: Это совершенно другой путь, он не совсем о генеративном ИИ, о котором сейчас говорят люди. Хотя это все архитектура Transformer, все строится на все более универсальных системах, встраивающих неструктурированные данные в признаки.
Но два способа дают качественную разницу, раньше мы обучали разные модели для разных типов контента, например, одну модель для ранжирования и рекомендации коротких видео Meta Reels, другую модель для ранжирования и рекомендации длинных видео. Затем нужно было проделать некоторую продуктовую работу, чтобы система могла встраивать любой контент.
По мере создания все более универсальных рекомендательных моделей, они становятся все лучше, потому что ты можешь извлекать из более широкого пула контента, а не неэффективно, как из разных пулов.
Теперь, по мере того как модели становятся больше и универсальнее, они будут становиться все лучше. ### Я мечтаю, что однажды весь контент Facebook или Instagram будет управляться как единая модель ИИ, которая объединит все эти разные типы контента и системы. В реальности в разные периоды времени у приложений разные цели рекомендаций, некоторые из них просто для того, чтобы показать тебе интересный контент, который ты хочешь видеть сегодня, но некоторые помогают тебе строить свою долгосрочную сеть контактов, и в этом случае эти мультимодальные модели, как правило, лучше распознают паттерны, слабые сигналы и т.д.
Дженсен Хуанг: Оказывается, ИИ так глубоко используется в твоей компании. Вы уже давно строите инфраструктуру GPU для запуска этих больших рекомендательных систем.
Цукерберг: На самом деле мы немного отстали в использовании GPU.
Дженсен Хуанг: Да, ты как будто признаешь ошибку, не нужно было поднимать эту тему (смеется).
Теперь действительно крутая вещь с ИИ в том, что когда я использую WhatsApp, я чувствую, что "сотрудничаю" с WhatsApp. Представь, я печатаю, и он продолжает генерировать изображения в соответствии с тем, что я печатаю. Когда я меняю формулировку, он генерирует другие изображения. Например, я ввожу "старый китаец наслаждается стаканом виски на закате, рядом с ним три собаки", и он генерирует довольно хорошую картинку.
Цукерберг: С одной стороны, я думаю, что генеративный ИИ станет огромным обновлением для всех наших рабочих процессов и продуктов, которые у нас были долгое время.
Но с другой стороны, все эти совершенно новые вещи могут быть созданы, сгенерированы. Как ИИ-ассистенты, подобные Meta AI, которые могут помочь тебе выполнять различные задачи. В нашем мире это будет очень креативно, он сможет отвечать на любые вопросы с течением времени.
В будущем, когда мы перейдем от моделей Llama 3 к Llama 4 и последующим версиям, я думаю, Meta AI больше не будет просто чат-ботом, где ты задаешь вопрос, а он отвечает. Вместо этого, поняв твое намерение, он будет автономно работать в нескольких временных рамках. Например, ты изначально дал ему намерение, он запустится, после нескольких недель или месяцев вычислительных задач он вернется и сообщит тебе результат, я думаю, это будет очень мощно.
Дженсен Хуанг: Как ты сказал, сегодняшний ИИ работает в режиме вопрос-ответ, но очевидно, что человеческое мышление не так устроено. Когда нам дают задачу или проблему, мы рассматриваем несколько вариантов, возможно, придумываем дерево решений, мы мысленно прогоняем его, какой результат будет у каждого решения. Такое планирование, принятие решений, в будущем ИИ тоже сможет делать подобные вещи.
Когда ты говорил о своем видении ИИ для креаторов, я был очень взволнован, может быть, расскажешь всем о своих планах.
Цукерберг: Мы уже немного об этом говорили, но сегодня мы запускаем это более широко. Я не думаю, что будет только одна модель ИИ, это то, что делают некоторые другие компании в отрасли, создавая централизованного интеллектуального агента.
Мы отличаемся, у нас будет ассистент Meta AI для твоего использования, но мы ### хотим, чтобы все, кто использует продукты Meta, имели возможность создавать своих собственных интеллектуальных агентов. Будь то миллионы креаторов на платформе или сотни миллионов малых предприятий, все смогут быстро создать бизнес-агента, который сможет взаимодействовать с твоими клиентами, например, продавать и обслуживать клиентов и т.д.
Поэтому Meta сейчас начинает внедрять больше того, что мы называем ### AI Studio, это набор инструментов, которые в конечном итоге позволят каждому креатору создать некую ИИ-версию себя, как агента или ассистента, с которым могут взаимодействовать члены сообщества.
Если ты креатор и хочешь больше взаимодействовать со своим сообществом, ты на самом деле ограничен временем и энергией. Лучший вариант - позволить людям создавать этих ИИ, которых можно обучить на основе твоего корпуса текстов так, как ты хочешь, чтобы они представляли тебя. Ты очень четко понимаешь, что не взаимодействуешь с самим креатором, но это другой интересный способ, как и настоящие креаторы публикуют контент в этих социальных системах, иметь агентов, которые могут делать это.
Точно так же, я думаю, люди будут создавать этих агентов для своего бизнеса.