В ранние часы 24 июля Meta выпустила на данный момент самую мощную модель с открытым исходным кодом Llama 3.1. Одновременно Цукерберг дал интервью основателю "The Rundown AI" Роуану Чунгу, обсудив Llama 3.1 и свои взгляды на развитие ИИ.
Цукерберг считает, что в долгосрочной перспективе экосистема, созданная моделями с открытым исходным кодом, будет безопаснее, чем закрытые модели. Он предсказывает, что ИИ-агенты в конечном итоге станут необходимым инструментом для бизнеса, как электронная почта и аккаунты в социальных сетях. Он заявил: "В конечном итоге ИИ-агентов может быть даже больше, чем людей, и люди будут взаимодействовать с ними различными способами. Очевидно, это также огромная коммерческая возможность".
Вот основное содержание интервью:
Роуан Чунг: Марк, большое спасибо, что согласились на это интервью. Сегодня Meta выпустила важную модель ИИ, не могли бы вы рассказать о том, что было выпущено, и почему это важно?
Марк Цукерберг: Сегодня мы выпустили Llama 3.1, мы выпустили три модели. Это первый раз, когда мы выпускаем модель с 405 миллиардами параметров. Это самая сложная модель с открытым исходным кодом на сегодняшний день. Она конкурентоспособна по сравнению с некоторыми ведущими закрытыми моделями и даже превосходит их в некоторых областях.
Мне очень интересно посмотреть, как люди будут ее использовать, особенно теперь, когда наша политика сообщества позволяет людям использовать Llama в качестве учительской модели для дистилляции и тонкой настройки, по сути, для создания любых других моделей.
Кроме того, мы дистиллировали модель с 405 миллиардами параметров в более новые и передовые модели с 70 миллиардами и 8 миллиардами параметров. Эти модели также очень хорошо работают и имеют отличное соотношение цены и качества. Мне очень интересно посмотреть, как люди будут использовать эти модели.
Я думаю, что это важный момент для ИИ с открытым исходным кодом. Я думал об этом довольно долго, и я считаю, что ИИ с открытым исходным кодом станет отраслевым стандартом, я думаю, что он будет следовать пути развития Linux.
До того, как Linux стал популярным, было много компаний, которые хотели иметь свою собственную закрытую версию Unix, и в то время не было сложных проектов с открытым исходным кодом. Люди думали, что закрытая модель разработки - единственный способ создания сложных продуктов.
Изначально Linux утвердился на основе того, что он был дешевле и разработчики могли его настраивать. По мере развития экосистемы он подвергался большему контролю, становился более безопасным и продвинутым. Больше партнеров строили больше функций на основе Linux, что в конечном итоге сделало его таким же хорошим, как и другие закрытые версии Unix.
Теперь я думаю, что у Llama 3.1 есть возможность стать стандартом ИИ с открытым исходным кодом, сделав открытый исходный код отраслевым стандартом для ИИ. Даже если она еще не превосходит закрытые модели по производительности, она имеет большие преимущества в плане стоимости и настраиваемости. Я думаю, что это преимущества, которые разработчики будут использовать.
Мы сосредоточены на создании экосистемы партнеров вокруг нее, и мы увидим, как будет построено много различных функций вокруг нее.
Роуан Чунг: Я видел все тесты производительности, результаты невероятные. Очевидно, это первая передовая модель с открытым исходным кодом с 405 миллиардами параметров. Есть ли какие-то конкретные практические примеры использования, которые вы особенно ожидаете, что люди будут строить с этой моделью?
Марк Цукерберг: Больше всего я жду увидеть, как люди будут использовать ее для дистилляции и тонкой настройки своих собственных моделей. Как вы сказали, это первая передовая модель с открытым исходным кодом, но это не первая передовая модель. Раньше уже были другие модели с такими возможностями.
Люди захотят делать выводы непосредственно на модели с 405 миллиардами параметров, потому что мы оцениваем, что она на 50% дешевле, чем GPT-4o. Для многих людей это может иметь некоторое влияние.
Однако я думаю, что действительно новым в этой модели является то, что она имеет открытые веса, которые можно дистиллировать до любого размера, который вы хотите, использовать для генерации синтетических данных, использовать в качестве учительской модели.
В будущем мы не думаем, что это будет одна вещь. Как, видение OpenAI - построить один "большой ИИ", у Anthropic и Google похожее видение.
Но это никогда не было нашим видением. Наше видение заключается в том, что в будущем должно быть много разных моделей. Я думаю, что каждый стартап, крупная компания, каждое правительство захочет иметь свою собственную настроенную модель.
Когда закрытые системы были намного лучше открытых, было удобнее использовать закрытые модели. Хотя открытые модели можно было настраивать, все еще был разрыв в производительности.
Теперь ситуация изменилась. Разрыв в производительности открытых моделей в основном сократился. Вы увидите, что у большего количества людей появится мотивация настраивать и строить модели, которые подходят для их нужд, обучать их на своих данных, в масштабе, который им подходит.
У них также будут инструменты для этого, потому что такие компании, как Amazon с AWS и Databricks, строят полные наборы услуг для дистилляции и тонкой настройки моделей с открытым исходным кодом.
На мой взгляд, это новая ситуация сейчас. Мы очень заинтересованы в том, насколько далеко эта тенденция может зайти. Это новая способность в мире, потому что раньше не было модели с открытым исходным кодом или открытыми весами такой сложности.
Роуан Чунг: Это действительно большое дело. Как вы будете обучать разработчиков использовать эти инструменты? И в более широком смысле, есть ли у Meta планы или стратегия по просвещению мира о моделях с открытым исходным кодом и их важности?
Марк Цукерберг: До Llama 3.1 фундаментальная причина, по которой Meta инвестировала в это, заключалась в том, чтобы убедиться, что у нас есть доступ к ведущим моделям. Из-за нашей истории, особенно в мобильной сфере, мы не хотели зависеть от базовой технологии какого-либо конкурента. Поэтому мы построили модели для себя.
До Llama 3.1 мы инстинктивно чувствовали, что если мы сделаем ее открытой, это привлечет сообщество, которое будет расти вокруг нее, расширять ее возможности и делать ее более ценной для всех, включая нас самих. Потому что в конечном итоге это не просто технология, это экосистема. Чтобы она была более полезной для нас, нужна широкая экосистема.
Большое изменение с Lama 3.1 заключается в том, что мы больше не просто строим для себя, а затем выбрасываем это для разработчиков, а более активно строим партнерские отношения, чтобы убедиться, что есть целая экосистема компаний, которые могут делать интересные вещи с этой моделью и обслуживать разработчиков способами, которые мы не можем.
Мы не являемся облачным провайдером, мы не AWS, Google или Azure, поэтому разработчики не придут к нам строить свои вещи, но мы хотим убедиться, что все эти облачные провайдеры могут хорошо использовать эту модель.
Это касается не только хостинга и вывода, но и некоторых новых возможностей, таких как дистилляция и тонкая настройка, которые не так легко сделать с закрытыми моделями, поэтому нам пришлось работать конкретно с партнерами, чтобы реализовать эти возможности.
В то же время будут компании, такие как Groq, которые сосредоточены на выводе с очень низкой задержкой. Я рад, что мы передали это Groq, и теперь они строят новые вещи с этим.
Есть также ряд предприятий, таких как Dell, Scale AI, Deloitte или Accenture, которые работают с глобальными предприятиями над внедрением технологий. Я думаю, что эти компании помогут построить настраиваемые модели.
Будь то крупные корпорации или правительства, многие компании хотят иметь свои собственные модели и иметь возможность обучать их на своих данных. Многие компании не хотят передавать свои данные через API Google или OpenAI, и это не потому, что у этих компаний есть проблемы с конфиденциальностью.
Это больше похоже на то, как люди любят использовать сквозное шифрование WhatsApp, они хотят, чтобы это было безопасно по дизайну, и чтобы данные оставались у них.
Я думаю, что вокруг этого также будет создан рынок. Я очень взволнован этим.
На этот раз мы заняли более активную позицию в построении экосистемы, потому что я думаю, что это способ, которым она будет расти и создавать больше ценности для всех.
Роуан Чунг: Мне нравится ваша тесная связь с сообществом разработчиков. Я сам являюсь частью сообщества и знаю, что людям действительно нужны эти частные и локальные модели. Давайте поговорим о вашем открытом письме, помимо объявления Meta, вы также опубликовали письмо, первая часть которого была сосредоточена на преимуществах открытого исходного кода для разработчиков, и это звучит очень точно. Не могли бы вы рассказать больше о широком влиянии ИИ с открытым исходным кодом на общество?
Марк Цукерберг: Моя точка зрения заключается в том, что открытый исходный код является важной частью достижения хорошего будущего ИИ. ИИ принесет много повышения производительности и творчества, надеюсь, также поможет нам в исследованиях и так далее.
Я считаю, что открытый исходный код является важной частью обеспечения того, чтобы ИИ мог принести пользу всем и быть доступным для всех, а не просто запертым в руках нескольких крупных компаний.
В то же время я считаю, что открытый исходный код будет более безопасным и надежным способом разработки ИИ.
Сейчас идет дебат о безопасности открытого исходного кода - "Действительно ли открытый исходный код безопасен?"
У меня другая точка зрения. Я считаю, что открытый исходный код не только безопасен, но и безопаснее, чем закрытая разработка.
Мы можем разделить риски на "непреднамеренные" и "преднамеренные". "Непреднамеренные" риски - это когда система выходит из-под контроля каким-то образом, что является сценарием выхода ИИ из-под контроля в большинстве научно-фантастических фильмов.
Я считаю, что открытый исходный код в этом отношении безопаснее, потому что есть больше проверок, больше прозрачности. Когда все разработчики используют его, также есть руководства по безопасности и инструменты безопасности, а также много проверок и тестового давления, как в традиционном программном обеспечении с открытым исходным кодом. По сравнению с закрытыми моделями, проблемы будут обнаружены и решены быстрее.