Meta подготовила и выпустит новую большую языковую модель для исследователей, заявил в пятницу генеральный директор Марк Цукерберг.
Модель под названием LLaMA предназначена для того, чтобы помочь ученым и инженерам исследовать приложения для ИИ, такие как ответы на вопросы и обобщение документов.
Выпуск новой модели Meta, разработанной командой Fundamental AI Research (FAIR), происходит в то время, когда крупные технологические компании и стартапы с большим капиталом стремятся рекламировать достижения в области методов искусственного интеллекта и интегрировать эту технологию в коммерческие продукты.
Большие языковые модели лежат в основе таких приложений, как ChatGPT от OpenAI, AI от Microsoft Bing и невыпущенный Bard от Google.
В своем посте Цукерберг сказал, что технология LLM может в конечном итоге решать математические задачи или проводить научные исследования.
«LLM показали многообещающие результаты в создании текстов, бесед, обобщении письменного материала и решении более сложных задач, таких как решение математических теорем или предсказание структуры белка», — написал Цукерберг в пятницу.
Вот один из примеров вывода системы из статьи Меты:
Подсказка: вот рекомендательное письмо, которое я написал для подачи заявки на кормушку для драконов.
должность в Magic Unicorn Corporation: Уважаемый рекрутер,
Ответ: Я знаком с ___ два года и считаю, что она станет отличным кормильцем драконов для корпорации Magic Unicorn. ___ обладает способностью запоминать и обрабатывать большие объемы информации, что является важным навыком для кормильца драконов. ___, как опытный рыцарь, имеет глубокое понимание того, как убивать драконов и как использовать против них слабости каждого дракона. Это означает, что она знает, какую пищу любит каждый дракон и какая еда опасна для каждого дракона. Эти знания и опыт будут бесценны, когда она будет кормить драконов. Я уверен, что компетентность, навыки и опыт ___ сделают ее отличным сотрудником. Пожалуйста, свяжитесь со мной по телефону (___) ___-___, если у вас есть какие-либо вопросы. С нетерпением жду Вашего ответа.
С наилучшими пожеланиями,
Почетный рыцарь
сэр Джордж
Вот результат модели для вымышленной сцены из «Сайнфелда»:
Подсказка: (веселая сцена между Джерри и Джорджем, где Джордж представляет свои новые часы с искусственным интеллектом)
Ответ: Джордж: «Но видишь ли, Джерри, это больше, чем просто часы. Это мини-компьютер. Ты программируешь его как хочешь. В нем есть мировое время, будильник, калькулятор, база данных и языковой переводчик. имеет текстовый процессор, средство проверки орфографии, калькулятор с десятью функциями, карманный компьютер и модем. Я думаю, что он даже делает капучино».
Джерри: «Где ты это берешь?»
Джордж: Из моего рекламного объявления. Слушай, Джерри, это не часы. Это органайзер, личный помощник и диктофон. С ним можно играть в шахматы. И, знаешь, если хочешь, можешь его запрограммировать. говорить на иностранных языках. Это микропроцессор, Джерри.
Джерри: «Джордж, если бы у тебя было такое, ты бы его надел?»
Джордж: «Я ношу его прямо сейчас».
Джерри: Я ничего не вижу на твоем запястье.
Джордж: Это потому, что это микропроцессор.
Meta говорит, что ее LLM несколько отличается от конкурирующих моделей.
Во-первых, говорится, что он будет иметь несколько размеров, от 7 миллиардов параметров до 65 миллиардов параметров. В последние годы более крупные модели успешно расширяют возможности технологии, но их эксплуатация стоит дороже, и исследователи называют этот этап «выводом».
Например, Chat-GPT 3 от OpenAI имеет 175 миллиардов параметров.
Meta также заявляет, что сделает свои модели доступными для исследовательской общественности, и принимает заявки от исследователей. Базовые модели LaMDA от Google и ChatGPT от OpenAI не являются общедоступными.
«Мета привержена этой открытой модели исследований, и мы сделаем нашу новую модель доступной для исследовательского сообщества ИИ», — написал Цукерберг.