Джинн вылетел из бутылки: в Стэнфорде скопировали ChatGPT, потратив всего 600 долларов

Alpaca, искусственный интеллект от Стэнфордского университета (США), во многих задачах работает так же, как нашумевший ChatGPT, но он построен на модели языка с открытым исходным кодом и стоит менее 600 долларов США.

Многие компании, в частности Google, Apple, Meta, Baidu и Amazon, не слишком отстают от взорвавшего мир OpenAI, и их ИИ скоро наводнят рынок, привязываясь ко всем возможным приложениям и устройствам. Основная стоимость и главное конкурентное преимущество моделей GPT в значительной степени связаны с огромным количеством времени и человеческих ресурсов, которые OpenAI вложил в обучение нейросети.

Исследовательская группа из Стэнфорда начала с языковой модели Meta с открытым исходным кодом LLaMA 7B — самой маленькой и дешевой из доступных. Затем попросила GPT взять 175 пар инструкций/выводов, написанных человеком, и начать генерировать больше в том же стиле и формате, по 20 за раз. Это было автоматизировано с помощью одного из открытых API-интерфейсов OpenAI, и за короткое время у команды было около 52 000 примеров разговоров, которые можно было использовать для нового обучения модели LLaMA. Генерация этих массовых обучающих данных стоила менее 500 долларов США.

Затем они использовали эти данные для точной настройки модели LLaMA — процесс, который занял около трех часов на восьми компьютерах с облачной обработкой A100 емкостью 80 ГБ. Это стоило менее 100 долларов США.

После протестировали получившуюся модель, которую назвали Alpaca, в сравнении с базовой языковой моделью ChatGPT в различных областях, включая написание электронной почты, постов в соцсети и предложение решений по повышению производительности. Alpaca прошла 90% из этих тестов, GPT — 89.

«Мы были весьма удивлены этим результатом, учитывая небольшой размер модели и скромный объем данных для выполнения инструкций. Alpaca ведет себя аналогично GPT-3.5 на различных наборах входных данных. Однако мы признаем, что наша оценка может быть ограничена по масштабу и разнообразию», — пишет команда.

Авторы заявляют, что все это можно сделать даже дешевле. Команда из Стэнфорда опубликовала 52 000 вопросов, использованных в этом исследовании, а также код для создания дополнительных вопросов и код, который они использовали для тонкой настройки модели LLaMA. При этом разработчики предупреждают, что «еще не настроили модель Alpaca, чтобы она была безопасной и безвредной», и просят, чтобы любой, кто устанавливает ее, сообщал о проблемах безопасности и этики.

По всей вероятности, это означает, что теперь будет появляться неограниченное количество неконтролируемых языковых моделей. Удивительные возможности этого программного обеспечения могут быть полезны авторитарным режимам, мошенникам, спамерам, маньякам, преследующим знаменитостей и т.п.

Вышла новая нейросеть, которая умеет создавать звуки, в том числе музыку, по текстовому описанию

OpenAI представил миру GPT-4 — языковую нейросеть нового поколения

Текстовую нейросеть научили «думать» еще лучше, чтобы избавить от расизма и сексизма