Чат-бот Vicuna-13B AI был представлен как чат-бот с открытым исходным кодом, который обучается с помощью тонкой настройки LLaMA с общими разговорами пользователей, собранными из ShareGPT. Этот чат-бот прошел предварительную оценку с использованием GPT-4 в качестве эталона, который показывает, что он достигает качества более 90%* по сравнению с другими популярными чат-ботами, такими как OpenAI ChatGPT и Google Bard. Vicuna-13B также превосходит другие модели, такие как LLaMA и Stanford Alpaca, более чем в 90%* случаев.
Несмотря на то, что Vicuna-13B почти в два раза больше Stanford Alpaca, она стоит всего около 300 долларов, что вдвое меньше стоимости Alpaca. Это связано с тем, что данные ShareGPT, на которых обучается Викуна, находятся в открытом доступе, в то время как Стэнфорд генерировал свои собственные данные через API OpenAI. Таким образом, Vicuna несет расходы только на обучение. Как и модель Стэнфорда, Vicuna-13B доступна только для некоммерческих целей.
По словам команды Vicuna, чат-бот продемонстрировал значительно более структурированные и подробные ответы, чем Alpaca, во время эталонных тестов после тонкой настройки с помощью данных ShareGPT. Команда заявляет, что качество ответов чат-бота Vicuna-13B AI сравнимо с ответами ChatGPT.
GPT-4 может сравнивать выходные данные различных чат-ботов, но команда чат-бота Vicuna-13B AI считает этот метод «ненаучным», и необходимы дальнейшие исследования — Изображение: LmSys
Для дальнейшей оценки производительности чат-бота Vicuna-13B AI команда использует GPT-4, последнюю модель OpenAI. GPT-4 позволяет команде последовательно и детально ранжировать и оценивать различных чат-ботов, тем самым обеспечивая более полную оценку возможностей Vicuna.
Что такое ИИ-чатбот Vicuna-13B?
Vicuna — это чат-бот с открытым исходным кодом, который был настроен с использованием около 70 000 общих разговоров пользователей, полученных с ShareGPT.com через общедоступные API. Чат-бот Vicuna-13B AI основан на LLaMA, который был настроен для оптимизации его производительности. Чтобы обеспечить качество данных, исследовательская группа преобразовала формат HTML обратно в уценку и удалила неподходящие или некачественные образцы. Кроме того, они сегментировали длинные разговоры на более мелкие части, которые соответствовали бы максимальной длине контекста модели.
Исследовательская группа разработала несколько улучшений рецепта тренировки Стэнфордской альпаки, чтобы улучшить производительность викуньи. Эти усовершенствования включают в себя:
- Оптимизация памяти: Команда увеличила максимальную длину контекста с 512 в Alpaca до 2048, что позволило лучше понимать длинные разговоры. Однако это привело к значительному увеличению требований к памяти графического процессора. Чтобы смягчить это, команда использовала контрольные точки градиента и мгновенное внимание для управления нехваткой памяти.
- Многораундовые разговоры: Команда скорректировала потери при обучении с учетом многоэтапных разговоров и рассчитала потери при точной настройке только на основе выходных данных чат-бота.
- Снижение затрат с помощью спотового инстанса: Обучение с набором данных в 40 раз больше и длиной последовательности в 4 раза было сопряжено со значительными затратами. Чтобы сократить расходы, команда использовала управляемый спот SkyPilot, в котором использовались более дешевые спотовые инстансы с автоматическим восстановлением для вытеснения и автоматическим переключением зон.
Различные оптимизации, внесенные в Vicuna, позволяют чат-боту лучше понимать сложные разговоры и отвечать на них. Кроме того, стратегии снижения затрат делают Vicuna более доступным вариантом для разработчиков и исследователей, создающих системы чат-ботов.
Чтобы обучить чат-бота Vicuna-13B AI, исследовательская группа собрала около 70 000 разговоров с ShareGPT.com, платформы, где пользователи могут делиться своими разговорами ChatGPT. Сценарии обучения, предоставленные Alpaca, были изменены, чтобы лучше справляться с длинными последовательностями и многоэтапными разговорами. Команда использовала PyTorch FSDP на восьми графических процессорах A100 для обучения Vicuna всего за один день.
В демонстрационной реализации использовалась облегченная система распределенного обслуживания, способная обслуживать несколько моделей с использованием распределенных рабочих процессов. Эта система поддерживает гибкие подключаемые модули рабочих графических процессоров как из облачных, так и из локальных кластеров. Чтобы снизить затраты на обслуживание, команда использовала отказоустойчивый контроллер и управляемые спотовые функции в SkyPilot, которые использовали менее дорогие спотовые экземпляры из нескольких облаков.
Как использовать чат-бот Vicuna-13B AI?
Вы можете попробовать чат-бота Vicuna-13B AI, выполнив следующие действия:
- Идти к lmsys.org
- Выберите «vicuna-13b» из выпадающего меню.
- Ниже вы увидите поле с надписью «Введите текст и нажмите ENTER».
- Спросите все, что хотите, и нажмите «Загрузить».
Вот и все! Стоит отметить, что текущая версия Викуны является демо-моделью, а оригинальный релиз может иметь другие особенности. Таким образом, пользователи должны иметь в виду, что производительность и возможности выпущенной версии могут отличаться от демонстрационной модели.
Тем не менее, демонстрационная модель дает ценную информацию о потенциальных возможностях чат-бота Vicuna-13B AI и служит многообещающим примером возможностей инструментов с открытым исходным кодом.
Насколько хорош чат-бот Vicuna-13B с искусственным интеллектом?
Компания продемонстрировала ответы Альпаки и Викуны на их контрольные вопросы. После тонкой настройки Vicuna с помощью 70 000 разговоров ChatGPT, которыми поделились пользователи, было обнаружено, что Vicuna способна генерировать более подробные и лучше структурированные ответы, чем Alpaca. Качество ответов чат-бота Vicuna-13B AI сравнимо с ответами ChatGPT.
Ниже вы можете увидеть примеры подсказок и ответов для обеих моделей, опубликованные в документация:
Чат-бот Vicuna-13B с искусственным интеллектом: «Алоха, попутчики! Если вы ищете тропический рай с богатой культурой и захватывающими дух пейзажами, не ищите ничего, кроме Гавайев. Моя недавняя поездка в штат Алоха была незабываемым приключением, наполненным захватывающими культурными событиями и достопримечательностями, которые обязательно нужно увидеть.
Прежде всего, меня поразил теплый и гостеприимный дух гавайцев. С того момента, как я прибыл, я почувствовал себя как дома, и местные жители встретили меня с распростертыми объятиями. Будь то персонал отеля, мой гид или дружелюбные незнакомцы, которых я встретил на улице, каждый, с кем я встречался, стремился поделиться своей любовью к своему родному штату.
Одним из самых запоминающихся культурных событий, которые у меня были, было посещение традиционного гавайского луау. На этом праздничном мероприятии меня угостили вкусным угощением из блюд местной кухни, включая пои, лаолау и свинью калуа, и все это под гипнотический ритм хулы. Танцоры, одетые в красивую местную одежду, своими движениями рассказывали истории островов и их историю. Это был поистине волшебный вечер, позволивший мне прикоснуться к богатому наследию Гавайев.
Еще одной достопримечательностью, которая повергла меня в трепет, была захватывающая дух красота национального парка Халеакала. В парке есть спящий вулкан, самый большой на острове, который предлагает потрясающую прогулку на рассвете или закате. Когда солнце поднялось над горизонтом, меня поразили яркие цвета и суровая красота пейзажа. Это был опыт, который меня по-настоящему унизил, и я никогда его не забуду.
Конечно, ни одно путешествие на Гавайи не будет полным, если вы не проведете некоторое время на пляже. Пляж Вайлеа с кристально чистой водой, золотым песком и нежными волнами был идеальным местом, чтобы расслабиться и понежиться на солнце. Независимо от того, являетесь ли вы заядлым серфером, любителем пляжного отдыха или просто хотите расслабиться, пляжи Гавайев непременно покорят ваше сердце.
В заключение, Гавайи оказались настоящим раем, который превзошел все мои ожидания. С того момента, как я вышел из самолета, я погрузился в культуру, которая была богатой, яркой и полной жизни. Гавайи с таким количеством обязательных к посещению достопримечательностей и незабываемых впечатлений являются идеальным местом для любого путешественника, ищущего немного приключений, культуры и отдыха. Махало за чтение и надеюсь скоро увидеть вас на Гавайях!»
Не забудьте ознакомиться с нашим быстрым сравнением ChatGPT, если вам нравится изучать чат-ботов с искусственным интеллектом!
Заключение
Чат-бот Vicuna-13B AI — многообещающий инструмент с открытым исходным кодом, который демонстрирует впечатляющие возможности в создании хорошо структурированных и подробных ответов, во многих случаях превосходя некоторые из существующих моделей. Поскольку несколько языковых моделей обучаются для разных чат-ботов, будущее диалогового ИИ выглядит все более интересным.
Потенциал чат-ботов для улучшения обслуживания клиентов, предоставления персонализированного опыта и облегчения различных задач огромен, и Vicuna служит свидетельством силы совместной работы с открытым исходным кодом в расширении границ технологии чат-ботов. Поскольку исследования в этой области продолжают развиваться, мы можем ожидать еще более захватывающих достижений в возможностях чат-ботов.
Source: Что такое чат-бот Vicuna-13B AI и как им пользоваться?
