Что такое GPT4All и как это работает?

Хотите запустить LLMS локально на своем компьютере? Попробуйте использовать GPT4All!

Изображение предоставлено: Кристиан Видигер/Unplash

Модели OpenAI GPT произвели революцию в обработке естественного языка (NLP), но если вы не заплатите за премиум-доступ к сервисам OpenAI, вы не сможете точно настроить и интегрировать их модели GPT в свои приложения. OpenAI также будет иметь доступ ко всем вашим разговорам, что может быть проблемой безопасности, если вы используете ChatGPT для бизнеса и других более важных областей вашей жизни. Если вам это не нравится, вы можете попробовать GPT4All.

Так что же такое GPT4All? Как это работает и зачем использовать его через ChatGPT?

Что такое GPT4All?

GPT4All — это экосистема с открытым исходным кодом, используемая для интеграции LLM в приложения без оплаты подписки на платформу или оборудование. Он был создан Nomic AI, компанией, занимающейся картированием информации, целью которой является улучшение доступа к ресурсам искусственного интеллекта.

GPT4All предназначен для работы на современных и относительно современных ПК без необходимости подключения к Интернету или даже графического процессора! Это возможно, поскольку большинство моделей, предоставляемых GPT4All, имеют размер всего несколько гигабайт и требуют для работы от 4 до 16 ГБ ОЗУ.

Это позволяет малым предприятиям, организациям и независимым исследователям использовать и интегрировать LLM для конкретных приложений. А поскольку GPT4All легко установить с помощью установщика в один клик, люди теперь могут использовать GPT4All и многие из его LLM для создания контента, написания кода, понимания документов и сбора информации.

Зачем использовать GPT4ALL вместо ChatGPT?

Изображение предоставлено: Брюс Марс/Unsplash

Есть несколько причин, по которым вы можете использовать GPT4All вместо ChatGPT.

• Портативность. Модели, предоставляемые GPT4All, требуют от четырех до восьми гигабайт оперативной памяти, не требуют запуска графического процессора и могут быть легко сохранены на USB-накопителе с помощью программы установки GPT4All одним щелчком мыши. Это делает GPT4All и его модели действительно портативными и пригодными для использования практически на любом современном компьютере.
• Конфиденциальность и безопасность. Как объяснялось ранее, если у вас нет доступа к ChatGPT Plus, все ваши преобразования в ChatGPT доступны для OpenAI. GPT4All фокусируется на прозрачности данных и конфиденциальности; ваши данные будут храниться только на вашем локальном оборудовании, если вы намеренно не поделитесь ими с GPT4All, чтобы расширить их модели.
• Автономный режим: GPT — это проприетарная модель, для которой требуется доступ к API и постоянное подключение к Интернету для запроса или доступа к модели. Если вы потеряете подключение к Интернету или у вас возникнут проблемы с сервером, вы не сможете получить доступ к ChatGPT. Это не относится к GPT4All. Поскольку все данные уже хранятся в пакете от четырех до восьми гигабайт, а вывод осуществляется локально, вам не нужно подключение к Интернету для доступа к любой из моделей в GPT4All. Вы можете продолжать общаться и настраивать свою модель даже без подключения к Интернету.
• Бесплатный и с открытым исходным кодом: несколько LLM, предоставляемых GPT4All, распространяются по лицензии GPL-2. Это позволяет любому пользователю настраивать и интегрировать свои собственные модели для коммерческого использования без необходимости платить лицензионные сборы.

Как работает GPT4All

Как обсуждалось ранее, GPT4All — это экосистема, используемая для обучения и локального развертывания LLM на вашем компьютере, что является невероятным достижением! Как правило, для загрузки стандартного LLM объемом 25–30 ГБ требуется 32 ГБ ОЗУ и графический процессор корпоративного класса.

Для сравнения, LLMS, которую вы можете использовать с GPT4All, требует всего 3–8 ГБ памяти и может работать с 4–16 ГБ ОЗУ. Это позволяет запускать весь LLM на пограничном устройстве без необходимости использования графического процессора или внешней облачной поддержки.

Требования к оборудованию для запуска LLMS на GPT4All были значительно снижены благодаря квантованию нейронной сети. За счет снижения веса точности и активаций в нейронной сети многие модели, предоставляемые GPT4All, можно запускать на большинстве относительно современных компьютеров.

Обучающие данные, используемые в некоторых доступных моделях, были собраны с использованием «связки», которая представляет собой просто выборку данных из общедоступного контента в Интернете. Затем данные отправляются в базу данных Nomic AI Atlas AI, которую можно просмотреть на основе корреляций на удобной для просмотра двумерной векторной карте (также известной как база данных векторов AI).

Обучив Nomic AI с помощью модели Groovy и используя общедоступные данные, Nomic AI смог выпустить модель под лицензией GPL, которая позволяет любому использовать ее, даже для коммерческих приложений.

Как установить GPT4All

Установить GPT4All очень просто, а теперь, когда выпущен GPT4All 2, это стало еще проще! Лучший способ установить GPT4All 2 — загрузить установщик в один клик:

Скачать: GPT4All для Windows, macOS или Linux (бесплатно)

Следующие инструкции предназначены для Windows, но вы можете установить GPT4All во всех основных операционных системах.

После загрузки дважды щелкните установщик и выберите «Установить». Защитник Windows может счесть установку вредоносной, поскольку Microsoft может потребоваться много времени, чтобы предоставить действительные подписи для сторонних приложений. Однако это должно быть исправлено в ближайшее время. На момент написания этой статьи, если вы загрузили приложение GPT4All с официального сайта, вы должны быть в безопасности. Нажмите кнопку «Все равно установить», чтобы установить GPT4All.

Когда вы открываете приложение, вам нужно выбрать модель, которую вы хотите использовать. GPT4ALL предоставляет вам несколько моделей, каждая из которых имеет свои сильные и слабые стороны. Чтобы узнать, какую модель скачать, вот таблица, показывающая их сильные и слабые стороны.

Модель	Размер	Примечание	Альтернативы	Тип	Квантование
Гермес	7,58 ГБ	Инструкции на основе Дает длинные ответы Подготовлено с 300 000 инструкций без цензуры Нельзя использовать в коммерческих целях	13 миллиардов	Лама	q4_0
GPT4Все Сокол	3,78 ГБ	Быстрые ответы Инструкции на основе Лицензия для коммерческого использования	7 миллиардов	Сокол	q4_0
Заводной	8 ГБ	Быстрые ответы — Креативные ответы Инструкции на основе Лицензия для коммерческого использования	7 миллиардов	GPT-J	q4_0
ЧатGPT-3.5 Турбо	Минимум	Требуется личный API Мы отправляем ваши чаты в OpenAI GPT4All используется только для связи с OpenAI	?	GPT	сейчас
Чат ГП-4	Минимум	Требуется личный API Мы отправляем ваши чаты в OpenAI GPT4All используется только для связи с OpenAI	?	GPT	сейчас
Спать	7,58 ГБ	Инструкции на основе Медленнее, чем Groovy, но с лучшим откликом Нельзя использовать в коммерческих целях	13 миллиардов	Лама	q4_0
MPT-чат	4,52 ГБ	Быстрые ответы Чат на основе Нельзя использовать в коммерческих целях	7 миллиардов	МРТ	q4_0
Косатка	3,53 ГБ	Инструкции на основе Объясняет пользовательские наборы данных Подходы к созданию исследовательского набора данных Orca Лицензия для коммерческого использования	7 миллиардов	открытая лама	q4_0
Викунья	3,92 ГБ	Инструкции на основе Нельзя использовать в коммерческих целях	7 миллиардов	Лама	q4_2
Волшебник	3,92 ГБ	Инструкции на основе Нельзя использовать в коммерческих целях	7 миллиардов	Лама	q4_2
Мастер без цензуры	7,58 ГБ	Инструкции на основе Нельзя использовать в коммерческих целях	13 миллиардов	Лама	q4_0

Помните, что показанные модели имеют разные уровни ограничений. Не все модели можно использовать бесплатно в коммерческих целях; некоторым потребуется больше аппаратных ресурсов, а другим потребуется ключ API. Модели с наименьшими ограничениями, доступные в GPT4All, — это Groovy, GPT4All Falcon и Orca.

Можете ли вы обучить GPT4 все модели?

Да, но не квантованные версии. Для эффективной настройки моделей GPT4All необходимо загрузить исходные модели и использовать графические процессоры корпоративного класса, такие как ускорители AMD Instinct или графические процессоры NVIDIA Ampere или Hopper. Кроме того, вам необходимо обучить модель с помощью обучающей платформы ИИ, такой как LangChain, что потребует некоторых технических знаний.

Для точной настройки модели GPT4All потребуются некоторые финансовые ресурсы, а также некоторые технические знания, но если вы хотите только загружать пользовательские данные в модель GPT4All, вы можете дополнительно обучить модель с помощью расширенного поиска (который помогает доступу к языковой модели и понимать информацию, не входящую в ее базовую подготовку, выполнять задания). Вы можете сделать это, попросив GPT4All смоделировать ваши пользовательские данные, прежде чем задавать вопрос. Пользовательские данные должны храниться локально, и при появлении запроса модель должна быть в состоянии предоставить вам информацию, которую вы когда-то предоставили.

Следует ли вам использовать GTP4All?

Идея GPT4All состоит в том, чтобы предоставить бесплатную платформу с открытым исходным кодом, где люди могут запускать большие языковые модели на своих компьютерах. На данный момент GPT4All и его квантованные модели отлично подходят для экспериментов, изучения и опробования различных LLM в безопасной среде. Для профессиональных рабочих нагрузок мы по-прежнему рекомендуем использовать ChatGPT, так как у него гораздо более мощная модель.

В общем, нет причин ограничивать себя только одним. Поскольку варианты их использования не пересекаются, следует попробовать использовать оба.