Post #2721

Самый простой способ запустить альтернативу GPT-4 локально у себя на компьютере. ❗️Напоминаю что все что вы скачиваете из интернета, вы скачиваете на свой страх и риск. Загружаем файл koboldcpp.exe с GitHub Идем сюда и выбираем подходящую нам модель формата ggml: — LLaMA — исходная слитая модель от Meta. Не обучена и практически без цензуры; — Alpaca — самая привлекательная модель, дотренированная на данных с инструкциями версия LLaMA. Рекомендуем GPT4xAlpaca; — Vicuna — та же LLaMA, но тренировали ее на диалогах с ChatGPT. Максимально на него похожа, в том числе цензурой. Учтите, что у моделей разное количество параметров (7B, 13B и т.д.) — чем их больше, тем лучше, но чат-бот будет отвечать дольше, возрастет и нагрузка на процессор и ОЗУ. Загружаем понравившуюся модель. Запускаем koboldcpp.exe и в появившимся окне указываем путь к загруженной модели (желательно без кириллицы). Спустя некоторое время в командной строке появится адрес «http://localhost:5001/» — открываем в браузере и наслаждаемся