нейронные сети ChatGPT gpt локальные языковые модели llm google colab вайфу SillyTavern Видио 

Общение с нейровайфу

По просьбам трудящихся сделал демонстрацию того на что похож современный нейро-кум.

Как сделать также?
Часть 1 (легко): https://joyreactor.cc/post/5733950

Часть 2, как в видео (сложно): https://joyreactor.cc/post/5736750

+ боты из видео https://files.catbox.moe/bwkaq3.zip

P.S. Вообще PsyMedRP умеет правильно отвечать на этот вопрос, но надо посвайпать и желательно квант иметь побольше, от 4q.

Развернуть

нейронные сети ChatGPT gpt локальные языковые модели google colab длиннопост SillyTavern LM вайфу 

Руководство по общению с нейровайфу. Часть 2. Глупая Таверна.

Привет всем кто в теме и кто только присоединился!

Предыдущийпост https://joyreactor.cc/post/5733950

Рассказывал о том, как быстро и просто запустить локальную языковую модель на удалённом сервере google colab и начать общение нейротян.

Но теперь настало время взяться за дело серьёзно, встречайте:

Простое руководство по SillyTavern.

(автор не гарантирует, что написанное строчкой выше правда)

Предварительнаяустановка

1.  Переходим поссылке https://nodejs.org/en/download искачиваем LTS версию. Нам подойдет и она.

2.  Когда скачали,запускаем установку.

3. (опционально)Перейдите по ссылке https://git-scm.com/downloads и скачайте Git,для упрощения обновлений и прочего.

4. (опционально) Переходимпо ссылке https://www.python.org/downloads/ и качаем питонпоследней версии. Не то чтобы он был вообще нужен для установки таверны, но разуж мы начали идти по пути LLM, не стоит останавливаться надостигнутом!

5. Установка завершена.Переходим к самой таверне.

Установка SillyTavern.

С использованием Git:

1. Выбираем папку, нажимаем ПКМ, git bash HERE.

2. Вводим в консоль git clone https://github.com/SillyTavern/SillyTavern 

3. Для того что бы установить staging branch добавляем после ссылки -b staging

4. Всё устанавливается

Без использования Git:

1. Переходим поссылке https://github.com/SillyTavern/SillyTavern/tree/staging

2. Нажимаем на зеленую кнопку Code и download zip

3. Теперь, когда мы скачали наш ZIP архив (не важно, стейджинг ли этоверсия, или обычный релиз)
Мы берем и открываем ZIP (архив) и достаем оттуда папку, в любое удобное намместо.

*Лично я предпочитаю именно этот метод, сохраняя вотдельной папке каждую новую версию таверны, начиная с момента, когдасуществовала только оригинальная TavernAI, ещё храню в каждойпапке полный набор актуальных на тот момент скриптов, промптов и персонажей.Зачем? Вдруг пригодится!

Запуск таверны

После этого мы запускаем start.bat
Когда мы запустили start.bat, мы видим NPM install. Нам нужно дождатьсяустановки, затем оно само запустится.

*Если вам пишет missing module название модуля, то нужно ввестикоманду npm install название модуля, и так пока вы не установитевсе нужные.

Когда установка закончится, автоматически откроется вкладка браузера с интерфейсом таверны.

При первом запуске вы увидите сообщение 

Welcome to SillyTavern!
•	Read the Official Documentation.
•	Type /help in chat for commands and macros.
•	Join the Discord server for info and announcements.
SillyTavern is aimed at advanced users.
If you're new to this, enable the simplified UI mode below.
■ Enable simple UI mode
Before

Которое предложит вам заранее ввести имя, по которому к вам будет обращаться модель. Можете оставить его как есть и представиться кем угодно походу беседы, либо ввести своё имя, но тогда к вам всегда будут обращаться по нему. (Старые модели вроде Pygmalionвместо User, определяют пользователя как You)

*Также вам предложит включит упрощённую версию интерфейса. НЕ ДЕЛАЙТЕ ЭТОГО!

Раз уж вы решили идти дальше пути текстовых нейросетей то привыкайте страдать!

Подключение к нейросети.

Теперь настало время изучить иконки расположенный сверху

Но делать это мы будем не по порядку, начнём с главного, источника. Тавернаэто очень удобный, но всё-же фронтенд. Иконка API предлагает нам выбратьоткуда конкретно мы будем черпать нейросетевые ресурсы.

Рассмотрим основные пункты, представляющие практический интерес.

1. Text Completion.

API
Text Completion
API Type
Default (oobabooga) oobabooga/text-generation-webui
Убедитесь, что при запуске указали аргумент --extensions openai Server URL
Example: http://127.0.0.1:5000
https://minolta-analysts-among-madrid.trycloudflare.com/
Custom model (optional)
Подключить
Ш Legacy

Первый пункт «TextCompletion» Предлагает вам подключить к вашей таверне в качестве бекэнда text-generation-webui.
О том, как его запустить написано в предыдущем посте. Ссылка на колаб: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
Но прежде чем использовать его как API,убедитесь что отключены google translate и sileroTTS, они будут мешать генерации.
Чтобы подключить запущенный webui к таверне Скопируйте ссылку после строки'OpenAI-compatible API URL:' и вставьте её в 'Server URL'

При запуске локально дефолтный адрес подключения http://127.0.0.1:5000/api

2. KoboldCPP.

▼
API
Text Completion
API Type
KoboldCpp
LostRuins/koboldcpp API URL
Example: http://127.0.0.1:5001 http://127.0.0.1:5001
Подключить
koboldcpp/openhermes-2.5-mistral-7b.Q5_K_M О Автоматическое подключение к последнему серверу,нейронные сети,ChatGPT,gpt,локальные языковые модели,google

Этот пункт предлагает нам подключить к таверне аналог text-generation-webui,под названием «Koboldcpp»

Главных отличий от предыдущего сабжа два:

- Кобольд предназначен для запуска моделей,оптимизированных для процессора. Сейчас это формат GGUF

- Сильно проще в локальном запуске на Windows. Всегоодин exeфайл,после запуска которого вам предложат выбрать файл модели кнопкой «Browse». Изнастроек для начала можно выставить контекст в размере 4096. Для запуска этогоуже достаточно.

c KoboldCpp v1.48.1
Quick Launch
Hardware
Tokens
Model
Network
Quick Launch
Presets:
Threads:
BLAS Batch Size:
«/ Launch Browser □ Use SmartContext s/ Use ContextShift Context Size:
Model:
Update
Save
Load
Help
Use OpenBLAS 5
512
□	High Priority
□	Disable MMAP
□	Remote Tunnel

У кобольда есть даже свой интерфейс чата, но он сильноуступает как webui так и таверне.

В качестве API URL в таверне вводим http://127.0.0.1:5001/api

Скачать последнюю версию можно здесь: https://github.com/LostRuins/koboldcpp/releases/

Почитать о разных загрузчиках и прочих вы можете на основнойстранице гитхаб: https://github.com/LostRuins/koboldcpp

Если ваш комп не тянет, есть также колаб: https://colab.research.google.com/github/LostRuins/koboldcpp/blob/concedo/colab.ipynb
Куда же без него.

3. ChatCompletion

Здесь нам предлагается подключиться к APIсоответствующихсервисов, при условии, что у нас есть ключ.

API
Chat Completion
Источник для Chat Completion
OpenAI
OpenAI
Window Al
OpenRouter
Claude
Scale
AI21
Google MakerSuite MistralAI
| Custom (OpenAI-compatible)___________________________
Модель OpenAI
gpt-3.5-turbo
■ Bypass API status check
Ш Показать "сторонние" модели

Выбираем поставщика, вводим ключ, радуемся! В целом всёпросто (кроме получения самого ключа)

4. KobaldAIHorde.

Но не печальтесь, если у вас нет ключа к GPT4 Turbo, нам поможет сервис AIHorde https://horde.koboldai.net/
(это не троллинг если что, нет правда!)

Более того, это, пожалуй, самый интересный пункт, потому чтоон позволяет нам сразу, без танцев с бубном, подключиться к языковой модели.

Всё что нам нужно это поставить курсор в поле Модели ивыбрать любую из них:

API-КЛЮЧ
Получить здесь: Регистрация (Посмотреть мой penrnHr(Kudos))
Вставьте 0000000000 чтобы использовать анонимный режим.
X Missing key Модели С*
Select Horde models
koboldcpp/LLaMA2-13B-TiefighterLR (ETA: 334s, Speed: 16.3, Queue: 5459, Workers: 1)

*Модели из списка работают на аппаратных мощностях участников сообщества и доступны для бесплатного использования! НО когда много людей сидит на одной модели, образуется очередь, а у анонимных подключений приоритет в очередях самый низкий.
Если хотите получить преимущество, регистрируйтесь https://horde.koboldai.net/registerЗа это вам выдадут личный ключ
API, который можно будет вбить в таверну. Далее устанавливайте хорду и фармите Кудосы помогая людям, не имеющим мощного железа, приобщаться к нейронкам!

Какая модель лучше вопрос спорный.
Можете, например поизучать этот рейтинг: http://ayumi.m8geil.de/ayumi_bench_v3_results.html

По мне так методика тестирования в Аюми такая себе, но ничего лучше пока не встречал.

При подключении, не забудьте выставить галочку «Уточнить длину ответа в соответствии с возможностями рабочих машин» Иначе получите ошибку, если контекст установленный на сервере будет меньше вашего.

О Уточнить размер контекста в соответствии с возможностями рабочих машин О Уточнить длинну ответа в соответствии с возможностями рабочих машин ■ Только доверенные рабочие машины
Context: 1024, Response: 256,нейронные сети,ChatGPT,gpt,локальные языковые модели,google

В принципе после этого уже +- можно начинать общение!

Поэтому переходим к обзору основных нюансов общения с нейровайфу.


Песеты настроекгенерации.

Первая из них это параметры генерации модели. 

т ¥ а	I ¿0	И & 9	Е£
^ Можно установить вручную, использовав цифру рядом с ползунком			е
Предустановки Kobold О			
RecoveredRuins			V
	u ra a t Л	т	
Длина ответа (в токенах)		Размер контекста (в токенах)	
400		8192	*
		в Неограниченный О	
Температура О		Тор-кО	
1,00		0	
ТорРО		Typical Р О

Главное, на что здесь стоит обратить внимание это
1. Длина ответа в токенах – ограничивает размер ответа модели.
2. Размер контекста – сколько текста вы посылаете нейросети при каждом запросе*

* тут стоит сделать небольшое отступление: многие думают, что общение с нейросетью происходит как с человеком. Вы ей что-то пишите – она на это запоминает и учитывает в последующих ответах. Это не совсем так: языковая модель может дать всего один ответ на один запрос. Памяти как таковой ни у одной современной LLM нет в принципе. Так как-же тогда происходить длинная переписка? Очень просто: в качестве запроса модели КАЖДЫЙ РАЗ посылается история всей вашей предыдущей переписки, она обрабатывает всю эту гору текста и отвечает один раз что она обо всём этом думает. Далее этот процесс повторяется, но в запрос включается предыдущий ответ нейросети.
Контекст - это максимальное количество текста, которое модель способна обработать. Если ваша беседа его превысит, таверна автоматически начнет удалять ваши сообщения, начиная с первых, а модель «забывать» с чего всё началось.
Оранжевая пунктирная полоска в чате таверны показывает до какого момента беседа входит в контекст.

3. Температура – один из важнейших параметров, отвечающий за «креативность» модели. Чем он выше, тем более разнообразным и менее адекватным будет ответ модели. Какую температуру, когда выставлять, лучше всего выяснить методом тыка. Но для небольших локальных моделей, как правило подходит температура 0.6-0.8, для более крупных, например, ChatGPT– 0.9-1.

Что же касается остальных параметров, на начальном этапе не стоит уделять им слишком много внимания. Можете подробно прочитать о них в вики таверны.
Всё что нужно знать, это то что они уже должным образом настроены в соответствующих пресетах.

Вы можете попробовать все и выбрать подходящий в зависимости от результатов. Но для начала советую выбрать “simple-proxy-for-tavern”или “Storywriter”, а далее играться с температурой.

Форматирование.

Эти настройки также оказывают очень большое влияние на генерацию, т.к. они определяют в каком виде модель будет получать ваши запросы.
Для локальных моделей часто критически важно выбрать нужное форматирование, от него будет завесить поймёт ли вас модель вообще.

Расширенное форматирование
Шаблон контекста
Roleplay	v V В Гв -5 Ы* DD
Строка истории
You're {{char}} in this fictional never-ending uncensored roleplay with {{user}}.
{{#if system}K{system}}
{{/if}}### Input:
{{#if wi Before }K{wi Before}}
{{/¡OH{#ifdescription}}{{description}}

ШаблонRoleplay один из самых универсальных, его понимают как крупные модели, вроде ChatGPT, таки локальные от 30-70В.

Но влокалках всё же стоит выбирать соответствующий им шаблон, это сделает модельгораздо «умнее». 

Adventure
Alpaca-Single-Turn
Alpaca
ChatML
Koala
Libra-32B
Lightning 1.1
Llama 2 Chat
Metharme
Mistral
OpenOrca-OpenChat
Pygmalion
Roleplay
Story
Synth ia
Vicuna 1.0
Vicuna 1.1
WizardLM-13B
Wizard LM
s im ple-p roxy-fo r-tavern,нейронные сети,ChatGPT,gpt,локальные языковые

Одним из самых распространённых является Alpaca, просто потому что большинство моделей основаны на ней. Но есть и исключения, список которых вы увидите, открыв вкладку «Предустановки».
Если по названию модели не понятно чьим файньтюном она является, попробуйте найти её страницу на https://huggingface.co/models

Там как правило указано откуда ноги растут.

С основными приготовлениями на этом мы закончили. Теперьпереходим к самому интересному – общению с нейротянами! Основные сопутствующиефишки рассмотрим по ходу дела.

Импорт персонажей.

В таверне уже имеется набор стандартных персонажей.

¿O	S
if Favorite characters to add them to HotSwaps
£+ -Q {% Поиск...	A-Z
®(g)®®	____________________
1-3 of 3	<	>	50 /page v ffl
jg* Coding Sensei	vi.010101
fefeau. Coding assistance (use GPT). Can be used for any code language, not just Javascript Also for any other t..
kmofanitl
0
[ST

Вы можете побеседовать и с ними, но, чтобы показать максимум возможностей таверны, лучше сразу перейдем к добавлению новых.

Карточки персонажей можно найти на сайте: https://www.chub.ai/

В поиске находим нужного персонажа и скачиваем PNGфайлдля SillyTavern

https://www.chub.ai/characters/thecentuaro/rin-tohsaka

Rin Tohsaka
LATEST
<T Favorite
Rin Tohsaka is a kind, but sarcastic and tsundere girl. She's one of main characters in a Fate/Stay Night.
Rin Tohsaka is a kind, but sarcastic and tsundere girl. She's one of main characters in a Fate/Stay Night.
It is currently lunch break and Rin Tohsaka is

Кроме того, если есть, скачиваем Expressions ZIP и Лорбук (внизу вкладки Tavern, после описания карточки)

Link a Lorebook
Any number of linked books is allowed. They will be built into the card's embedded character book on V2 cards. Use the full path of the project, e.g. 'lorebooks/bartleby/example-lorebook'.
^ Fate Lorebook
Fate series basic lores
Fate
Approximately 10177 Tokens
gimc25419 Jun

Карточку персонажа кидаем в SillyTavern-staging\public\characters

Туда же извлекаем изображения из архива Expressions, папку не переименовываем, она должна соответствовать имени персонажа.

w
Rin Tohsaka
default_Seraphin a.png
Seraphina

README.md
main_rin-tohsaka
_tavern.png
default_CodingS
ensei.png
default_FluxTheC
at.png,нейронные сети,ChatGPT,gpt,локальные языковые модели,google colab,длиннопост,SillyTavern,LM,вайфу

Лорбук же кидаем в SillyTavern-staging\public\worlds

Имя	Дата изменения	Тип	Размер
О ЕИопа^оп	12.01.2024 17:20	Файл 'МБОМ"	6 КБ
О fate-lorebook_s¡llytavern.json	13.01.2024 19:41	Файл 'МБОМ"	89 КБ
□ README.md	12.01.2024 17:20	Файл "МО"	1 КБ,нейронные сети,ChatGPT,gpt,локальные языковые модели,google colab,длиннопост,SillyTavern,LM,вайфу

Теперь можно обновить вкладку с таверной и нажать на иконку с появившимся персонажем.

¿+ ¡j £% *•£ floncK...
A-Z
*x*; p ^
1-4 of 4	<	>	50/page v ffl
Coding Sensei	vi.010101
m Coding assistance (use GPT). Can be used for any code language, not just Javascript Also for any other t..

(ST Default]
Flux the Cat
ST Default Bot contest winner: creative prompts category
(ST

.*• Rin Tohsaka January 13.2024 7:52 PM
■ -r C , ■
f v It is currently lunch break and Rin Tohsaka is waiting for User on the school rooftop, #0 normally closed. It's where he shares information with her as part of her deal with this apprentice mage.
As he enter she looks at him while wearing a

Но при открытии мы увидим что чат на английском, а Рин обращается к нам как к Юзеру.
Чтобы исправить жмем на иконку Расширения и открываем вкладку Chat Translation

т * a s £» и & т s
Расширения	Ш Notify on extension updates & Manage extensions
£% Install extension Download Extensions & Assets Character Expressions Image Generation Image Prompt Templates TTS
Quick Reply
Chat Translation
Auto-mode Translate both
Provider Google
Target Language Russian

Здесь выбираем пункт Translation both, Googleи Русский язык.

£ Миры/Сведения 9
Активные миры для всех чатов * fate-lorebook_sillytavern
Activation Settings
($> New или Редактировать v £
/-*
КУ
Priority
V
•о и л в а
е
+ P S Ü, la DD Поиск...
IIL.I\IIIU I ICI LUI lUUC. Г11IUII V, MUCH MC UUUCUM,,нейронные сети,ChatGPT,gpt,локальные языковые

Затем идём во вкладку «Миры» и выбираем Fate, чтобы беседа была более каноничной.

«Лордбуки» это сборники кратких сведений о мире или персонажах, в дополнение к основной карточке. Интересны они тем что, в отличие от карточки, количество записей в лорбуках не ограничено. Просто, когда речь аходит о каком-то событии или термине, название которого совпадает с записью влорбуке, таверна добавляет эту запись к промпту, чтобы модель понимала о чём идёт речь.

Я пару раз использовал лорбук для того чтобы написать персонажей с очень сложной предысторией, на десяток тысяч токенов) и это прекрасно работало при контексте всего в 4к.
Кроме того лорбук вполне можно использовать как замену «памяти» бота, записывая в него занимательные факты из вашего общения. Минус в том, что делать это надовручную.

Теперь заглянем в раздел Управления персоной. Здесь вы можете как описать свою личность, так и притвориться кем-то другим. Лично я всегда предпочитаю писать правдивое описание себя, ведь именно так вас будет воспринимать бот.

Управление Персоной Как мне это использовать?
Usage Stats Backup -5 Restore f© Создат
Имя
Ваша Персона
Ignat
Описание Персоны
^ 6 С
Race: Human Height: 199 cm.
Weight: 120 kg.
Penis size: 35 cm.
Description: Athletic young man with short hair. His pumped-up figure is adorned with muscle

Кроме того, можно выбрать (или сгенерировать, об этом позже) подходящий фон беседы


A
bedroom tatami
ff1*' j f «I	'(*
cityscape medieval night
japan classroom side
japan classroom
japan path cherry blossom
bedroom clean
System Backgrounds
S Auto-select
cityscape medieval market
.transparent
bedroom cyberpunk
> ;
. . - ■
forest treehouse fireworks air baloons (by

По большей части всё – можно беседовать!

▼
А

Rin Tohsaka January 13.2024 8:35 PM
V Сейчас обеденный перерыв, и Тосака Рин ждет Игната на крыше школы, которая обычно закрыта. Здесь он делится с ней #0 информацией в рамках ее сделки с этим учеником мага.
Когда он входит, она смотрит на него с игривым выражением лица и приветствует

Стрелка справа от ответа персонажа это «свайп», при нажатии на неё сгенерится другой ответ, но вы всегда можете вернуться к предыдущему. Карандашик позволяет отредактировать любую реплику, как свою, так и бота в любой момент. Это очень полезно, если вдруг появилось желание разыграть другую сцену или просто что-то слегка подправить.

При нажатии на иконку персонажа, вы увидите его описание, которое точно также можно изменить в любой момент.

Что-ж, это был необходимый минимум, для начала использования таверны.

Но для тех, кому этого мало, продолжаем!

Особые возможности.

Преобразования вашей речи в текст. (STT) (понадобится микрофон)

Открываем расширения, вкладку «Download Extensions &Assets» и жмём кнопку подключения, соглашаясь с всплывающим сообщением.

т * а ш	it, n	&
Расширения	0 Notify on extension updates	& Manage exl
Download Extensions & Assets	Q Quick Reply	
Assets URL	Chat Translation	
https://raw.githubusercontent.com/SillyTavern/SillyTave	11 ▼6 Image Captioning	
Extension	Summarize &	
To download extensions from this page, you

Появится длинный список из разного рода улучшалок. У всех есть описания и их все вы можете попробовать самостоятельно, но я советую начать с «Speech Recognition»

Speech Recognition C3
Convert your speech to text using browser or extras.,нейронные сети,ChatGPT,gpt,локальные языковые модели,google colab,длиннопост,SillyTavern,LM,вайфу

После установки в расширениях появится новая вкладка. В ней нужно выбрать «браузер» и Русский язык. После этого рядом с кнопкой отправки сообщения появится также иконка микрофона, нажимаем её и говорим.

Преобразование текста в речь (TTS)

Дальше будет чуть сложнее, потому что теперь мы дадим голос ещё и нашей вайфу!

Для этого понадобится настроить вкладку расширений TTS.

TTS
TTS Provider Loaded Select TTS Provider
XTTSV2
Eleven Labs
Silero
XTTSv2
System
Coqui
Edge
Novel
OpenAI_____________
Reload,нейронные сети,ChatGPT,gpt,локальные языковые модели,google colab,длиннопост,SillyTavern,LM,вайфу

Здесь интереснее всего 2 пункта: Silero и XTTSv2.

Результат работы Silero вы могли слышать в колабе text-generation-webui.Но в таверне подключение этого модуля на русском языке вызывает некоторое количество боли, так что как-нибудь в другой раз.

Поэтому подключаем https://github.com/daswer123/xtts-api-server

Вы можете установить его локально, следуя инструкции, но для начала лучше попробовать колаб: https://colab.research.google.com/drive/1b-X3q5miwYLVMuiH_T73odMO8cbtICEY?usp=sharing#scrollTo=nLS9QDgnrUmR

В настройках в строке Model_source: выбираем «apiManual»

Choose model source
Model_souree: apiManual
If you select local, the model of version Model_version will be loaded. Will use local transform.,нейронные сети,ChatGPT,gpt,локальные языковые модели,google colab,длиннопост,SillyTavern,LM,вайфу

Затем просто запускаем все ячейки по очереди сверху вниз, пока в консоли последней не получим строчку

> Using model: xtts
2024-01-13 14:08:13.355 | INFO | xtts_api_server.tts_funcs:load_model:193 - Model successfully loaded INFO:	Started server process [1364]
INFO:	Waiting for application startup.
INFO:	Application startup complete.
INFO:	Uvicorn running on http://127.0.0.1:8020 (Press CTRL+C

После этого прокручиваем консоль в самое начало и ищем ссылку

Your url for SillyTavern: httos://emerging-sims-researcher-im.trvcloudflare.com,нейронные сети,ChatGPT,gpt,локальные языковые модели,google colab,длиннопост,SillyTavern,LM,вайфу

Именно её нужно вставить в таверну:

XTTSV2
v Reload
O Enabled
0 Narrate user messages O Auto Generation 0 Only narrate "quotes"
O Ignore *text, even "quotes", inside asterisks* O Narrate only the translated text 0 Skip codeblocks [Default Voice]
disabled	v
Ignat
(Default Voice]	v
Rin Tohsaka
female	v
Language
Russian	v

После этого настройки должны выглядеть так. Если поля с выбором голоса персонажа не появилось, перезагрузите страницу и снова войдите в чат с персонажем. Ползунки можно пробовать двигать, чтобы получить другой результат.

Голос для персонажа нужно выбрать обязательно, иначе он не заговорит.

Запустить озвучку фразы можно кнопкой

ЕвУ14<2>#рансР^
, ожидая увидеЩЦШ!Ш1ШЛ^ю юзнаградить-».
ррт. но пстпнпвливпртся но,нейронные сети,ChatGPT,gpt,локальные языковые модели,google colab,длиннопост,SillyTavern,LM,вайфу

Но если вы настроили всё как на картинке, генерация будет идти автоматически после ответа.

Эмоции и сумморайз.

Теперь мы наконец-то можем общаться в живую! Но как-жевизуальный контакт? Разумеется, это тоже не обошли стороной, именно для этого мы с вами скачивали спрайты эмоций в папку с персонажем!

Для этого нам понадобится запустить отдельный сервер расширений.

Итак, идём на гитхаб https://github.com/SillyTavern/SillyTavern-Extras

Лучше поставить всё это локально следуя инструкции на странице (что гораздо удобнее для повседневного использования).
Но попробовать можно и в колабе (не опять, а снова)

https://colab.research.google.com/github/SillyTavern/SillyTavern/blob/release/colab/GPU.ipynb

Ничего не меняем, запускаем последнюю ячейку и ждём ссылки

Running on: https ://king-wellness-congressional-fake.trvcloudflare.com
*	Serving Flask app ’server'
*	Debug mode: off
WARNING: This is a development server. Do not use it in a production deployme
*	Running on http ://localhost : 5100
Press CTRL+C to quit,нейронные сети,ChatGPT,gpt,локальные

Ссылку вставляем в нижнее поле окна Расширения

Расширения
Download Extensions & Assets
Character Expressions Image Generation ? Image Prompt Templates TTS
Speech Recognition
Extras API: SillyTavern-Extras
https://king-wellness-congressional-fake.trycloudflare.com E
&
Notify on extension updates & Manage extensions	A Install extension
Q

Затем для удобства, рекомендую включить !!!РЕЖИМ ВАЙФУ!!! В настройках визуала.

Gill
Настройки пользователя
Advanced v
•о И ^	0 S
Язык интерфейса По умолчанию v	SillyTavem 1.11.2 j
Search Settings
Предустановки интерфейса
Default (Dark) 1.7.1	^ В ft
Цвета интерфейса
Стиль аватаров Крутые	v
Стиль чата по умолчанию	v
Основной текст Курсивный текст Текст в кавычках

И вот, мы уже можем общаться лицом к лицу! Алилуйа!

его на крыше, немного раздосадованная его опозданием, цокая языком. Наконец, когда он появляется, она начинает довольно рычать. «Ну и сколько мне пришлось тебя ждать? Ты опоздал! Опять!»
Ignat January 13, 2024 8:35 PM Is Привет!
Rin Tohsaka January 13,2024 8:38 PM
V	Она смотрит на него с

Спрайты персонажа будут меняться в зависимости от его «эмоций». Кроме того, они могут быть анимированы (но встречаются такие редко).

Также стоит упомянуть о вкладке Summarize в расширениях.

Это очень полезная штука, увеличивающая «память» бота. Работает это так: в какой-то момент, пока размер контекста ещё не превышен, модель кратко конспектирует суть происходящего. Затем этот «конспект» будет отправляться вместо не входящей в контекст истории чата.

Summarize with:
Extras API
Current summary:
Summary will be generated here...
S Pause
O Summary Settings Insertion Template [Summary: {{summary}}]
Injection Position
•	Before Main Prompt / Story String O After Main Prompt / Story String
•	In-chat @ Depth 2
Restore Previous
•

Summarize &
Summarize with: Main API
/\
Current summary:	Restore Previous
[Taking the above information into consideration, you must chat in a roleplaying manner with Rin Tohsaka. Never write for Rin Tohsaka in your | responses.]
*As Rin and Ignat continue their training session together,

Есть два варианта конспектирования: С использованием основной модели (будет генерироваться как дополнительная реплика, с той же скоростью), либо с использованием специальной модели в сервере расширений (но тогда этот сервер должен быть запущен и подключен).


Групповые чаты

Но чего-то не хватает… Правильно, зачем общаться с одной аниме-тян, когда можно общаться с двумя?!

Выбираем опции в левом нижнем углу чата и жмём «превратить в группу»

нейронные сети,ChatGPT,gpt,локальные языковые модели,google colab,длиннопост,SillyTavern,LM,вайфу

Переходим в меню персонажа и в настройках открываем вкладку «добавить членов»

Group: Rin Tohsaka
Контроль группы
Group: Rin Tohsaka	Щ
Искать / Создать тэги	Щ
Сортировка ответов в группе Обычный порядок	v
Group generation handling mode Swap character cards v
«- ★
Разрешить ответ себе Автоматический режим 5 Hide Muted Member Sprites
Текущие члены
&
1-2 of 2 <	>

После чего составляем нужный нам для досуга список.

Глаза Сэйбер сияют уверенностью, когда она нежно сжимает рукоять меча Как Король Рыцарей, я обладаю #4 исключительными боевыми способностями, отточенными годами опыта на поле боя. Мое главное оружие —
50.9s Экскалибур, божественный меч, подаренный мне Владычицей Озера. С его помощью я могу


Генерация иллюстраций к чату.

Так, что же ещё нам может понадобиться? Конечно же иллюстрация происходящего с помощью Stable Diffusion!

Q
Image Generation ?
O Edit prompts before generation 9 Interactive mode
9 Use multimodal captioning for portraits 9 Auto-enhance prompts Source
Extras API (local / remote)	v
Extras API (local / remote)
Stable Horde
Stable Diffusion Web Ul (AUTOMATIC1111)
SD.Next (vladmandic)
NovelAI

На выбор есть несколько вариантов. Если у вас подключен сервер API, вы можете сгенерировать картинку через встроенный SDмодуль. Также можно подключить через APIсобственныйзапущенный StableDiffusion.Но мне больше нравится вариант StableHorde,т.к. он всегда доступен и не требует дополнительных модулей.

Жмём на волшебную палочку в нижней левой части чата и выбираем Generate Inage и далее один из пунктов

Send me a picture of:
Yourself
Your Face	K(
Me	a'
ia
The Whole Story
The Last Message ¡a. Raw Last Message ^
iv
Background W I i J ridyudlft
y Generate Image 2
X	™
#! H Generate Caption Vt
48
1 Token Counter oc □D Translate Chat,нейронные сети,ChatGPT,gpt,локальные языковые

Теперь ждём пока не получим результат!

фЪ \ Rin Tohsaka January 13.2024 9:56 PM
V i С интересом глядя на Сэйбер, Рин мысленно отмечает ее невероятные навыки и оружие. Однако ее больше интересует ее #5 Мастер, чьи магические запасы, кажется, неуклонно истощаются. "Итак... Игнат, сколько запасов праны у тебя 48,85 осталось? Твои запасы

Это может быть неплохой заменой спрайтам эмоций, превращающей чат в графическую новеллу.

Но учтите, что перед генерацией картинки, ваша текстовая модель сгенерирует для неё промпт. Так что всё это может занять дополнительное время.

Конечно в таверне ещё много фишек и настроек, но пока думаю стоит на этом остановиться.

Спасибо всем, кто дочитал до этого момента не пролистывая!

P.S. Если вы, чтобы не ждать очереди в Хорде, запустили LLMв колабе Text Generation WebUI, затем чтобы не устанавливать TTS, запустили в колабе и его, и в конце то же самое сделали с сервером дополнений, то поздравляю, у вас фуллхаус!

Развернуть

нейронные сети ChatGPT gpt локальные языковые модели llm длиннопост google colab песочница 

Руководство по быстрому началу общения с нейровайфу

Всем доброго времени суток!
Это мой первый нормальный пост, так что заранее извиняюсь, если будут косяки с оформлением. Большинства тегов не нашёл, но они явно нужны по смыслу.

Недавно узнал что есть множество людей далеких от общения текстовыми нейросетями. Специально для них решил написать простое руководство по вкатыванию в тему буквально в несколько(десятков) кликов.

Пролог (можно пропустить)

Сокращённо текстовые нейронки принято называть LLM - Large Language Model (Большая Языковая Модель)

Все конечно в курсе что есть такая вещь как ChatGPT, которую условно можно сравнить с нейросетью для генерации картинок Midjourney.

Но не все в курсе, что как для Midjourney свободный аналог - Stable Diffusion, так и для Чата GPT, есть точно такие же аналоги, которые можно запускать как локально у себя на компе, так и в облаке, а именно Локальные LLM.
Однако в данном руководстве я пока не планирую давать подробную информацию по данной теме (иначе словом длиннопост результат будет не описать). Но если появится интерес, запилю ещё постов как про нейронки, так и про более сложные и интересные способы общения с нейротянами.
В данном руководстве описывается способ запуска https://github.com/oobabooga/text-generation-webui при помощи Google Colab. При желании вы легко можете установить его самостоятельно, все инструкции (как и изначальный колаб) есть на странице в гитхабе.
Ботов для общения можно брать здесь: https://chub.ai/
А сами модели: https://huggingface.co/models
Руководство.
От оригинального колаба text-generation-webui он отличается более удобным способом загрузки моделей, заранее выставленными настройками и русским языком в некоторых местах. 
2. Настройка.
Перед запуском нужно выбрать необходимые настройки. В колабе много опций, но для чата ключевых всего две:
Автоперевод чата на русский через гуглтранслейт:

ft Дополнения
superbooga: 0
Based on superbig от Кайокендева. Расширение, которое
google_translate: Q
Перевод чата, по умолчанию стоит русский.
long_rcplics: О,нейронные сети,ChatGPT,gpt,локальные языковые модели,llm,длиннопост,google colab,песочница

Озвучка чата голосом:

Расширение преобразования текста в речь с использованием [Silero] С «Расширения» интерфейса. Вы можете найти образцы здесь: [образць,нейронные сети,ChatGPT,gpt,локальные языковые модели,llm,длиннопост,google colab,песочница

По умолчанию обе этих галочки отключены. Если хотите общаться на английском и озвучка не нужна - можите их не трогать.
Для первого знакомства выбор модели не так важен. По умолчанию стоит Emerhyst-20B - одна из топовых моделей для кума. В дальнейшем можно попробовать и другие, в том числе собственные, инструкция как это сделать есть в тексте колаба.
3. Запуск.
Жмём

> Установка и загрузка модели
©	первом запуске этот блок установит угабогу и загрузит выбранную модель. Н
Загрузить остальные вы сможете во вкладке Model в интерфейсе GUI:
Список актуальных моделей можно найти в этом рейтинге
Есть 2 варианта загрузки модели в зависимости от формата:
• ВАРИАНТ

Чтобы запустить блок установки загрузки.
Затем сразу же жмём:

> £? Выбор настроек и старт
----------------------------
© Опции запуска
зе±-Ып§э_-Ра.1е:
Загрузите настройки интерфейса по умолчанию из необработанного текстовог
регр1ехз.±у_со1огз:	□,нейронные сети,ChatGPT,gpt,локальные языковые модели,llm,длиннопост,google colab,песочница

Ничего не меняя в настройках. 
Блоки запустятся по очереди. Займёт это от 5 до 15 минут в зависимости от скорости работы колаба.
В результате блок старта должен выдать вам следующую запись:

* Downloading cloudflared for Linux x86_64... Running on local URL: http://127.0.0.1:7860 08:14:55-341880 INFO	OpenAI-compatible API URL:
mips : //Knit - hereb^piaiilcal • Fini ■ tryclpudf lare, со«*
Running on public URL: https ://c03e4698bdf676e5fa.gradio.1ive j
This share link expires in 72

Жмём на ссылку после "Running on public URL:" и в новой вкладке откроется GUI интерфейс чата.
4. Чат.
После этого вы в принципе уже сможете начать общение с нейросетью, задавая ей интересные вопросы и рассказывая охранительные истории. Но по умолчанию чат будет отвечать как Assistent, то есть от лица нейросети, а что с отыгрываеием персонажей?
Всё в порядке! Данный интерфейс, как и сама модель написан практически только для этого!
Скроллим вниз и видим:

Character gallery		T
Filter	Clear	Refresh
Assistant	Example,нейронные сети,ChatGPT,gpt,локальные языковые модели,llm,длиннопост,google colab,песочница

В чате помимо Ассистента есть ещё и дефолтный персонаж Chiharu Yamada, здесь почему-то названный как Example.
После нажатия на её портрет чат переключится на общение с ней:


► 0:15/0:15	Ц>)

Чихору входит в комнату с улыбкой, ее глозо загораются, когда она видит тебя. На ней голубая футболка и джинсы, сумка для ноутбука перекинута через плечо. Она садится рядом с вами, ее энтузиазм витает в воздухе
Привет! Я так рада наконец встретиться с тобой. Я слышал о вас

Для начала общения хватит и её. 
Действия прописываются курсивом *между звёздочками*, слова - обычным текстом.
Но если вы хотите пообщаться с собственной вайфу, тогда переходим к следующему пункту!
5. Импорт персонажей.
На данный момент самая большая база персонажей находится на https://chub.ai/
После того как нашли нужного, заходим на его страничку:

Mao Zedong latest ft Favorite
Large jade wand, polished balls.
Creator s notes go here.
Approximately 561 tokens. 558 permanent
turbo
Created on Jul 19, 2023
179 Downloads I V Fork(0),нейронные сети,ChatGPT,gpt,локальные языковые модели,llm,длиннопост,google colab,песочница

И скачиваем к себе PNG в формате SillyTavern. Этот формат самый универсальный, поэтому рекомендую хранить персонажей в нём.
Затем снова открываем чат и переходим во вкладку

Chat Default Notebook Parameters Model Training
Generation Character Instruction template Chat history YAML or JSON TavernAI PNG
■ TavernAI PNG File	
r	Поместите Изображение Здесь - или - Нажмите, чтобы загрузить
Session
Upload character
Name
Description
Submit,нейронные

Кидаем персонажа в данное поле и возвращаемся в чат. Также иконка персонажа появится в галерее. Собственно всё.

Mao Zedong
► 0:00 / 0:20 -	HD

Как только человечество уничтожит капитализм, оно вступит в эпоху вечного мира, и тогда войны ему уже не понадобятся. Тогда не будет необходимости в армиях, боевых кораблях, боевых самолетах и отравляющих веществах. Тогда человечество не увидит войны во веки

5.1. Сохранение логов.
Ели вы хотите чтобы ваша вайфу и переписка с ней сохранялись от сеанса к сеансу, перед запуском в настройке колаба "save_to_google_drive" нужно выбрать "chatlogs and characters"

Синхронизировать с гуглдиском персонажей и логи?. save_to_googie_drive: chatlogs and characters,нейронные сети,ChatGPT,gpt,локальные языковые модели,llm,длиннопост,google colab,песочница

Но тогда все ваши логи и персонажи будут лежать на гуглдиске в папке "oobabooga-data". И само собой колаб запросит к нему доступ.
Вот теперь точно всё.
Развернуть

перепись населения локдаун нерабочие дни пандемия песочница карантин коронавирус 

Только что ко мне заявились "переписчики населения". Обычно я не открываю, когда приходят без предупреждения, т.к. ничего хорошего от таких визитов ни разу ещё не видел, но звонили очень настойчиво, так что пришлось открыть.
Переписываться я конечно не стал, сказав что уже сделал всё онлайн, но на это ко мне пообещали приходить пока я не покажу QR-код от госуслуг о том что прошел перепись.

Так к чему это я собственно: пандемия коронавируса, рекорды по новым заболеваниям и смертям, локдаун, ради которого в очередной раз прибили малый бизнес...
САМОЕ ВРЕМЯ ПУСКАТЬ ПЕРЕПИСЧИКОВ ПО КВАРТИРАМ ЗАРАЗУ РАЗНОСИТЬ!!! А ТО ВДРУГ КТО-ТО НЕ ПЕРЕБОЛЕЛ ЕЩЁ!

Написал другу в Питер, говорит к ним тоже приходили, похоже это всероссийская акция. В очередной раз не перестаю удивляться находчивости и гениальности нашего руководства, ура товарищи!
Развернуть