Проблемы с SillyTavern / нейронные сети :: пидоры помогите (реактор помоги)

Проблемы с SillyTavern

пидоры помогите,реактор помоги,нейронные сети

Привет, ботопидоры

Давеча, по советам проверенных камрадов, поставил себе на машину SillyTavern и KoboldAI. Дрожащими руками скачал языковую модель на 4.5 Гб(L3-8B-Stheno-v3.1-Q4_K_S-imat) и начал чатиться. Ощущения атас, но есть нюанс(Ы)

При попытке добавить новые карточки персонажей, вылетает данная ошибка. Причем, я пытался добавить карточки, которые уже добавлял в библиотеку, но они так же выдают ошибку. (импортирую из https://janitorai.com/).

2) Не все карточки удаляются. При попытки удаления, вылетает сообщение об удалении карточки, но она сама все еще отображается в библиотеке.

3) Стоит ли снимать максимальное ограничение "контекста" в таверне и как сильно это отразится на скорости ответа?

4) Дайте совет, какие языковые модели стоит опробовать (ОЗУ 16 Гб) и стоит ли вообще с такой оперативкой лезть в таверну, или качество серверов того же janitorAI много лучше?

5) После добавления некоторых карточек, они первым сообщение выдают "PLACEHOLDER - TO BE UPDATED". О чем это говорит?

Подробнее

пидоры помогите,реактор помоги,нейронные сети

Еще на тему

пидоры помогите(7852)

нейронные сети(27709)

Развернуть

Комментарии 1118.01.202505:06ссылка3.6

Кстати, знает кто еще ссылки на наборы ресурсов? Или возможно какие-то интеграции, чтобы таверна могла заменить Voiceattack, то есть могла на прямую что-то запускать на компе по команде или голосу?

HOSTOL 18.01.202507:21 ответить ссылка 0.0

Почекай плагины к таверне, их достаточно много, может найдешь что-то.

ivdos 18.01.202509:05 ответить ссылка ↑ 0.0

Если в видеокарте есть хотя бы 8-11 Гб видеопамяти, то вполне можно лезть, голая LLM требует меньше. Я еа 12 Гб видео + 32 ОЗУ смог совместить Q8 модель и Stable Diffusion для 720p картинок - их правда ждать приходится иногда не одну минуту, но нередко оно того стоит. Внешние сервера, конечно, производительнее, но тут и другой функционал, и гарантированная передача текстов куда-то в другое место. Таверна только переводимый текст сливает.

С другой стороны у CharacterAI кайфовый генератор голоса, я как ни пытался в Таверну прикрутить - какая-то хрень получалась. Может просто не разобрался.

А вот с упомянутыми проблемами не сталкивался. Настроил один раз и с тех пор работает, позже только добавил настроек для доступа в локальной сети с телефона.

LRSV 18.01.202508:28 ответить ссылка 0.2

ты голосовой ввод вывод прикручивал? Я попытался на LM studio прикрутить, но она у меня почему то ребутила комп. С Kobold игрался большой моделью которая под руку попалась, но на моем железе тяжело ей 32 озу 7700че на 12гб. В обще хочется завести себе чтото типо Овсянки, что бы общаться. Не знаю откуда копать начать

pipitrezes 18.01.202509:04 ответить ссылка ↑ 0.0

Голосовой вывод, ну его этот ввод. Инструкциям с Ютуба следовал, по-моему ничего толком к SillyTavern подключить не удалось, но когда генерацию голоса в принципе смог запустить, обнаружил там только три голоса из кириллечиских и не обнаружил возможности добавить что-то ещё. В итоге забил на это дело, в конце концов у cai всё это уже есть, работает из коробки и бесплатно чуть ли не лучше, чем с подпиской - никогда не успевал за платной скоростью ответов, лол.

LRSV 18.01.202509:09 ответить ссылка ↑ 0.0

Internal Server Error = это ответ 500, возможно они добавили проверку через клаудфларе, во всяком случае у меня при попытке на сайт оно как раз проверяет, вот тебя и нахуй посылает, вручную карточки экспортируй через пнгшки-json, хули. Вообще для карточек ботов используй chub.ai.
По поводу оперативы, у тебя нет видяхи, а если есть то сколько видеопамяти?
Можно в принципе и без видеопамяти окольными путями. Я вообще свои карточки делаю, чтобы с опусом-гемини развлекаться.

ivdos 18.01.202509:12 ответить ссылка 0.2

У видяхи 6 гб, в инете вычитал, что можно на оперативки сидеть, вот я и переключаю галочку в кобольде на нее.
Мне как то janitor удобней показался, и он без впн работает, в отличии от chub. Видимо придется ручками качать

kts_002 18.01.202509:36 ответить ссылка ↑ 0.0

Ты ежели че можешь часть модели загрузить в видяху, а не полностью на на оперативке сидеть. Но вообще 16 гигов маловато, было бы 64, можно было бы загрузить mixtral, оно вполне неплохо работает чисто на проце.

ivdos 18.01.202509:42 ответить ссылка ↑ 0.0

Вообще, глупейший вопрос. Таверна до последней версии обновлена? Сейчас 1.12.10 крайняя.

Текст плейсхолдера немного смущает. Первым сообщением карточки могут лорбуки подгружать.

Может попробовать заново другим способом установить. Я, помнится, через Git устанавливал по инструкции Installing via Git для Windows.

LRSV 18.01.202509:13 ответить ссылка 0.2

Да, таверна последней версии. Онатведь обновляется перед включением. У меня первый день все нормально работало, я никаких доп настроек не ковырял. А потом бац, просто перестали добавляться.

kts_002 18.01.202509:38 ответить ссылка ↑ 0.0

Подскажи инструкцию как вообще ставить на пк языковую модель? Это сложно?