Спасибо что заметил!
Я сейчас фоокусом страдаю, колаб давно не запускал. Проблема похоже была в дополнениях xformers и deepspeed, якобы увеличивающих скорость работы. Отключил их - всё заработало, особого падения производительности не увидел.

Я починиль, пользуйтесь! :)

Довольно старая тема.
Сначала генерируются статичные картинки по теме в Midjourney или Stable Diffusion.
Затем юзают этот сервис https://runwayml.com/ Который превращает картинки в видео.
Минус в том что генерируются отрезки по 4 секунды и возможности такой "анимации" ограничены. Так что что-то кроме трейлеров создать сложновато.

Вот ведь срань, Угабога выпилила загрузчик ExLlama, который я юзал в колабе для GPTQ моделей =_=
Видимо он устарел и теперь не нужен, прописал вместо него ExLlamav2_HF, с ним норм запускается.
Кстати, модели в списке ниже "TheBloke/Mythalion-13B-GPTQ" в основном старые и не актуальные, их ещё предыдущий автор этого колаба добавлял.

Этот шарит!
Любители поговорить о политике порой "свидетелей Иегова" напоминают с безумным блеском в глазах. Ни один адекватный человек, не зависимо от национальности, не захочет с ними "беседовать", а то мало ли, покусают!

Буквально через один пост до твоего на это отвечал...
Там специально прописано устанавливать именно эту версию торча, т.к. с ней лучше работает.
Если всё запускается, то на такие сообщения внимания не обращай. Я даже уведомление об этом в консоли прописал...

Если за пользование этой техникой взымается дополнительная арендная плата, то полностью согласен. У меня же случай немного нестандартный, поэтому вопрос использования/не использования техники оставлю на выбор жильцам.
Я считаю её вполне работоспособной, т.к. у меня она нареканий никогда не вызывала и я крайне сомневаюсь что с ней без особого вмешательства может что-то случиться, так что это не та ситуация когда я собираюсь всучить кому-то еле живую хрень, а потом требовать деньги как за новую когда она сломается.
В любом случае всё это будет прописано в договоре.

>купил токенов на клабе
Ничего себе ты даёшь О_о
Я сам предпочитаю обходиться 10 гуглакками, т.к. у каждого свой отдельный лимит, где-то часа 4 в сутки. Доплачивать даже в голову не приходило...
По идее колаб не мог перестать работать сам по себе, т.к. при запуске ты по сути каждый раз устанавливаешь всё с нуля как в первый. Проблема может быть в переполнении контекста, интерфейс text-generation-webui не умеет удалять начало чата как таверна и когда твоя беседа переполняет 4к токенов модель может начать сходить с ума.

Но ты похоже решил запустить text-generation-webui локально.
Модели надо кидать в папку text-generation-webui-main\models\*название модели*
Но лучше загрузить через веб-интерфейс: Во вкладке "Model" есть вкладка "Download model or LoRA". Там есть поле, куда тебе нужно вставить *Название организации/Название модели* с сайта https://huggingface.co/models
Какие модели скачивать - отдельная сложная тема, но если кратко:
GGUF - запускаются на процессоре Model loader во вкладке "Model" - Llama.cpp
GPTQ - запускаются на видеокартах Нвидиа Model loader - exllama
exl2 - запускаются на видеокартах Нвидиа Model loader - exllama2
Названия моделей можешь брать либо из колаба, либо из этого рейтинга: http://ayumi.m8geil.de/ayumi_bench_v3_results.html

Ещё ты можешь установить Таверну по руководству из поста https://joyreactor.cc/post/5736750 и использовать Stable Horde. Если не ставить разные приблуды, то установка не сложная.

Ещё, если ничего из перечисленного осилить не выйдет, есть такая максимум юзерфрендли штука: https://faraday.dev/
Ставится в несколько кликов, модели и ботов грузит сама. Я про неё не писал т.к. она работает только локально и сильно ограничена в возможностях, даже по сравнению с text-generation-webui, но в целом сильно проще всего остального.

Я смотрю ты тот ещё любитель рассматривать зубы дарёных коней.
То есть я отдавая тебе БЕСПЛАТНО в пользование технику должен какого-то хрена давать тебе гарантии её бесперебойной работы и в случае поломки ЗА СВОЙ СЧЁТ её чинить?
Ты совсем ебанулся? Ты реально думаешь кто-то этим будет заниматься?
Мне это зачем? Я с этого не получу буквально ничего. Ещё раз, я могу просто сдать квартиру пустой, зачем мне дополнительный гемор нести ответственность за вещи которые я считай БЕСПЛАТНО отдал в пользование?
Лично тебе бы я предложил ТОЛЬКО ВЫКУП этой техники как б/у. Стоит она ВНЕЗАПНО в 2-3 раза дешевле новой именно потому что б/у, изношена и может сломаться. Что с ней после этого будет происходить уже не мои проблемы. Хотя ты мне наверное сейчас накатаешь простыню как ты возвращал через пол года б/у технику, купленную на Авито или требовал с продавца ремонт....

Ахуенная у тебя логика, особенно с другом и машиной. Если ТЕБЕ нужно одолжить у друга машину и он не скрывает от тебя её состояние, то да, ты берёшь на себя ответственность за её состояние, даже если она ни разу не была на СТО. Потому что ты знаешь на что идешь. Если тебя это не устраивает, ты можешь, ну не знаю НЕ БРАТЬ?
Также и в моём случае, я собираюсь сдавать квартиру по цене пустой. Если жильцы ХОТЯТ пользоваться моей техникой я её оставляю, но в момент выезда жду возвращения в рабочем состоянии, не считая естественного износа за время проживания. Или могу её просто забрать и проблема решится сама собой.
Человеку с твоей логикой я бы предложил либо выкупить эту технику по цене аналогичной б/у, либо покупать свою новую.