Получил доступ в бету Stable Diffusion, делюсь впечатлениями и изысканиями / нейроарт :: Stable diffusion :: длиннопост :: много картинок :: нейронные сети

Stable diffusion нейронные сети много картинок длиннопост нейроарт 

Получил доступ в бету Stable Diffusion, делюсь впечатлениями и изысканиями

Больше недели развлекаюсь с нейросетью, накопил архив удачных и не очень генераций, решил скомпилировать сюда, может, кому интересно. 

Бэкстори: Stable Diffusion обещает быть полностью опенсорсным, пока что доступ для 15 тысяч бета-тестеров идёт через дискорд, вскоре грозятся запустить сайт, для исследователей есть возможность заполнить форму и скачать модель, чтобы запускать у себя локально. В конечном итоге они обещают выложить модель и веса в открытый доступ, бесплатно. Особая прелесть сети в том, что она, как утверждает руководитель проекта, способна работать с 5.1 Гб видеопамяти - т.е. её можно запустить на домашнем ПК и генерировать изображения за несколько секунд.

Упреждая ваш вопрос - да, сеть умеет генерировать сиськи, причем зачастую даже если её об этом не просить, например, по запросу "нимфа" или "соблазнительная". Причем они даже ок. Пользовательское соглашение гласит, что вы не будете генерить NSFW, пока используете сервера проекта, если это случилось - нужно зарепортить модеру, но в целом правила очень лояльны, за всё время из 15к участников выгнали около 70, за то что они настойчиво генерировали NSFW. Когда модель станет доступна, то на своём железе можно будет генерить что душе угодно.

Итак, на что я потратил всё это время? Я пытаюсь немного экспериментировать, чтобы выяснить, как запросы (prompt) влияют на изображение. У сети есть удобная фича - генерация выдаёт сид, с которого сгенерирован шум, лежащий в основе изображения. С его помощью можно повторно генерировать картинки с небольшими изменениями в запросе.

Используя один и тот же запрос и меняя только имена авторов, я составил для себя таблицу с референсами на стили известных художников. Дисклеймер: все изображения сгенерировались с первого раза, я не пытался повторять попытки и выбрать что получше

CHARLIE B O WATER
ALPHONSE\MMHA
ARTGERM
HUIS RQiYiO
ILYA KUVSHIN©.V
sophie anders;©®
TOM BAGSHAWi
'AB.0LPHE BQUGUEREA
FRANK MOER
JACK KIRBY
MARK BR®;®K‘S
HIROHIK®MRAK'l
EICHIRO om
'ATSUSHI noshig:®ri
DIEGO VELAZQ№
GREG RUiTiK®WSKI
HELENE KNO@B
MANDY JURGENS
RUAN JIA

Как видно, какие-то получаются лучше, чем другие. Но вообще, портретики в стиле Артгерма получаются у сети лучше всего. Забавно при этом то, что если указывать рандомные имена в качестве художников, сеть всё равно делает вид, будто всё идёт по плану.

CHEN ШШ
. I AMES WEBB,Stable diffusion,нейронные сети,много картинок,длиннопост,нейроарт

Что характерно, портреты очень часто удачно получаются с первой попытки. Я скопировал описание Ферро из "Первого закона" Аберкромби и получил весьма годные результаты, правда без шрамов.

Stable diffusion,нейронные сети,много картинок,длиннопост,нейроарт

Как вообще работает это хрень и что такое диффьюжн? Это лучше загуглить, ибо моё представление весьма туманно. Сеть генерирует шум, и потом начинает... обратно размывать изображение, типа как можно заблюрить картинку до полной каши, а тут процесс в обратную сторону? Делается это пошагово, максимум дают сделать 150 шагов, по дефолту 50. Процесс примерно можно увидеть на ролике с контрафактной Элой ниже, число в углу это количество шагов.

Что ещё хорошего умеет сеть? Она неплохо справляется с бэкграундами, простые вещи выглядят вполне убедительно, особенно если не всматриваться. 

Хаяо Миядзаки, осенний лес

			
			yV V t"
г	’jSSaSH	\1Щ&&	r^V %á
		г lж Ib	s\pt,Stable diffusion,нейронные сети,много картинок,длиннопост,нейроарт

Хаяо Миядзаки, выжженная пустыня

Stable diffusion,нейронные сети,много картинок,длиннопост,нейроарт

Хаяо Миядзаки, зимний городок

	
f	
	Щ
	
	t
' *•		
1.“ *		t
	r
	I' ',Stable diffusion,нейронные сети,много картинок,длиннопост,нейроарт

Хаяо Миядзаки, пустоши

Stable diffusion,нейронные сети,много картинок,длиннопост,нейроарт

Портовый город, бэк из видеоигры

Stable diffusion,нейронные сети,много картинок,длиннопост,нейроарт

Мрачный средневековый город, бэк из видеоигры

Stable diffusion,нейронные сети,много картинок,длиннопост,нейроарт

Ну и конечно, дело не ограничивается артами, сеть также умеет в фото, вот вам моя коллекция Снейков (солидных, ибо за нагих Снейков дают таймаут).

Stable diffusion,нейронные сети,много картинок,длиннопост,нейроарт

Stable diffusion,нейронные сети,много картинок,длиннопост,нейроарт

Stable diffusion,нейронные сети,много картинок,длиннопост,нейроарт

Stable diffusion,нейронные сети,много картинок,длиннопост,нейроарт

На самом деле Снейк - очень неудачная модель, т.к. его глазная повязка сбивает сеть с толку.

Вот вкратце сильные стороны нейросети. Теперь давайте об её слабостях, ибо их хватает. Например, генерировать персонажей в полный рост - сущее мучение, я не знаю, в чем дело, то ли привычка художников обрезать персонажам ноги, то ли криво кропнутые картинки в базе, на которой училась сеть, но в 2/3 случаев при запросе персонажа в полный рост вы получите или обрезанного, иногда с головы, перса, или персонажа с лишними телами и головами. Если портреты отлично генерятся с первой попытки, то с персонажами нужно основательно мучатся. Единственный плюс: если вы нашли удачный сид, где перс в полный рост, его можно переиспользовать. Ниже типичные запоротые генерации, и это ещё не самое стрёмное.


		Ж	VAJi \ шн	[¿2jF [ |Й1|		1 fc -.\ , -<			'* >CV n^c^IvIl4-^1 1
y. i Г			L*n ? АТ'Л- ’.Ч ' ÀL '	4 Jh й fJf-Æ	ЩА \/ jp 1 \j®			^ J9*"~	
• «
-.-v T,Stable diffusion,нейронные сети,много картинок,длиннопост,нейроарт

Stable diffusion,нейронные сети,много картинок,длиннопост,нейроарт

Один из способов консистентно получать персонажа в полный рост - использовать запрос anime model sheet в разрешении 512 на 1024, но тогда сильно страдает детализация.

		
г ш\ v4\l(U г як Г ^ ■		ЩМ-’I : 1 VM
	Н^нЬ ■•* 5 LJ| ,■■ ИВЛЯ^^ ШН	^ л vi- / - i
	■ ч|	V-s4hX>‘,Stable diffusion,нейронные сети,много картинок,длиннопост,нейроарт

Еще одно ограничения, которое я пока не знаю как обойти - слишком детализированные запросы. Например, здесь 4 изображения по запросу "женщина с белыми волосами, жёлтыми глазами и в красном платье". Сеть путает, какие цвета к чему относятся.

Stable diffusion,нейронные сети,много картинок,длиннопост,нейроарт

Заключение. Stable Diffusion пока что немного уступает по качеству изображений DALL-E 2, на мой взгляд получше чем Midjourney, при этом значительно быстрее и не обременена цензурой, и это только первая стадия бета-теста. Несмотря на определённые ограничения, сеть уже вполне может генерить простые стоковые картинки, кастомные аватарки для вашей гномки-лича в Пасфайндере и возможно даже задники для вашей инди-игры.

Окей, пост уже и так непомерно длинен, так что я закругляюсь, описал далеко не всё, если есть вопросы - задавайте, постараюсь ответить.


Подробнее
CHARLIE B O WATER ALPHONSE\MMHA ARTGERM HUIS RQiYiO ILYA KUVSHIN©.V sophie anders;©® TOM BAGSHAWi 'AB.0LPHE BQUGUEREA FRANK MOER JACK KIRBY MARK BR®;®K‘S HIROHIK®MRAK'l EICHIRO om 'ATSUSHI noshig:®ri DIEGO VELAZQ№ GREG RUiTiK®WSKI HELENE KNO@B MANDY JURGENS RUAN JIA ROBERTHíríNES -TODD MCFARLANE ALE« OSAMI KENTARO MIJWRAJ NEALADAMS HIROMÚ.ARAKAWA N®.NE AKIRA-TORIYÄMA’
CHEN ШШ . I AMES WEBB

 yV V t" г ’jSSaSH \1Щ&& r^V %á г lж Ib s\pt

 f Щ t ' *• 1.“ * t r I' '







 Ж VAJi \ шн [¿2jF [ |Й1| 1 fc -.\ , -< '* >CV n^c^IvIl4-^1 1 y. i Г L*n ? АТ'Л- ’.Ч ' ÀL ' 4 Jh й fJf-Æ ЩА \/ jp 1 \j® ^ J9*"~ • « -.-v T

 г ш\ v4\l(U г як Г ^ ■ ЩМ-’I : 1 VM Н^нЬ ■•* 5 LJ| ,■■ ИВЛЯ^^ ШН ^ л vi- / - i ■ ч| V-s4hX>‘

Aloy image generation by Stable Diffusion,Gaming,,
Stable diffusion,нейронные сети,много картинок,длиннопост,нейроарт
Еще на тему
Развернуть
люди не нужны. хуманблядь не человек.
плоть слаба!
"хуманблядь не человек."
Reiner Reiner 15.08.202215:05 ответить ссылка 23.7
Ах если бы. Я убил наверное с полсотни попыток, чтобы сделать другу спрайт для его персонажа, но даже близко не подошёл к рефу, который он дал. Мясные мешки ещё побарахтаются.

Вообще, сеть изнутри воспринимается иначе, чем снаружи, потому что когда ты сам составляешь запросы, то видишь, насколько результат не соответствует тому, чего ты хотел.
clif08 clif08 15.08.202215:06 ответить ссылка 13.2
Ну кстати они ещё собираются добавить inpainting с помощью которой можно перегенерить не понравившиеся части картинки и готовится более толстая модель. Так что проект станет ещё гибче.
Inkor Inkor 15.08.202215:54 ответить ссылка 1.6
не будем забывать, что нейронки выдают результаты после обучения на творениях людей
Забавно, что именно на Эдварде Элрике получилось аниме.
получаются у сети лучше всего. Забавно при этом то, что если указывать рандомные имена в качестве художников, сеть всё равно делает вид, будто всё идёт по плану.
СНЕШШб]
дДМЕЗ-ЩЕВВ]

мотмстает
РОНАЫТШ
[01_АР ВисЖгШ§Ш11
				
	Ч «тг.
Reiner Reiner 15.08.202215:02 ответить ссылка 7.4
Забавно, но Рохан Кишибе (правый нижний угол) как раз не аниме
Avaroh Avaroh 15.08.202217:23 ответить ссылка 1.8
А кошкодевочки где? Сгенерите кошкодевочек, пожалуйста!
wataru wataru 15.08.202215:07 ответить ссылка 2.4
вот тебе кошкодевочка. ты только посмотри на эту красавицу
по шкале фуррёвасти оно зашкаливает. Надо что-то более человекообразное. Я же не совсем зоофил все-таки. Я всего-лишь анимешник.
wataru wataru 15.08.202215:11 ответить ссылка 6.5
26994 26994 14.09.202209:27 ответить ссылка 0.0
Кошкодевочек старался не генерировать, ибо там очень высокий шанс получить сиськи. Кошкодевочки для вас у меня только такие.
ti	tí	y	k ,
clif08 clif08 15.08.202215:13 ответить ссылка 9.0
> ибо там очень высокий шанс получить сиськи.

Вы так говорите, как-будто это что-то плохое. Или за это может бан прилететь?
wataru wataru 15.08.202215:32 ответить ссылка 7.5
Так он же писал мол репорт модеру кидаешь и все. Можно было бы пару артов на черный рынок урвать, типа упс, я не просил сиськи - оно само.
ivdos ivdos 15.08.202215:34 ответить ссылка 1.4
Можно, но на СД уже и так гонят всякие журналисты, мол как же так, сиськи должен быть запрещены бла бла бла. Так что я чту пользовательское соглашение и не хочу лишний раз привлекать внимание к этой теме. Нужно просто дождаться, пока модель выложат в открытый доступ.
clif08 clif08 15.08.202215:37 ответить ссылка 7.6
Какое ответственное, и, несомненно, волевое решение.
Отказаться от кошкодевочки сейчас, что бы их могли получить все желающие...
Если ты видишь, что твои запросы выдают сиськи, но продолжаешь упорно продолжать - да, могут забанить. Несколько раз я случайно получал сиськи, но репортил их, так что пока жив. Но рисковать доступом к бете нет желания.
clif08 clif08 15.08.202215:34 ответить ссылка 1.3
Кошкодевочка без сисек? Или тогда можно ролучить только сиськи, без кошко и девочек?

А оно умеет рисовать животных?
Животных редко запрашивают, сам не пробовал, но котиков точно умеет. Видел быков, свиней и медведей, в общем должно быть норм, хотя скорее всего не так хорошо как людей.

Вот свежесгенерированный пёсель.
'Л л
		
		JB
4- v> Jjv ^L, , -Щя	^ á 1уЧ	s ♦ * « U jri
J *41 S#	ШИ ^ Ш W
clif08 clif08 15.08.202215:40 ответить ссылка 6.5
Прям на собаку похоже. А фурри в одежде - тоже бан?
Оно обучается на артах и часть артов попались с сиськами!? Откуда она умеет в сиськи?
Насколько я понимаю - да, в датасете были сиськи. Не только арты, но и фото.
clif08 clif08 15.08.202216:02 ответить ссылка 0.7
Есть мнение, что в сете были античные Афродиты
26994 26994 14.09.202209:29 ответить ссылка 0.0
Там датасет на 2 лярда изображений отобранных из 5 лярдов. Там дохера всего. Я видел как люди не только сиськи, но и гачимучевские шланги генерели.
Inkor Inkor 15.08.202216:07 ответить ссылка 1.8
А где достать 5кк изображений с подробным описанием изображения?
Скрипты, парсинг, поиск по всему интернету и другая нейронная сетка сопоставляются похожесть текста и картинки https://laion.ai/blog/laion-5b/
Inkor Inkor 15.08.202216:35 ответить ссылка 0.6
5 миллионов фоток и артов хуёв, пёзд, жоп и сисек!!!
Billion - миллиард. 5 лярдов.
Получается фотки пёздохуёв почти всего населения Земли
Сука, как живой, но не живой.
WanNoa WanNoa 15.08.202215:54 ответить ссылка 0.6
Какой запрос был? Большинство изображений - практически Акиьа-Ину.
!dream Shiba inu dog, photo, medium shot, natural lighting, photography, high quality, -n9 -g -S 1588086530
clif08 clif08 15.08.202216:54 ответить ссылка 0.6
Ну хз. Я сисек много сгенерил, но мне не прилетало, но я и нигде не заказывал прямо сиськи, кроме разве что того, что юзал художников склонных к ню.
Вот мой результат
Inkor Inkor 15.08.202215:43 ответить ссылка 12.7
Вот еще
Inkor Inkor 15.08.202215:49 ответить ссылка 10.4
А там нельзя как в Midjourney вес слов уменьшить. Поставить сиськам 0.001 и получить плоских неко-тян.
grixa grixa 16.08.202204:09 ответить ссылка 0.0
kosoi kosoi 15.08.202215:45 ответить ссылка 11.0
На всякий случай уточню, что это другая сеть - Midjourney.
Её я тоже слегка пощупал, когда давали 25 бесплатных запросов, но это очень мало.
clif08 clif08 15.08.202216:09 ответить ссылка 0.7
Вот Midjourney случайно получилась - https://joyreactor.cc/post/5282440#comment26062798
joytt joytt 15.08.202221:29 ответить ссылка 0.0
И ни одного арта с сиськами не принес, ну как так-то.
ivdos ivdos 15.08.202215:08 ответить ссылка 5.7
Получите-распишитесь.
clif08 clif08 15.08.202215:16 ответить ссылка 5.0
Какие же это "сиськи"? Это "грудь". Можно сказать другая концепция и тег... Даже машина такое должна понимать*.
Представляю как горел бы пердак у художника-консерватора Миядзаки если эму бы показывали это
Представил себе эту презентацию.
За столом сидит Миядзаки. Несколько страусов Эму совещаются между собой с чего начать показ, после чего на стене появляется первый слайд, сгенерированный нейронкой. Белые волосы Миядзаки седеют ещё больше, его зрачки расширяются.. Эму замечают его реакцию и показывают следующее изображение.. Миядзаки хватается за грудь и падает со стула.
Кто ж знал, что ходячий замок может иметь бюст третьего размера?
Ходячий замок с сиськами... Хмммм...
У меня есть идея для рекламного ролика вашей компании: Мы видим как мультипликатор рисует чудесный высокодетализированный фон. А потом появляется робот и делает это вдвое быстрее и вдвое красивее. И тут надпись на экране: «USR — смешаем с дерьмом людей». И уход в затемнение.
Блин. Я первый был. Но видимо какие-то не те тэги проставил.
https://joyreactor.cc/post/5297696
Inkor Inkor 15.08.202215:33 ответить ссылка 2.4
Я скопировал теги с твоего поста) Только артовые решил не проставлять, чтобы не влезать в дискуссию, считаются нейрокартинки артом или нет.
clif08 clif08 15.08.202216:08 ответить ссылка 0.6
Оно автоматически проставилось из-за art девушка, которую я проставил из-за парочки ню генераций. Видимо надо было nsfw.
Inkor Inkor 15.08.202216:14 ответить ссылка 0.6
Спасибо за сгенереных тяночек, сохранил.
>В конечном итоге они обещают выложить модель и веса в открытый доступ, бесплатно.

А, вот, это они молодцы! А то та же OpenAI какая то совсем не open, да и остальные тоже.
Да, так что держим пальцы крестиком. Но они вроде как уже раздали модель исследователям (на их сайте можно заполнить форму для доступа), так что есть все шансы.
clif08 clif08 15.08.202215:41 ответить ссылка 1.3
А она будет учиться по ходу того, как орды народу начнут ее насиловать как только мнжно?
Не. Сетки доучивают обычно в ручную. Только обучение с подкреплением и работает и учится одновременно, но его для других вещей используют.
Inkor Inkor 15.08.202216:24 ответить ссылка 1.9
Я не знаю, насколько бета-тест используется в обучении и зачем он в принципе им нужен. Знаю только, что они планируют обучать дополнительные модели. Может, бета показывает, чего в датасете не хватает, например, сеть отлично рисует фотореализм, а вот аниме, комиксы и мультфильмы весьма скверно.
clif08 clif08 15.08.202216:25 ответить ссылка 1.7
Хм, хмм. Да она лучше чем MidJourney который я испробовал вдоль в впоперек.

Хочу увидеть баттл нейросетей!
someB0dy someB0dy 15.08.202216:38 ответить ссылка 1.1
Требуем семплы сисек! Исключительно для исследовательских целей
	111 II		11 1 1
	1 1		
Ill 1			1
H 1			1
В предыдущем посте по тегу есть примеры
https://joyreactor.cc/post/5297696
clif08 clif08 15.08.202216:57 ответить ссылка 1.2
Вот тебе из моих запасов в разных стилях
Inkor Inkor 15.08.202220:45 ответить ссылка 4.1
Inkor Inkor 15.08.202220:46 ответить ссылка 4.1
Inkor Inkor 15.08.202220:47 ответить ссылка 4.6
Inkor Inkor 15.08.202220:49 ответить ссылка 4.0
Inkor Inkor 15.08.202221:04 ответить ссылка 3.5
Inkor Inkor 15.08.202221:05 ответить ссылка 3.7
А теперь покажи коллекцию фотографий по которой обучалась нейронная сеть.
Cupoma Cupoma 16.08.202211:23 ответить ссылка 2.7
БАН! БАН! БАН-БАН!!!
26994 26994 14.09.202209:30 ответить ссылка 0.0
А если совместить стиль Хаяо Миядзаки и Морровинд?
Не очень похоже, но для первого раза норм. Обычно чтобы получить что-то годное нужно немало попыток.
	л		14
clif08 clif08 15.08.202217:45 ответить ссылка 3.0
По графону напоминает Two Worlds или Обливион. Но выглядят сасно. Спасибо большое. Надеюсь на такой же контент
íiJHnffd						
■ ’■HlMíllí	MilŒîEiffiîl	|уГ!|у	j j ■' m mI Ti I	МВЯмм	III II MI Vi Л	ДдЦЩ1 га
douosadm douosadm 15.08.202218:09 ответить ссылка 7.1
Забыл подписать: Пока все просили у автора поста ролл с сисками и кошкодевочками, я, в фотошопе решил пофантазировать как будет выглядить афиша экранизации Metal Gear и представленными актёрами...
Неплохо) Правда там не Тоби, там Дэниэл Рэдклифф. Ну во всяком случае запрос бы на него, вот ещё одна его вариация
clif08 clif08 15.08.202218:15 ответить ссылка 1.5
И поскольку дискорд СД почему-то сходил с ума по Эмме Уотсон, то ещё она.
clif08 clif08 15.08.202218:18 ответить ссылка 2.0
Эмма Уотсон, в таком образе, может пойти на роль Мерил Сильвербёрг. Правда я не думаю что её бы утвердили на эту роль.
сбросит хоркрукс в Ородруин, или умрёт пытаясь
Iruka Iruka 15.08.202218:48 ответить ссылка 3.2
Офигенно, выйдет в открытый буду игратся до посинения, а щас миджорней домучал по стандартной. Фиговая новость увы в том что оно в аниме слабо может, но по генережке пейзажей, руин, палацов и прочая оно дает офигенные результаты.
Разумеется что интересно. Кидай все сюда!
Только зарегистрированные и активированные пользователи могут добавлять комментарии.
Похожие темы

Похожие посты