нейронные сети

Персонажи Ведьмака обработанные нейросетью

Персонажи Skyrim, сгенерированные с помощью AI

Вдохновившись данным постом, решил попробовать сгенерировать лица персонажам Скайрима. Вот что из этого получилось:

Лидия

Генерал Туллий, военный наместник 

Ралоф из Ривервуда

Любой желающий может попробовать нейросеть сам по этой ссылке.

Всем привет, разрабатываю сейчас нейросеть, но не хватает знаний и навыков. Пишу на python c tf.keras, модель Sequential

Пытаюсь воспроизвести классическую задачу переноса стиля, с некоторыми доп. параметрами.

Конкретнее, на входе я подаю маленькие кусочки большого изображения + позиция изображения на большой картинке + миниатюра большого изображения. На выходе у меня этот же кусочек изображения. Обучаю на 30 больших изображениях.

С изображением небольшого размера (32х32) всё работает отлично, со значением inner_layers = 3 через 500 эпох я получаю более менее приемлемое изображение: 

Но вот с 400х300 изображение уходит в loss = 0.009 а предсказания показывают только градиенты. 

- learning rate пробовал уменьшать, без результатов.

- изменение loss function на CategoricalCrossentropy "ломает" модель,  loss поднимается до 2000, а предсказания - статичная картинка

- аналогично ломается модель, если изменить функцию активации слоёв с relu на sigmoid. Хотя, если не ошибаюсь, то установка друг за другом нескольких relu слоёв одинаковой длины - должна быть бессмысленной.

inner_layers = 9

model = models.Sequential()

model.add(layers.Dense(input_size, input_dim=input_size))

for i in range(inner_layers):

      model.add(layers.Dense(input_size,      activation='relu'))

model.add(layers.Dense(int(output_size/8), activation='relu'))

for i in range(inner_layers):

      model.add(layers.Dense(output_size,      activation='relu'))   

model.add(layers.Dense(output_size,       activation='linear'))

model.compile(loss='MeanAbsoluteError')

Приму любые советы, как можно улучшить модель или даже какую архитектуру стоит использовать. 

Пробовал так же использовать CNN, но я не знаю, как во входные данные дать ему доп. параметры, кроме самого изображения.

Использовать RNN было бы тоже логично, но не совсем понятно, как организовать использование двумерной памяти, чтобы картинка ориентировалась не только на картинку "слева", но и "сверху".

Так же, понятно, что можно использовать готовое решение а-ля это, но там используется не Keras, и к такой реализации я пока не готов. 

P.S. кроме этого часть входа с кусочками изображения я заменяю пустым значением, чтобы нейросеть не училась воспроизводить изображение по нему 1 к 1, а ориентировалась на миниатюру и позицию. Но здесь, кажется, тоже не все так гладко.

Artflow

Сейчас наткнулся, на задворках нета, на интересную нейросеть - Artflow. Она создаёт изображения людей, основываясь на текстовом описании. Как по мне, достаточно достоверно, что очень удивляет.

ссыль - https://artflow.ai/

К недостаткам можно отнести большое время создания изображения, что сейчас достигает 140 минут, иначе говоря, пропорционально популярности, учитывая ограниченные вычислительные ресурсы проекта.

Вот мои примеры:

Новое развлечение для реактора подъехало:

Балабоба демонстрирует, как с помощью нейросетей семейства YaLM можно продолжать тексты на любую тему, сохраняя связность и заданный стиль. Здесь эти нейросети используются для развлечения, но разрабатывались они для серьёзных задач — об этом можно почитать тут.

У Балабобы нет своего мнения или знания. Он умеет только подражать — писать тексты так, чтобы они были максимально похожи на реальные тексты из интернета.

https://yandex.ru/lab/yalm

«Известный экономист, по призванию своему — библиотекарь. В народе — колхозник. В магазине — продавец. В экономике, так сказать, необходим»

«Деньги на ветер, смело рекомендую»: нейросеть «Яндекса» теперь пишет отзывы на товары — получается очень противоречиво. Нейронка составляет краткий текст из комментариев разных пользователей и порой это приводит к абсурдным обзорам вроде «крутая мышь, в первую очередь — кусок мусора»