art Рейтинг в сообществе: 1 581.3 (за неделю +30.4) | |
арт барышня Рейтинг в сообществе: 534.7 (за неделю +18.7) | |
красивые картинки Рейтинг в сообществе: 48.7 | |
Арт-клуб Рейтинг в сообществе: 30.2 | |
Каляки-Маляки Рейтинг в сообществе: 27.2 | |
секретные разделы Рейтинг в сообществе: 11.3 | |
Anime Рейтинг в сообществе: 4.8 | |
Fallout Рейтинг в сообществе: 2.3 | |
Porn Art Рейтинг в сообществе: 2.2 | |
Игры Рейтинг в сообществе: 2.0 |
Постов: 296
- хороших: 271
- лучших: 239
Комментариев: 809
Получилось как то так. Т.е. около 250 гиг . База конечно значительно меньше, смысла хранить при рабочем алгоритме все изображения нет. Обработано было 221046 страниц бездны. Без секретных. Изображения хранил конечно только для того чтобы если что не перекачивать все заново, а перехешировать существующее т.к. алгоритм еще не был протестирован. Гифки не хранил, это еще + столько же пространства если не больше вышло бы.
Вообще проект был больше ориентирован на поиск по цвету, там еще несколько доп полей в базе для этих целей, так что размеры базы для поисковика по хешу еще меньше 4 гиг бы вышли. И да с оптимизацией так и не смог нормально совладать. Если поиск совпадений хешей нормально отрабатывает по скорости то поиск по цветовой палитре при 2 млн. изображений уже подвисает, нужно перерабатывать индексацию \ обращения к базе, ну это уже не важно.