Расширение для сохранения картинок из закладок пользователя и тегов, добавления комментов в закладки
Изначально расширение писал, чтобы была возможность сейвить в закладки комменты, ну и постепенно дополнял функционал время от времени штуками которые были мне нужны. На данный момент основной функционал
- Сохранение постов и комментариев в локальное хранилище закладок
- Раздел на сайте с альтернативным каталогом этих сохраненных закладок
- Скачивание списка закладок любого пользователя или списка постов из определенного тега на сайте в профиль данных (впоследствии можно скачать их себе в качестве списка ссылок на изображения и гифки или сами медиа данные).
Установить можно через страницу расширения
Chrome - https://chrome.google.com/webstore/detail/kellyc-favorites/mbhkdmjolnhcppnkldbdfaomeabjiofm
Opera * - https://addons.opera.com/ru/extensions/details/kellyc-favorites/
Firefox - https://addons.mozilla.org/ru/firefox/addon/kellyc-favorites/
Исходники и документация - https://github.com/NC22/KellyCFavorites в разделе Wiki есть краткая инструкция по сборке (см. раздел "тех. док. Общее")
Несколько скриншотов интерфейса, на домене old. отличается незначительно
Закладки добавленные через расширение отображаются таким списком (список открывается по ярлыку дискеты сверху), на скрине выбран режим скачивания картинок
Менеджер данных - здесь можно переключатся между списками закладок собранными из отдельных тегов, пользователей, комбинировать отфильтрованные списки между собой и т.д.
Интерфейс добавления публикаций в закладки вручную
Общий порядок сохранения картинок из "Закладок" любого пользователя или тега приведен на картинке здесь
Еще несколько моментов которые стоит указать сразу
- Список разрешений и то, зачем они требуются расширению подробно описан здесь
- Не злоупотребляйте изменением настроек таймаутов влияющих на скорость загрузки дабы не создавать спам запросами. В лучшем случае вас просто забанят на несколько часов. По этому не вижу смысла что-то излишне перекручивать. По той же причине на мой взгляд лучше не выполняйте параллельно каких-либо обращений с того же IP если у вас уже запущен процесс сбора данных, это нарушит тайминги.
- Расширение протестировано на основных доменах доступных всем пользователям - joyreactor.cc \ old.reactor.cc \ safereactor.cc \ reactor.cc. Активируется так же на jr-proxy.com, но вероятнее всего может работать там некорректно (нет доступа, хост отвечает значительно медленней). Другие зеркала не поддерживаются дабы исключить секретные разделы при модерации в оф. магазинах расширений.
- Поддержка расширения ведется через страницу https://github.com/NC22/KellyCFavorites/issues о найденных проблемах можно писать туда
* Версия для Opera давно не обновлялась по причине длительного рассмотрения новых версий (модерация занимает 4-8 месяцев) со стороны администрации их магазина приложений. Размещенной там версии уже больше года и было внесено довольно много изменений с тех пор. По этому желательно использовать версию из магазина Chrome (через расширение "Install Chrome Extensions")
Подробнее
Настройки #132-#139 П40-П49 #150 а - Категории - Анимаи Загрузки *ия 61Р Сбросить 1огика И Комменты Публикации N51^ монстродевочки файтинги Рисунки Музыка мсоветы Палитры Девушки коты разные стили Анатомия Свет Ножки 3с1 Комиксы архитектура транспорт ЫЪРМ Основная директория ]оугеас1оШо'л/п1оа<3$ Элементы 1-2, 44-823, 1-999... ® Оригинал О Превью Показать расширенные настройки Начать выгрузку Скачать как список ссылок
Новое (+9103) Хорошее Лучшее (+9) [Щ| Настройки Бездна Основные настройки Профили Остальное Тип хранения данных: Localstorage Тип хранения менять только при необходимости. При изменении типа хранения данных данные будут считываться из другого места, соответственно текущий список профилей будет скрыт Добавить новый профиль Загрузить из файла Идентификатор профиля (только символы A-Z, 1-9, J Отмена, если уже существует Дополнить если существует (beta) СОЗДАТЬ Управление профилями Выберите файл Файл не выбран custom data О Общий размер данных: 1850.98кб Для выбранного типа хранения данных Ооса^о^е) общий размер используемых данных ограничен и в общем случае не должен быть больше 4мб. По достежению лимита данные будут доступны только для чтения. bad_props 25.00кб Скачать Выбрать cats 49.06кб Скачать Выбрать clean_demo 49.10кб Скачать Выбрать clean_demo_plus 817.81кб Скачать Выбрать ЮМОР . мысли птаТИПИЛ . -mm n't- & гифки + подписаться + подписаться видео + подписаться story + подписаться етр 0.21кб Скачать Выбрать ОСНОВНЫЕ РАЗДЕЛЫ
Скрыть превью Закрыть I V КОММЕНТАРИИ 4 16.Mar.2019 16:59 удалить из избранного ссылка скрыть 26.0 Своя заметка Сохранить О Рисунки О Уот Публикация добавлена в избранное Новая категория Создать категорию добрить тдги Хочу такой пазл. На тысячу-полторы деталей. ^ кеу£5 16.Маг.2019 20:28 ответить V ссылка И в избранное 0.3
реактор,userscript,kellyCFavorites,KellyC
сам список под расширение чтобы по одной не кидать https://yadi.sk/d/0fSAT2gDYcGlNw
все картинки со скриншота на второй странице
напрямую в секретиках не пляшет (
а вот просто открыв фапреактор увидел что там уже не пашет
Я не шучу.
При тестировании кстати замечал, что некоторые пользователи как то умудряются обнулить весь список спустя время (руками или нет но бывало пропадали сотни страниц)
может, в настройках сделать редактируемый список доменов?
мы похожее обсуждали - как сделать мобильную аппку для e621, чтоб она попала в гугл-плей и аппстор. решили, что можно аппку сделать на какой-то левый малопосещаемый сайт с минимумом легального контента, но с той же самой API, а в настройках приложения каким-либо образом давать возможность изменить домен.
А это можно где то в браузере настроить? Даже в localStorage есть разночтения (не везде ровно 4мб). Если это действительно так просто и безопасно контролировать, то ограничение можно будет снять. Когда касался контроля unlimitedStorage эти настройки не увидел.
А качаются они с желтой херней джоя снизу, или без нее?
почти. Процесс поэтапный (см. "Общий порядок сохранения картинок" в посте) 1. Расширение формирует список ссылок на картинки. 2. Ты делаешь со списком, что посчитаешь нужным. (скачиваешь через расширение или просто скачиваешь список ссылок для дальнейшей работы)
Через расширение качаются без желтой плашки (только если ты картинку предварительно где-то специально откроешь вне сайта - она может закешироваться с плашкой).
#6341 - Ошибка загрузки : DATA ARRAY get fail. Error code : 503 | error message : Service Temporarily Unavailable
#6336 - Ошибка загрузки : DATA ARRAY get fail. Error code : 503 | error message : Service Temporarily Unavailable
т.е. перекачать заново - это придется качать весь массив, при этом хоть галочка "проверять скачанное по загрузкам" и стоит - все равно уходит много времени (таймаут между запросами). Как вообще формируется этот айди?
ага, это просто номера элементов в текущей выборке. Сервера картинок иногда отбивают ошибки, лимиты подкрутили где-то с год назад, раньше и в 2-3 потока качал стабильно, одно время даже просто на страницах сайта не всегда картинки корректно открывались из за лимитов. Чтобы пройтись по тем на которых были ошибки можно их просто в диапазон подставить, он их заново попробует перекачать.
> Возможно дело в инвертированной нумерации, т.е. у меня более новые меют бОльший номер, тогда 620-7655 - это с первой на странице по 620-ю с конца
пробовал и такой вариант. Единственное у меня нумерация от 10800 но пробовал подставлять разные диапазоны. Возможно именно порядок действий был определенный
тестирование с 6к изображений
время выполнения - 1ч 45м, данные - 5,67 ГБ, 6 206 файлов, 4 потока, 14 ошибок запроса (4 изображения были удалены \ сервер изображений был временно не доступен)
само расширение https://github.com/NC22/JRFavRemove/archive/master.zip
загугли как устанавливать распакованные расширения под свой браузер (установка таких расширений в Chrome выполняется через меню - Дополнительный инструменты - Расширения - Загрузить распакованное расширение - выбрать папку с распакованным расширением), как закончит работу его можно просто удалить.
Просто чего мне не хватает от имеющегося на сайте избранного — это списка тегов. Вот у меня в избранном 1300+ страниц, т.е. 13 000+ постов сохранено (за восемь-то с лишним лет). Я понятия не имею, какие там есть теги, не считая самых частоиспользуемых, типа «Порно». Например, не имею понятия, что есть интересного наподобие «Реактор образовательный». Может быть, затесалась картинка-другая с тегом «Наука»? А может быть, какие-то более конкретные теги, типа «Химия», «Физика», «Астрономия»? Ну и так далее. Так вот, вопрос: можно ли это расширение натравить на моё «Избранное», чтобы оно составило список имеющихся у меня тегов и в будущем отображало его?
Верно. Само локальное хранилище достаточно простое - метки по аналогии как на пиксиве - каждой закладке (пост\комент) можно присвоить несколько меток например "Наука" + "Химия" без древовидности (отображаются для фильтрации как на первой картинке в посте)
При сборе данных можно указать какие теги реактора переносить и соответственно ими же автоматически будет маркировать перенесенные посты в локальный вариант (все теги подряд при таком отображении создавать конечно не вариант - за столько страниц не одна сотня тысяч тегов наберется), ну и можно прописать так же исключения при обработке. На сколько целесообразно хранить единовременно локально большие объемы данных уже на свое усмотрение - через режим загрузки можно разбить профиль на несколько кусков и переключатся между ними при необходимости.
По этому описанию выглядит так, что я могу, например, натравить его и сказать: скачай из моего избранного все посты с тегом «Наука» — и оно все скачанные посты промаркирует ТОЛЬКО тегом «Наука», проигнорировав, что у каждого из постов кроме этого тега будет ещё сколько-то разных.
Вечная проблема плюшкиных вроде меня: без МОЩНОГО каталогизатора хрен найдёшь что-то конкретное, что — точно помнишь — сохранял же, и хрен вспомнишь, что вообще сохранял.
если ты их зарание не пропишешь то да увы проскипает. В целом у тебя останется возможность скрыть все посты с " порно" \ "наукой" и пройтись по тому что осталось. (мб на реакторе есть такая возможность в поиске, но я не нашел) Ну и в целом процесс листания возможно чуть поудобней должен быть за счет настройки отображения кол-ва на страницу и самой сетки.
И останется избранное вменяемых размеров.
Вот как раз это я тоже искал и тоже не нашёл. Потому что именно порно у меня там гораздо больше половины, и без него (и ещё нескольких самых используемых тегов) осталось бы избранное вменяемых размеров.
Так-то, если бы я изначально с помощью подобного расширения избранное вёл, было б классно. Всё-таки, помимо прочего, у большинства постов куча лишних мусорных тегов. А тут можно было бы организовать удобную именно мне категоризацию… Но 13000 постов…
Ладно, спасибо. Это не то, что мне нужно, но буду иметь в виду, как-нибудь поэкспериментирую и, может, чего и получится.
Установил расширение, добавил "в избранное" нужные пикчи (в общую категорию), а дальше что? Жму "загрузки ->началь выгрузку" - выдаёт одни ошибки.
Можно мне по пунктам расписать, че куда и как тыкать, чтобы всё моё барахло скачалось в какую нить папочку.
> Можно мне по пунктам расписать
Вот пример выгрузки пары сотен картинок в хроме для теста https://yadi.sk/i/6RpYTfIkN-LYiA
настройки на которые следует обратить внимание показаны в первые 20 сек. далее просто монотонное скачивание.
"#1 - Ошибка загрузки : DATA ARRAY get fail. Error code : -1 | error message : check connection or domain mismatch (Access-Control-Allow-Origin header) | input url http://img1.joyreactor.cc/pics/post/full/%D0%B3%D0%B8%D1%84%D0%BA%D0%B8-%D0%B2%D1%81%D1%91-%D1%85%D0%BE%D1%80%D0%BE%D1%88%D0%BE-5719953.gif"
Сейчас буду смотреть видео, глядишь получится чего.
В лс кинул логи.
Попробовал через лису скачать, на которой никаких расширений нет (мало ли) - то же самое. Ошибки выдаёт.
Если используется joyreactor.cc все еще что-то принципиально отличается. Может есть какие-то глобальные перенаправления которые влияют при обращении с твоей стороны. Просто если браузер видит разночтения в хосте картинки и хосте с которого отправляется запрос (протокол соединения тоже важен) то он блочит соединение расширения т.к. оно нарушает безопасность.
Чтобы проверить в чем причина, можно открыть консоль браузера в процессе загрузки (Ctrl + Shift + I) - и проверить вкладки Console \ Network (в нетворке кликнуть на один из красных элементов) - желательно в хроме с настройками blob url \ прямой запрос.
Но если лень разбираться просто скачай сам список ссылок и подсунь его какой-нибудь специализированной качалке (правда в таком случае качалка вероятнее всего не будет вырезать копирайты реактора на что здесь и сделан расчет)
или порядок действий картинкой здесь
Файлы при этом касаются корректно, последовательно. Но имена - случайный набор букв.
И самое главное что началось это не после того как я что-то поменял, но а прямо в середине выкачки.
https://kellydownloader.com/ru/links/issues/
"Если расширение работает, но не скачивает автоматически файлы или не скачивает вообще"
ну и напиши чего за браузер, и менял ли какие штатные настройки что он так у тебя по умолчанию работает т.к. в хроме \ ff ничего такого по умолчанию нет