Нее, ты просто сохранял страницы в базу как текст? Я хочу нормальную страктуру данных, таблица комментов, постов, лойсов, авторов, все даты, дерево комментов, все теги. Ну то есть чтобы это была полноценная база данных, где можно селекать по типу "Количество постов с +10 лайками каждую пятницу с 12:00 до 20:00" или "Итоговый рейтинг комметов аккаунта за всю историю".

Всё разбанили! Спасибо nginx или обмины

Я кстати тоже хотел взять монгу, но не работал с ней, не знаю, как будут работать запросы, поэтому сейчас основной кандидат это постгрес, хотя оптимальнее всего с ввиду низкого количества инсертов тупо sqlite и шарить легко.

>> так что больше 50-100 не ставь.
Бан прилетел с 64 потоков с одной машины.
>> есть базы халявных проксей, отдают json, ставь таймаут на ip ~300мс, включая время запроса - будет 400+, то есть не больше двух запросов в секунду с адреса. где-то тыщь по 6, если фильтровать по приемлемой задержке - штук 200 живых и нормальных можно собрать.
Что за прокси такие? Ты имеешь ввиду, что бесплатно имеют json API для проксирования запросов?
>> и потом нормальными проксями обходишь.
Надо еще затариться платной пачкой прокси?
>> 512-1024 потоков перегружают его
Ты имеешь ввиду обычные HTTP запросы в секунду к вебу?
>> на контент ддос фильтр не стоит, можно перебрать тоже инкрементом http://img1.reactor.cc/pics/post/full/-{id}.jpeg
Его еще надо где-то хранить, я думаю если активно что-то качать то и я и реактор разоримся на трафике
>> скорей всего это связано с тем, что если идешь по начальным постам, то загружая ими выбиваешь из кеша новые, к которым наибольшее обращение
Мне кажется, что просто кэшируются только свежие/горячие посты, какой смысл кэшировать всё подряд?
>> удачи) и не насилуй личный впн, а то улетит в бан навсегда.
Я до этого парсил всякие штуки и никаких намеков на баны, а тут судя по тому что ты пишешь нужна целая инфраструктура =( Может дело не в трафике и не нагрузке, а в опасениях обминов, что будут обходить рекламу и всякое такое?
В любом случае спасибо за подробный разбор.

Я физически не могу нанести какой-либо вред реактору, у меня просто нет такого мощного канала. Я гружу только текст, он ничего не весит и не создает высокой нагрузки на сервера и не создает расходов на траффик, контент я не выкачивал. Суть в том, что превысил какой-то лимит запросов в секунду и попал под автобан, он само собой нужен против дудосеров, но опять же какой дудос со 100мбит/с? Там по факту от силы 1-3мбит/с и может 20-30 запросов в секунду. Профессионалы один хрен берут оптом пачку VPS и аккуратно размазывают запросы по разным машинам, чтобы фильтры обходить. Мне это честно говоря делать влом, плюс стоит денег плюс я не пытаюсь получить инфу любой ценой и не хочу ссориться с обминами.

В деливери, с порнокодами еще и скидка 300-400р + кэшбек от банка 5% в нужной категории.

У нас основной стихийный рынок это алконавты и бомжи продают ворованные вещи и всякую хуиты типо поломанных аудикассет, порванных книг и ржавых отверток. Это при том, что в том районе было гетто, сделали норм, плитку положили, лавочки поставили, но эти бомжи опять там стали появляться - грязь, вонь, невозможно пройти. И люди топят за них, типо им же надо как-то жить! А потом удивляемся, почему у нас кругом такой срач. Кто хочет торговать - есть организованные рынки, там те же самые колхозники, но вот так чтобы как у меня сейчас каждое утро в 7-8 утра мужик орет как петух в деревни "огурцы-помидоры", а потом ему в ответ орут, что шел нахуй отсюда. Но нет, полторы бабульки выбегает купить овощей, а он с этого живет.

Типо того, сколько цивилизацию не навязывают, у нас люди все равно активно защищают бомжей, стихийные уебищные рынки с кучей грязи и притоны для алкашей и наркоманов на полной серьезе, без капли стеба.

Ты видел как ездят в Ростове? У нас тут каждый второй без прав, без номеров, с перевертышами, блатной, просто отбитый. Чуть что все сразу уебывают от мусоров. Если кто кого подрезал, могут прямо на дороге выяснить отношения с помощью стволов и бит. И хуй все клали на запрет парковки, снял номер/завесил и похуй, что там эвакуатор две машины в час? А тут целая улица запаркована, одну увезли еще две приехало) На штрафы людям тоже глубоко похую, половина их принципиально не платит. У всех всё заебись, кто наглее, богачее и блатнее ездит быстро, остальные стоят в пробках.

Тут бы такое не прокатило, мало того что хуево так делать, так бабки житья не дали.