Xrumer - Выжимаем максимум из сырых баз ссылок с форумами

Forum Library

Professional
Messages
1,168
Reputation
195
Reaction score
479
Points
83
Из этого урока мы научимся извлекать максимум полезных ссылок, при прогоне по сырым базам ссылок с форумами.

По многочисленным просьбам расписал несколько моментов по работе с сырыми базами форумов.
Из за чего появился ЦЕЛЫЙ УРОК... Так же сапорт не много подкорректировал, за что ему спасибо...
Обработка базы:
Итак, перед тем как начать урок, давайте сперва подготовим базу к прогону, для этого нужно сделать следующее:
1). Перемешать как следует, сделать это нужно для того, чтобы прогон получился как можно равномернее, как для
скорости прогона базы, так и для нагрузки на процессор и другие составляющие, что тоже не мало важно, сделать это можно например этой прогой http://newox.ru/kwk.php. Этой же прогой можно и обьеденить базы, если у вас их несколько...
2). После перемешивания, необходимо зайти во вкладку инструменты и произвести пост-обработку ссылок, для этого
во вкладке настройки, настройки инструментов, в колонке: Пост-обработка ссылок, должна стоять галка: приводить ссылки форумов к индексу.
3). Вкладка инструменты, нажимаем: удалить повторные ссылки, после присваиваем ей имя LinksList id**, ложим в папку links которая есть в директории программы и открываем указав её номер базы ссылок... Для удобства можно сделать метку базе, открываем базу в любом редакторе и в самом верху ссылок, первой строкой, вставляем строчку например: #сырая_база_форумов_от_xokins`a сохраняем, жмём на вкладку "база ссылок", "подробности"...

О режимах работы:
Далее, хотел бы рассказать о режимах, с которыми все так любят работать. Для этого переходим во вкладку настройки, дополнительные настройки:
1). Режим, который установлен по умолчанию - Дефолтный режим, когда не стоят галки указывающие на тип планируемой работы, это означает, что в данном режиме программа сначала попытается произвести постинг от гостя, если это возможно на ресурсе, а если постинг разрешен только зарегистрированным, пойдет регистроваться и затем уже постить... Данный режим подходит больше для смешанных баз, приемущественно гостевых итд... Нам он не подойдёт...
2). "Обязательная регистрация + постинг". Многие совершают нелепую ошибку включая этот режим. В отличии от первого, здесь программа пытается зарегистрироваться везде, тем самым лишая возможности произвести пост туда, где регистрация непредусмотрена и вовсе. А так как большинство пробиваемых форумов запрещает создавать тему новым зареганным, без ручной проверки профиля, либо ставится лимит по времени - сутки и более, и подобные им ухищрения, данный режим очень проблематично приминять для форумов. А вот для других целей, просто необходим... Больше подходит для специфических баз, как например возможность отредактировать свои посты, если рассылать по Е-базе...
3). "Только регистрация (без постинга текста)". Дружит в паре ещё с одним режимом, только последовательно: "Рассылка от ранее зарегистрированного пользователя". В данном режиме производится только регистрация. Самый скоростной и полезный режим из всех, хорошо подходит для форумов и предворительной регистрации на них... Всем известно, что после выхода хрумера, практически все форумы ввели обязательную регистрацию, активацию по имейлу, ограничение на создание профиля, где регистрацию подтверждает сам адимистратор в ручную, после проверки вашего аккаунта...
4). "Рассылка от ранее зарегистрированного пользователя". Запускать следует только после предворительной регистрации созданной в режиме: "Только регистрация (без постинга текста)". Бое-Комплект из 3). + 4). пунктов идеально подходят для обхода ограничений, с которыми все сталкиваются используя другие режимы в работе с программой. Очень часто создать топик не удаётся именно из-за неподтверждённой, вашей учётной записи администратором... Поэтому предворительно регистрируясь, мы даём им N-кол-во времени на это дело... Следует учесть, что при регистрации необходимо не ставить ни каких ссылок, что бы при проверке, это не вызывало ни каких подозрений у админов, что учётная запись была созданна спам-ботом или хрумером. В противном случае, при рассылке многие аакаунты будут удалены администраторами форумов...

Выбор режима:
Теперь мы уяснили, что для максимальной отдачи от форумов, нам нужно задействовать два режима:
3). "Только регистрация (без постинга текста)"
+
4). "Рассылка от ранее зарегистрированного пользователя".
Перед началом работы ещё давайте зайдём
во вкладку: настройки, скорость <----> пробиваемость и сдвинем ползунок вправо, до упора... Теперь программа будет пытаться максимальное кол-во раз, распознать тот или иной пиктокод, скорость упадёт не значительно, так как базу мы перемешали... Не следует выставлять значения выше, чем они выставленны, это может снизить пробив и дезориентировать логику программы. Так же для увеличения пробива можно использывать внешние источники, такие как самообучение, сервисы автораспознования капч и ручной режим, подробнее в топиках:

Почтовый сервер:
Я настоятельно рекомендую использовать почтовый сервис gmail.com, на данный момент его можно регистрировать руками, но если не выходит, купить. На почте Gmail создайте фильтр: в поле "не содержит", впишите любую аброкарябру (латынь) и поставьте галку, в спам не отправлять... Настройки: Пересылка и POP/IMAP, когда письмо загружается с помощью РОР, ставим сохранить архивную копию в Gmail и включаем POP.
Вкладка в хрумере: настройка, Активация профайлов по e-mail, переодичность
проверки почты, ставим "0". Почтовый серевер настроен. Бывают и случаи блокировки почтовых ящиков, поэтому раз в 5-6 часов желательно проверить ящик руками и, если требуется, ввести каптчу...

Создаём проект:
В проекте НЕ заполяем следующие поля: Домашняя страница и подпись. Эти два поля обычно влияют на дальнейший апрув ваших регистраций.
Ник - #gennick[*****], для всех остальных полей поставим макросы на подобие
#file_links[С:\xrumer\ваши_варианты.txt,1,NP] - который последовательно перебирает ваши варианты начиная с рандомной строки. Макрос так же ставим и в тему, в описание и в поле проекта, проверяем кнопкой "тест" в проекте, сохраняем. Проект готов...

Анонимность:
Открываем вкладку настройки, дополнительные настройки, в левой колонке ставим только эту галку: Только регистрация (без постинга текста), автопродолжение, остальные убираем, в правой: ставим автозапуск при входе, отключить логотип программы, сохраняем...
Запускаем, вкладка настройки, настройка проверки прокси-серверов, здесь ставим соксы и ссылку на http://botmasternet.com/proxy/socks/engine.php, таймаут и кол-во потоков оставим по умолчанию.
Обновлять каждые 24 час. Вкладка анонимность, обновляем... Выставляем кол-во потоков в зависимости от канала, для 1 мб равен 10 потокам. Каждый сам выбирает как ему работать, соответственно и настройки у каждого персональные, даже если вы и не работаете анонимно, соксы всё равно вам понадобятся, так как ваш айпи может на некоторых форумах быть заблокирован, тогда программа сама подставит сокс и возможно регистрация пройдёт успешно. Кто работает анонимно, в той же вкладке ставит галку - использывать сокс... Время обновления ставим по чаще, либо если соксы сторонние, то по договорённости с сервисом... Так же читаем здесь: Стоит ли использовать прокси

Начало прогона:
Вкладка: настройки многопоточности - здесь выставляем только максимальное кол-во потоков, где канал для 1 мб равен 10 потокам, больше ни чего не трогаем... Жмём старт сначала, предварительно открыв диспечер задач contr+alt+del, смотрим на загруженность канала, процессора, физическую память, регулируем кол-во потоков в той же вкладке, чтобы ресурсы вашего железного дружбана не превышали 90% загруженности в течении 30 мин, хоть одного их трёх компонентов.
Так же читаем советы Ботмастера
И не пологаемся на скорость в начале старта программы, так как позже кол-во ссылок в мин, немного просядет...
Ещё несколько ответов на эту тему найдёте тут: В каком режиме гоните сырую базу?
Этап 1.
Как мы видим, при прогоне база делится на 2 части базы ссылок: это "хорошие" и "плохие" - те которые "остальные".
На всё остальное больше не смотрим... Наша цель вытащить как можно больше хороших ссылок из остальных.
Этап 2.
При первом прогоне базы, из за многопоточности, 10-15% хороших ссылок улетает в остальные. Значит после завершения прогона, делаем следующее: лезем в директорию Logs/имя_проекта/Others id* и перетаскиваем его в папку Links, перемешиваем её, производим пост-обработку ссылок, удаляем повторные ссылки, переименовываем в LinksList id**, открываем во вкладке базы ссылок и делаем ещё один прогон, не чего не меняя в настройках и в проекте...

Завершение прогона:
Итак, после двух прогонов, мы имеем две Z-базы, используются они с единственной целью, чтобы ускорить работу в дальнейшем. Т.е. вам не придётся в следующий раз гнать всю сырую базу, к тому же, Z-база в себе имеет несколько путей ссылок для каждого форума, на те или иные формы для быстрого обращения к ним, тем самым ускоряя работу по ней в дальнейшим. Так же не забываем и про базу с остальными, её возможно придётся использовать на обновлённом софте...
Если канал вам позволяет, я рекомендую сделать ещё один прогон, но уже по Z-базам, с теми же настройками и получить ещё 5% регистраций... Когда уже всё прогананно, открываем директорию Logs/имя_проекта/Registered Accounts.txt и проверяем в ручную ваши регистрации 5-10 шт, авторизуясь по каждой ссылке с указанными к ним login + pass...
Можете посмотреть ещё другие варианты: Что такое зет база + что находится в полууспешных

Рассылка:
Открываем директорию Logs/имя_проекта/, переносим файл Registered Accounts.txt в папку Links, удаляем дубли.
Переименовываем в LinksList id** и самое главное, НЕ делаем ему пост-обработку... Рассылка ведётся по нему.
*Важно отметить.
Все отчеты в программе представлены только для пользователей, т.е. для нас с вами и программа их никак не использует (очень частое заблуждение, что программа должна сама тянуть данные из Registered Accounts.txt это не верно).
Программа берет логин и пароль для ссылки:
- либо из проекта, если в базе ссылок обычные ссылки.
- либо из базы, когда она содержит в строках логины и пароли, как это и есть в Registered Accounts.txt , т.е. когда строка в базе выглядит http://link.com U:user Password . Тогда в этом случае данные из проекта будут игнорироваться.
1). Редактирование профилей.
Данный метод позволит создать все ваши профиля после регистрации, расставить ссылки в них, пройти апрув администраторов, при этом не выполнив рассылку постинга... Подходит тем кто работает только с профилями.
Заходим в проект, заполняем два пустых поля: домашняя страница, подпись, А в поле проекта, где стоит макрос #file_links[С:\xrumer\ваши_варианты.txt,1,NP], меняем ваши_варианты.txt, на любо имя, в пути файла которого не существует (макрос вникуда), проверяем кнопкой "тест", сохраняем...
Настройки, дополнительные настройки, ставим галку на "Рассылка от ранее зарегистрированного пользователя", "включить проверку активной ссылки", "редактировать профиль после регистрации", "закачивать аватар после редактирования профиля", "если не работает BB-код - трансформировать его в HTML". Сохраняем.
2). Постинг текста.
При рассылке будут формироваться ещё две новые виды баз: R-база и E-база. Первая, это ссылка на полную форму ответа в топике, где существует возможнось ответить в свой же топик, (прошу не путать с успешными постами, которые в отчёте Logs/имя_проекта/success) не везде можно ответить в топик, по ряду причин. Вторая, ссылки на форму редактирования сообщения, где возможно отредактировать собственные посты...Таких еще меньше чем эрок, и к тому же очень часто есть ограничение по времени. Например, редактировать сообщение можно только в течение часа после постинга или в течение суток и т.п. .
Заходим в проект, заполняем два пустых поля: домашняя страница, подпись. B теме, в описании и в поле проекта где стоит макрос #file_links[С:\xrumer\ваши_варианты.txt,1,NP], меняем на рассылаемый текст, проверяем кнопкой "тест", сохраняем...
Настройки, дополнительные настройки, ставим галку на "Рассылка от ранее зарегистрированного пользователя", "включить проверку активной ссылки", "редактировать профиль после регистрации", "закачивать аватар после редактирования профиля", "если не работает BB-код - трансформировать его в HTML". Сохраняем.
Фильтрация баз:
В аси меня очень часто спрашивают рассказать о сортировке баз, которые накапливаются, в ходе с тесной дружбой c моим сервисом и хрумером...
Итак, после прогона сырой базы мы имеем это:
xrumer_5.012/Links/ZLinksList id*
xrumer_5.012/Logs/Имя_проекта/*
Объеденяем ZLinksList id* + Logs/Имя_проекта/*(из этой папки не берём только: Others id*, LastURL id* ). После объеденения, удаляем дубли, делаем пост-обработку и идём во вкладку "инструменты" >>> "фильтр базы ссылок" >>> верхний раздел "база ссылок", где ставим в "исходная база" - нашу большую сырую базу, в "базе-фильтре" - наш объеденённый файлик, а в среднем разделе "база-фильтр" ставим сноску на "помещать из исходной базы только хосты, которые отсутствуют в базе-фильтре".
Делаем выборку и полученное обзываем "others", объеденённую часть называем "success"...
Далее, когда у вас появляется новая база, не следует сразу её прогонять всю, по старой схеме:
а следует повторить процедуру выборки базы, где старый "success" ставим в "база-фильтр" и делаем выборку по новой исходной базе на "помещать из исходной базы только хосты, которые отсутствуют в базе-фильтре". Полученное, объеденяем со старым "others", удаляем дубли и гоним...
После прогона, так же объеденяем ZLinksList id* + Logs/Имя_проекта/*, как написанно выше и делаем ещё одну выборку, где получаем уже новый "others" (старый удаляем), а полученный "success" объеденяем со старым... Вот и вся песня ребятки... Тро-ло-ло...

Заключение:
Для последующих проектов работаем по полученому Registered Accounts.txt, по принципу сырой базы (стоит обратить внимание, что эта база получена несколькими прогонами и при работе по ней образуется принцип - "матрёшки") только не забудьте привести его к индексу... По success делаем прогончик, когда уже подубьётся Registered Accounts.txt... По "остальным" стоит гнать, только когда обновлён софт, всё полученное просто добавляем к старому... Ну вот и всё... Не забывайте сохранять все Registered Accounts.txt, ведь даже через год, вы всегда сможете отредактировать свои профиля...
Дело за малым - БАЗЫ и желание...

Автор: xokins
 

jackk

Member
Messages
9
Reputation
1
Reaction score
1
Points
3
кто может прогнать по Китаю?
 
Top