GSA Platform Identifier это мощная многопоточная программа, которая в автоматическом режиме определяет и сортирует большие базы ссылок по движкам CMS (система управления сайтом).
Из коробки программа быстро и легко определяет такие движки как:
- Форумы
- Блогоплатформы
- Движки соц.сетей
- Системы Аналитики
- Капчи
- CMS
- Системы комментариев
- E-Commerce
- Редакторы
- Шрифты
- Фреймворки
- Фото-Галлереи
- Wiki
- Виджеты
- Видео плееры
Принцип работы
Создаём новый проект. Выбираем нужные движки. Указываем фаил с URL для проверки и папку куда складывать результат проверки. Выбираем нужное количество потоков. Всё - дальше программа всё сделает сама.
Это далеко не весь список CMS и движков, которые может определить софт! Все просто не помещаются в один скриншот
Особенности и фичи
Программа GSA Platform Identifier наделена рядом полезных и прикольных фич, о них ниже:
Monitor file/folder - Можно выбрать фаил или даже целую папку, которые будут переодически проверяться на наличие новых строк и соответственно проверять эти строки. Фича будет полезна любителям облаков по типу дропбокса/яндекс диска/облака мэил ру и подобных сервисов
Фильтр по кейвордам - Возможность искать в коде страниц заданные вами кейворды. Можно задавать область поиска: Видимый текст, Meta Keywords, Meta Description, Title страницы, имя домена, или любая часть URL. При помощи данной фичи как не сложно догадаться можно находить ресурсы посвящённые конкретным нишам.
Фильтр по языкам - Бывает полезно отобразить сайты на определённом языке. Обращаю внимание эту фичу лучше использовать с осторожностью т.к. она опирается на HTML директиву lang! По своему опыту могу сказать что данной фичей не пользуюсь - не все понимают как правильно пользоваться директивой lang и зачастую заполняют её с ошибками. Используйте только если точно знаете что и зачем делаете.
Блокировка пройденных урлов - По мере прохождения базы бывает что одна и та же ссылка встречается несколько раз. Данный режим заносит все пройденные ссылки в блэк лист и если будет обнаружена идентичная ссылка - она будет проигнорирована тем самым экономя время на проверку.
Работа через Proxy - Поддерживаются socks и http(s) proxy. Так же есть возможность чекнуть рабочие прокси и посмотреть их качество.
Темы - Внешний вид. Рекомендую скин Dark.
Настройка таймаутов Get запросов - Нужен быстрый результат ? Тогда ставим таймаут пониже тем самым в базу попадут быстро работающие сайты и время чека будет небольшим. Чтобы получить больше результатов - ставим таймаут больше при этом время чека возрастает.
Предел размера сайта в MB - Как известно чем больше весит сайт тем больше на нём спамных комментариев и ссылок. Для большинства такие ресурсы не нужны и они могут скипнуть такие сайты.
Max OBL(Outbound Links) - Если включить данную функцию и выставить её значение например в 50, все сайты/страницы на которых кол-во ссылок выше 50 будут игнорироваться и не попадут в результирующую базу.
Dom detailer - Я всегда чекаю очень большие базы в GSA PI - поэтому именно этой фичей не пользовался т.к. она не бесплатная и за запросы к api придётся нехило так отвалить. Если, скажем, вы решили чекнуть 300кк доменов, даже если предположить что за каждый из них будет взята плата в 1 цент то получится не мало. Скорее всего эта фича будет полезна очень ограниченному кругу лиц которые сами всё знают и писать об этом нету смысла
Moz filter - Аналогично не пользовался данной фичей. Достаточно взглянуть на прайс за использование Mozscape API чтобы понять нужна ли Вам эта фича или нет. Однозначно кому то фича придется по вкусу. Я как и писал выше с ней пролетаю потому что чекаю очень много ссылок. Уже был опыт чека более чем 350 миллионов уникальных доменов за раз с обычного домашнего компьютера и интернета.
Save Redirected URL's - Появление данной фичи произошло благодаря моей просьбе к разработчикам. Если обрабатываемая ссылка является редиректом, то в результирующую базу сохраняется адрес куда ведёт этот редирект. Прямо таки киллер фича. С её помощью убиваются сразу 2 зайца. 1 - софт который работает с получившейся базой не будет каждый раз ходить по редиректам. Вспоминаем ресурсы которые открывается по 10 и более секунд. 2 - в итоговой базе будет много одних и тех же доменов дублей, которые потом легко удалить из базы, чтобы не регистрироваться на одних и тех же ресурсах по много раз под разными никами - то есть можно уникализировать базу. При помощи этой фичи работая с миллионными базами экономится время от масштаба.
Tools (доп. инструменты)
Помимо основного функционала в программе предусмотрен раздел Tools с дополнительными инструментами для обработки баз. Он обладает рядом полезных штук:
Можно закинуть одну или сразу несколько баз
Trim URL'S to Root - Приводит ссылки к домену т.е. удаляет хвосты ссылок/движков. Например domain.com/index.php приведёт к domain.com/
Remove Duplicate URL's - Удалит из базы дублирующиеся ссылки.
Remove Duplicate Domains - Удалит из базы все ссылки с одинаковыми доменами, оставив по 1 ссылке на домен. Очень классная фича.
Append to URL's - Лучше всего работает на ссылках приведённых к домену или на фаилах с доменами. Приводит ссылки к указанному виду который подаём на вход. Например был фаил с доменами, а в фаиле у нас index.php?do=register - результат будет domain.com/index.php?do=register
Можно ознакомиться с моими наработками для Append to URL's...
Custom Engines
Если стандартного списка движков вам окажется мало, имеется специальная система в юзер-движков - где вы сами можете добавить интересующий именно вас движок используя свои наборы правил.
Например вот так очень просто добавить движок системы статистики сайта Webalizer
Можно ознакомиться с моими наработками по Custom Engines...
Софт работает очень стабильно. При правильной настройке он работает неделями и даже месяцами без нужды постоянно проверять не крэшнулась ли что то!
Особенности приобретения
Лицензия покупается раз и навсегда на 1 компьютер. Абонентской платы нет. Все обновления бесплатные.
Я специально узнавал в поддержке по поводу использования на разных компьютерах и отдельно задавал вопрос через email. Как таковой привязки нет, можно поставить программу на несколько компьютеров, но использовать одновременно можно только на одном. А, если, будет выявлен факт запуска одной лицензии на нескольких компьютерах одновременно - то это приведёт к блоку лицензии!
Скидка на покупку GSA PI
Какого либо профита с реферальной программы я к сожалению не нашёл. Обычно бывают обоюдно выгодные условия. Смотрите сами возможно попадёте на скидки.