Списки всех доменов ru su рф

июля 31, 2017 0 Comments

Списки всех доменов ru su рф
Довольно часто приходится пользоваться этими списками. А они как на зло куда то улетучиваются из закладок :) приходится каждый раз гуглить, терять время. Так что лучше запишу ка я их сюда. Заодно поговорим как их максимально быстро обработать.


Это что за списки такие?


Регистраторы записывают статистику по зарегистрированным доменам. Некоторые из них хранят её в общем доступе, что очень удобно, особенно для хрумовода или зенновода. Очень удобно заряжать софт который чекает движки(например вордпресс), либо другую интересную информацию по таким спискам.

К тому же мы сразу получаем именно русскоговорящий сегмент, не надо лишний раз напрягать пс, хотя большая часть ру ресов располагается вне .ru и это не для кого не секрет. Мы же будем идти по пути наименьшего сопротивления:

Скачать список доменов в зоне .RU
Скачать список доменов в зоне .SU
Скачать список доменов в зоне .РФ

По стандарту списки скачиваются в формате .gz(архивов) и имеют кучу ненужного нам мусора такого как дата создания, окончания и т.д. Нам нужны только сами домены, поэтому переходим к следующему этапу.

Обработка


Самый простой и быстрый способ обработать списки - обработать их на своём хостинге. Лучше всего чтобы это был vps/vds/dedic хотя и шаред тоже должен работать(на шареде вам скорее всего надо будет попросить чтобы включили SSH). Объяснять как пользоваться SSH я не буду, изучайте сами и развивайтесь.

Итак, нам подойдёт любой Linux дистрибутив. Фряха и любой *BSD тоже закатят. Единственное, что не уверен по поводу дистрибутива LFS(Linux From Scratch), А так 99% Линукс дистрибутивов содержат нужный нам функционал из коробки, даже будучи только установленными на сервер.

Как подключитесь по SSH - советую перейти в какую нибудь темповую директорию по типу /tmp или например создать специальную директорию только под работу команды, чтобы не запутаться # mkdir domainsss && cd domainsss

Ну и дальше всё сводится к одной простой команде

Чтобы скачать и обработать список .RU доменов вводим
wget 'https://partner.r01.ru/zones/ru_domains.gz' && gunzip ru_domains.gz && awk {'print $1'} ru_domains | awk '{ printf "http://"; print }' > Ru-Domains.txt && rm -rf ru_domains

По аналогии делаем тоже самое для .SU доменов
wget 'https://partner.r01.ru/zones/su_domains.gz' && gunzip su_domains.gz && awk {'print $1'} su_domains | awk '{ printf "http://"; print }' > Su-Domains.txt && rm -rf su_domains

Завершающим этапом обработаем домены .РФ
wget 'https://partner.r01.ru/zones/rf_domains.gz' && gunzip rf_domains.gz && awk {'print $1'} rf_domains | awk '{ printf "http://"; print }' > Rf-Domains.txt && rm -rf rf_domains

Логика работы команд такая
- Качаем архив со списком зоны
- Распаковываем его
- Парсим только домены из текста
- Добавляем в каждой строке перед доменом http://
- Удаляем фаил с мусором

В результате выполнения команд у нас появятся фаилы
Ru-Domains.txt
Su-Domains.txt
Rf-Domains.txt


0 коммент.: