Списки всех доменов ru su рф

июля 31, 2017 9 Comments

Списки всех доменов ru su рф
Довольно часто приходится пользоваться этими списками. А они как на зло куда то улетучиваются из закладок :) приходится каждый раз гуглить, терять время. Так что лучше запишу ка я их сюда. Заодно поговорим как их максимально быстро обработать.


Это что за списки такие?


Регистраторы записывают статистику по зарегистрированным доменам. Некоторые из них хранят её в общем доступе, что очень удобно, особенно для хрумовода или зенновода. Очень удобно заряжать софт который чекает движки(например вордпресс), либо другую интересную информацию по таким спискам.

К тому же мы сразу получаем именно русскоговорящий сегмент, не надо лишний раз напрягать пс, хотя большая часть ру ресов располагается вне .ru и это не для кого не секрет. Мы же будем идти по пути наименьшего сопротивления:

Скачать список доменов в зоне .RU
Скачать список доменов в зоне .SU
Скачать список доменов в зоне .РФ

По стандарту списки скачиваются в формате .gz(архивов) и имеют кучу ненужного нам мусора такого как дата создания, окончания и т.д. Нам нужны только сами домены, поэтому переходим к следующему этапу.

Обработка


Самый простой и быстрый способ обработать списки - обработать их на своём хостинге. Лучше всего чтобы это был vps/vds/dedic хотя и шаред тоже должен работать(на шареде вам скорее всего надо будет попросить чтобы включили SSH). Объяснять как пользоваться SSH я не буду, изучайте сами и развивайтесь.

Итак, нам подойдёт любой Linux дистрибутив. Фряха и любой *BSD тоже закатят. Единственное, что не уверен по поводу дистрибутива LFS(Linux From Scratch), А так 99% Линукс дистрибутивов содержат нужный нам функционал из коробки, даже будучи только установленными на сервер.

Как подключитесь по SSH - советую перейти в какую нибудь темповую директорию по типу /tmp или например создать специальную директорию только под работу команды, чтобы не запутаться # mkdir domainsss && cd domainsss

Ну и дальше всё сводится к одной простой команде

Чтобы скачать и обработать список .RU доменов вводим
wget 'https://partner.r01.ru/zones/ru_domains.gz' && gunzip ru_domains.gz && awk {'print $1'} ru_domains | awk '{ printf "http://"; print }' > Ru-Domains.txt && rm -rf ru_domains

По аналогии делаем тоже самое для .SU доменов
wget 'https://partner.r01.ru/zones/su_domains.gz' && gunzip su_domains.gz && awk {'print $1'} su_domains | awk '{ printf "http://"; print }' > Su-Domains.txt && rm -rf su_domains

Завершающим этапом обработаем домены .РФ
wget 'https://partner.r01.ru/zones/rf_domains.gz' && gunzip rf_domains.gz && awk {'print $1'} rf_domains | awk '{ printf "http://"; print }' > Rf-Domains.txt && rm -rf rf_domains

Логика работы команд такая
- Качаем архив со списком зоны
- Распаковываем его
- Парсим только домены из текста
- Добавляем в каждой строке перед доменом http://
- Удаляем фаил с мусором

В результате выполнения команд у нас появятся фаилы
Ru-Domains.txt
Su-Domains.txt
Rf-Domains.txt


9 комментариев:

  1. Не понятно, зачем такие сложности. Я зарегистрирована на сервисе, который меня полностью устраивает в смысле покупки и продления доменов, уже около десяти лет. Нареканий никаких.

    ОтветитьУдалить
    Ответы
    1. Мыслите шире, тема не про покупку доменов. Вот Вы сюда как попали? Советую ознакомится например с данным материалом https://antoshabrain.blogspot.ru/2016/08/wordpress-xrumer-backlinks-and-traffic.html

      Удалить
  2. А я то думаю, вроде коммент и потеме, но какой-то он не совсем адекватный или логичный, но тема то поймана, поэтому призадумалась при разрешении на публикацию... Вот молодец))) а я и не слышала о таком... век живи и век учись. А какой вы ждете результат от этого, я не поняла что вы продвигаете (хотя сайт понравился, я на Линуксе сижу, поэтому нашла тут себе полезности)...

    ОтветитьУдалить
    Ответы
    1. Результат в виде прямого траффика, повышение пф, видно по целям как просматривают блог)) Но это скорее как эксперимент был. Рад что Вам понравилось))

      Удалить
  3. Рекомендую перед парсингом посмотреть файлы как есть - там к начале ASCII арт %)

    Кстати, строку можно сильно урезать (предварительно скачав файл) :
    zcat ./ru_domains.gz |awk {'printf "http://";print $1'}
    впрочем, если способ работает - почему бы и нет?

    ОтветитьУдалить
  4. Так же теряются эти списки, поэтому некоторые из них храню общем доступе. Полезная информация, кое что для себя уяснил.

    ОтветитьУдалить
  5. Спасибо большое. Это списки на текущую дату. Как можно скачть на прощедщую дату?

    ОтветитьУдалить
    Ответы
    1. Как вариант скачивать по крону скриптом, а потом смотреть изменившиеся/добавленные/удалённые домены, сравнивая разные даты.

      Удалить

© 2011 - 2020 by WithOutBrain. Технологии Blogger.