Categories: NodeJS

NodeJS | Как получить IP-адрес сайта, отправляя запрос с сервера?

У нас есть NodeJS сервер, с которого мы отправляем запросы на разные сайты сети интернет. Мы получаем полезные данные и публикуем аналитику.

В некоторых задачах мы хотим собирать IP-адреса, на которых располагаются ресурсы тех или иных сайтов.

 

Работа с системой доменных имён

В NodeJS есть модуль, который отвечает за работу с системой доменных имён. Он так и называется — DNS.

Модуль «node:dns» включает разрешение имён. Например, используйте его для поиска IP-адресов имён хостов.

Хотя он назван в честь «Системы Доменных Имён» (DNS), он не всегда использует протокол DNS для поиска.

 

Метод dns.lookup() использует средства операционной системы для разрешения имён. Возможно, ему не потребуется выполнять какую-либо сетевую связь. Чтобы выполнить разрешение имён так же, как это делают другие приложения в той же системе, используйте dns.lookup().

const dns = require('node:dns');

dns.lookup('example.org', (err, address, family) => {
  console.log('address: %j family: IPv%s', address, family);
});
// address: "93.184.216.34" family: IPv4

Здесь важно обратить внимание на первый параметр, передаваемый в метод lookup(). Имя домена должно быть таким, какое оно находится в самой DNS. Это значит, что в имени не должно быть URI-схемы (например, https:// или http://), также не должно быть URI-пути (например, /catalog или /card), а также URI-запроса (#) и URI-фрагмента (?), ну и порт тоже не надо приписывать. Обязательно один раз в жизни прочитайте протокол «RFC3986 | URI — Унифицированный идентификатор ресурса: общий синтаксис«.

Все остальные функции в модуле «node:dns» подключаются к реальному DNS-серверу для выполнения разрешения имён. Они всегда будут использовать сеть для выполнения DNS-запросов. Эти функции не используют тот же набор файлов конфигурации, что и dns.lookup() (например, /etc/hosts). Используйте эти функции, чтобы всегда выполнять DNS-запросы, минуя другие средства разрешения имён.

 

Зачем нам нужно знать IP-адреса сайтов?

В интернете много мусора и спама. Существуют сайты-клоны, которые могут отдавать схожий контент на сотнях тысячах доменных имён.

Собирая IP-адреса сайтов, можно придумать дополнительный инструмент по фильтрации плохих сайтов.

Если начать изучать IP-адреса сайтов-клонов, то можно наткнуться на закономерности в их количестве. Так, можно обнаружить, что все 10000 клонов лежат на одном IP-адресе.

В итоге подобный IP-адрес можно легко добавить в блок-лист и отбрасывать новые запросы или удалить клоны доменов из базы данных.

 

Запрос для поиска на английском языке

NodeJS | How to get website ip address from request from server

 

admin

Share
Published by
admin

Recent Posts

PostgreSQL | Как получить первый элемент из ячейки типа record?

При помощи функции "row()" мы можем создавать записи - данные с типом record. -- Создаём…

1 год ago

PostgreSQL | Как отфильтровать JSONB-массив объектов по логическому значению ключа?

-- массив JSONB с объектами select '[{"id":1, "q":true}, {"id":2, "q":false}, {"id":3, "q":true}, {"id":4, "q":false}]'::jsonb; --…

1 год ago

PostgreSQL | Как отбросить нули в типе numeric?

Функция "trim_scale()" умеет отбрасывать лишние нули в числах с типом numeric. select trim_scale(37.000000000); -- 37…

1 год ago

JavaScript | Как получить следующий день?

Следующий день относительно текущего т. е. "завтра" var tomorrow = new Date(); tomorrow.setDate(tomorrow.getDate() + 1);…

1 год ago

PostgreSQL | Агрегация JSONB-объектов в один объект

У нас есть столбец из JSONB объектов. Нам нужно соединить все объекты этого столбца в…

1 год ago

PostgreSQL | Группировка по 10 записей

Не всегда нужно группировать записи таблиц в рамках какого-то повторяющегося значения столбца. Иногда нужно просто…

1 год ago