У нас есть NodeJS сервер, с которого мы отправляем запросы на разные сайты сети интернет. Мы получаем полезные данные и публикуем аналитику.
В некоторых задачах мы хотим собирать IP-адреса, на которых располагаются ресурсы тех или иных сайтов.
В NodeJS есть модуль, который отвечает за работу с системой доменных имён. Он так и называется — DNS.
Модуль «node:dns» включает разрешение имён. Например, используйте его для поиска IP-адресов имён хостов.
Хотя он назван в честь «Системы Доменных Имён» (DNS), он не всегда использует протокол DNS для поиска.
Метод dns.lookup() использует средства операционной системы для разрешения имён. Возможно, ему не потребуется выполнять какую-либо сетевую связь. Чтобы выполнить разрешение имён так же, как это делают другие приложения в той же системе, используйте dns.lookup().
const dns = require('node:dns'); dns.lookup('example.org', (err, address, family) => { console.log('address: %j family: IPv%s', address, family); }); // address: "93.184.216.34" family: IPv4
Здесь важно обратить внимание на первый параметр, передаваемый в метод lookup(). Имя домена должно быть таким, какое оно находится в самой DNS. Это значит, что в имени не должно быть URI-схемы (например, https:// или http://), также не должно быть URI-пути (например, /catalog или /card), а также URI-запроса (#) и URI-фрагмента (?), ну и порт тоже не надо приписывать. Обязательно один раз в жизни прочитайте протокол «RFC3986 | URI — Унифицированный идентификатор ресурса: общий синтаксис«.
Все остальные функции в модуле «node:dns» подключаются к реальному DNS-серверу для выполнения разрешения имён. Они всегда будут использовать сеть для выполнения DNS-запросов. Эти функции не используют тот же набор файлов конфигурации, что и dns.lookup() (например, /etc/hosts). Используйте эти функции, чтобы всегда выполнять DNS-запросы, минуя другие средства разрешения имён.
В интернете много мусора и спама. Существуют сайты-клоны, которые могут отдавать схожий контент на сотнях тысячах доменных имён.
Собирая IP-адреса сайтов, можно придумать дополнительный инструмент по фильтрации плохих сайтов.
Если начать изучать IP-адреса сайтов-клонов, то можно наткнуться на закономерности в их количестве. Так, можно обнаружить, что все 10000 клонов лежат на одном IP-адресе.
В итоге подобный IP-адрес можно легко добавить в блок-лист и отбрасывать новые запросы или удалить клоны доменов из базы данных.
NodeJS | How to get website ip address from request from server
При помощи функции "row()" мы можем создавать записи - данные с типом record. -- Создаём…
-- массив JSONB с объектами select '[{"id":1, "q":true}, {"id":2, "q":false}, {"id":3, "q":true}, {"id":4, "q":false}]'::jsonb; --…
Функция "trim_scale()" умеет отбрасывать лишние нули в числах с типом numeric. select trim_scale(37.000000000); -- 37…
Следующий день относительно текущего т. е. "завтра" var tomorrow = new Date(); tomorrow.setDate(tomorrow.getDate() + 1);…
У нас есть столбец из JSONB объектов. Нам нужно соединить все объекты этого столбца в…
Не всегда нужно группировать записи таблиц в рамках какого-то повторяющегося значения столбца. Иногда нужно просто…