Команда (—spider) WGET — efim360.ru

Команда (--spider) WGET

При вызове с этой опцией Wget будет вести себя как веб-паук, а это означает, что он не будет загружать страницы, просто проверит, что они есть.

Например, вы можете использовать Wget для проверки своих закладок:

wget --spider --force-html -i bookmarks.html

Эта функция требует гораздо больше работы для Wget, чтобы приблизиться к функциональности реальных пауков.