Команда (—spider) WGET

При вызове с этой опцией Wget будет вести себя как веб-паук, а это означает, что он не будет загружать страницы, просто проверит, что они есть.

Например, вы можете использовать Wget для проверки своих закладок:

wget —spider —force-html -i bookmarks.html

Эта функция требует гораздо больше работы для Wget, чтобы приблизиться к функциональности реальных пауков.