Как в http header заголовке запретить роботу переходить по ссылкам и возможно ли такое?
Например, с помощью .htaccess мы делаем 301 редирект, в header выдаётся "HTTP/1.1 301 Moved Permanently", т.е. робот понимает, что содержимое перемещено навсегда. Как ему запретить вообще переходить по ссылке? ![]()