Я че то ни черта там не понял на вебмастере, слишком много текста. Просто удалил у себя robots.txt и делов то ![]()
Фактически, если разобраться, директива Allow не нужна, так как она по умолчанию идет и поисковик качает всё что попадается ему на пути. А директивой Disallow у нас закрыта только директория panel , т.е. админка (чтобы что-то случайно не попало в поиск), у меня там и так всё закрыто. Так что логически рассуждая, мне файл robots.txt вроде как вообще ни к чему.