Это аск роботс нот это индэкс а буклет ор филе:
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: specialfile.html
Disallow: /folder/anotherfile.html

Я не понимаю почему в этой пачке роботс.ткст директива Дисальлёв
для пачки употреблена без сляш '/'

Disallow: /specialfile.html

Для какой пачки? Ни фига не понял. В роботе просто закрыт файл а не папка, вот и без слеша.

Originally Posted by sqner

Disallow: /specialfile.html

Вот так и нужно прописать в роботс.