Интернет тълковен речник

Текстов файл, който се добавя към главната директория на даден уеб сайт. Целта на този файл е да инструктира паяците на търсещите машини за страниците, които не искаме търсачките да индексират.