Robots.txt یک فایل متنی است که به یک وب سایت اجازه می دهد دستورالعمل هایی برای ربات های خزنده وب ارائه دهد.
موتورهای جستجوگر مانند Google از این خزنده های وب که گاهی به آنها ربات وب گفته می شود ، برای بایگانی و دسته بندی وب سایتها استفاده می کنند. بیشتر ربات ها برای جستجوی یک فایل robots.txt در سرور پیکربندی شده اند ، قبل از اینکه فایل دیگری را از وب سایت بخواند. این کار را برای دیدن اینکه آیا صاحب یک وب سایت دستورالعمل های خاصی در مورد نحوه پیمایش و نمایه سازی سایت خود دارد ، انجام می دهد.
پرونده robots.txt شامل مجموعه ای از دستورالعمل ها است که از ربات می خواهد فایلها یا فهرستهای خاص را نادیده بگیرد. این ممکن است به منظور حفظ حریم خصوصی باشد یا به این دلیل که صاحب وب سایت معتقد است که محتوای آن پرونده ها و دایرکتوری ها با دسته بندی وب سایت در موتورهای جستجو ارتباطی ندارد.
اگر وب سایتی بیش از یک زیر دامنه دارد ، هر زیر دامنه باید پرونده robots.txt مخصوص خود را داشته باشد. توجه به این نکته مهم است که همه ربات ها از یک فایل robots.txt احترام نمی گذارند. برخی از ربات های مخرب حتی فایل robots.txt را می خوانند تا بفهمند کدام پرونده ها و فهرست ها را ابتدا باید هدف قرار دهند. همچنین ، حتی اگر یک پرونده robots.txt به ربات ها دستور دهد که از صفحات خاصی در سایت چشم پوشی کنند ، این صفحات ممکن است همچنان در نتایج جستجو وجود داشته باشد زیرا توسط صفحات دیگری که خزیده شده اند به آنها پیوند داده می شوند.
خواندن اضافی h4>
.