نحوه بهینه سازی وردپرس Robots.txt برای سئو

اخیراً یکی از خوانندگان ما از ما راهنمایی در مورد چگونگی بهینه سازی فایل robots.txt برای بهبود سئو درخواست کرده است. فایل Robots.txt به موتورهای جستجو می گوید که چگونه می توانند وب سایت شما را جستجو کنند ، که آن را به یک ابزار SEO فوق العاده قدرتمند تبدیل می کند. در این مقاله ، ما به شما نشان خواهیم داد که چگونه یک فایل بی نظیر robots.txt برای سئو ایجاد کنید.

پرونده robots.txt چیست؟ h4>

Robots.txt یک فایل متنی است که صاحبان وب سایت می توانند با ایجاد آن برای رباتهای موتور جستجو چگونه صفحات را در سایت خود بخزند و فهرست کنند.

به طور معمول در پوشه اصلی ذخیره می شود که به عنوان پوشه اصلی وب سایت شما نیز شناخته می شود. قالب اصلی یک پرونده robots.txt به این شکل است:

کاربر عامل: [نام نماینده عامل کاربر]
اجازه ندهید: [رشته URL خزیده نشود]

کاربر عامل: [نام نماینده عامل کاربر]
اجازه دهید: [رشته URL خزیده شود]


نقشه سایت: [URL نقشه سایت XML شما]

شما می توانید چندین دستورالعمل داشته باشید تا URL های خاص را مجاز یا ممنوع کرده و چند نقشه سایت اضافه کنید. اگر یک URL را مجاز نمی دانید ، ربات های موتور جستجو تصور می کنند که اجازه دارند آن را بخزند.

در اینجا یک فایل نمونه robots.txt به چه شکل است:

عامل کاربر: *
مجاز: / wp-content / آپلودها /
اجازه ندهید: / wp-content / plugins /
اجازه ندهید: / wp-admin /

نقشه سایت: https://example.com/sitemap_index.xml

در مثال فوق robots.txt ، ما به موتورهای جستجو اجازه داده ایم که پرونده ها را در پوشه آپلودهای وردپرس خود خزیده و ایندکس کنند.

پس از آن ، ما ربات های جستجو را از پلاگین های خزنده و نمایه سازی و پوشه های مدیریت وردپرس رد کرده ایم.

سرانجام ، ما URL نقشه سایت XML خود را ارائه داده ایم.

آیا برای سایت وردپرس خود به یک پرونده Robots.txt نیاز دارید؟ h4>

اگر پرونده robots.txt ندارید ، موتورهای جستجو همچنان وب سایت شما را خزنده و فهرست می کنند. با این وجود ، نمی توانید به موتورهای جستجو بگویید که نباید از کدام صفحات یا پوشه ها خزنده شوند.

این اولین تأثیر زیادی نخواهد داشت راه اندازی یک وبلاگ و محتوای زیادی ندارید.

با این وجود هرچه وب سایت شما رشد می کند و محتوای زیادی دارید ، احتمالاً می خواهید کنترل بهتری بر نحوه خزیدن و نمایه سازی وب سایت خود داشته باشید.

دلیل این امر چیست.

رباتهای جستجو برای هر وب سایت سهمیه خزیدن دارند.

این بدان معنی است که آنها تعداد مشخصی از صفحات را در یک جلسه خزیدن خزنده می کنند. اگر آنها خزیدن در تمام صفحات سایت شما را به پایان نرسانند ، آنها دوباره برمی گردند و در جلسه بعدی خزیدن را از سر می گیرند.

این می تواند سرعت نمایه سازی وب سایت شما را کند کند.

با جلوگیری از تلاش رباتهای جستجو برای جستجوی صفحات غیرضروری مانند صفحات مدیریت وردپرس ، پرونده های پلاگین و پوشه موضوعات ، می توانید این مشکل را برطرف کنید.

با اجازه دادن به صفحات غیرضروری ، سهمیه خزیدن خود را ذخیره می کنید. این به موتورهای جستجو کمک می کند تا صفحات بیشتری را در سایت شما جستجو کرده و در اسرع وقت آنها را فهرست بندی کنند.

دلیل خوب دیگری برای استفاده از پرونده robots.txt زمانی است که می خواهید موتورهای جستجو را از نمایه سازی یک پست یا صفحه در وب سایت خود متوقف کنید.

ایمن ترین روش برای مخفی کردن مطالب از بین عموم نیست ، اما به شما کمک می کند تا از نمایش آنها در نتایج جستجو جلوگیری کنید.

یک فایل Robots.txt ایده آل چگونه باید باشد؟ h4>

بسیاری از وبلاگهای معروف از یک پرونده robots.txt بسیار ساده استفاده می کنند. محتوای آنها بسته به نیاز سایت خاص ممکن است متفاوت باشد:

عامل کاربر: *
اجازه ندهید:
 
نقشه سایت: http://www.example.com/post-sitemap.xml
نقشه سایت: http://www.example.com/page-sitemap.xml

این فایل robots.txt به همه ربات ها اجازه می دهد تا تمام مطالب را فهرست بندی کنند و پیوندی به وب سایت نقشه سایت XML .

برای سایت های وردپرس ، قوانین زیر را در پرونده robots.txt توصیه می کنیم:

عامل کاربر: *
مجاز: / wp-content / آپلودها /
اجازه ندهید: / wp-content / plugins /
اجازه ندهید: / wp-admin /
اجازه ندهید: /readme.html
مجاز نیست: / ارجاع /

نقشه سایت: http://www.example.com/post-sitemap.xml
نقشه سایت: http://www.example.com/page-sitemap.xml

این به ربات های جستجو می گوید تا تمام تصاویر و پرونده های وردپرس را فهرست بندی کنند. این ربات های جستجو را از نمایه سازی پرونده های افزونه وردپرس ، منطقه مدیر وردپرس ، فایل readme وردپرس و پیوندهای وابسته مجاز نمی کند.

با افزودن نقشه سایت به پرونده robots.txt ، جستجوی همه صفحات سایت خود را برای ربات های Google آسان می کنید.

حالا که دانستید یک فایل ایده آل robots.txt به نظر می رسد ، بیایید نگاهی به نحوه ایجاد یک فایل robots.txt در وردپرس بیندازیم.

چگونه یک فایل Robots.txt در وردپرس ایجاد کنیم؟ h4>

برای ایجاد یک فایل robots.txt در وردپرس دو روش وجود دارد. شما می توانید روشی را انتخاب کنید که برای شما مناسب باشد.

روش 1: ویرایش فایل Robots.txt با استفاده از Yoast SEO

اگر از Yoast SEO plugin ، سپس با یک مولد فایل robots.txt همراه است.

عامل کاربر: *
اجازه ندهید: /