آموزش طراحی سایت

فایل robots.txt و راهنمای کامل آن در بهینه کردن وردپرس

 فایل robots.txt چرا مهم است؟

فایل robots.txt  | موتور جستجوی گوگل از رباتهای مختلفی که به آنها همچنین خزنده گوگل نیز گفته می شود ، برای یافتن و نمایه سازی صفحات وب استفاده می کند.

این خزنده ها برای به دست آوردن اطلاعات در مورد صفحات مختلف و ارسال آن به موتور جستجو ، صفحات وب را خز می کنند.

با این حال برخی از وب مسترها به بعضی از صفحات وب سایت خود علاقه ای ندارند که در گوگل ایندکس شوند و می خواهند به نوعی ربات های گوگل را درک کنند که این صفحات را فهرست نکنند!

خوب ، اکنون ما از پرونده robots.txt استفاده می کنیم تا برای Google روشن شود که برخی از صفحات سایت ما نباید ایندکس شوند و ارزش ایندکس کردن ندارند ، یعنی یک فایل متنی است که در آن شما یک سری کد وارد می کنید و در آن قرار می گیرید. کدها به صفحاتی که نباید فهرست بندی شوند ، اشاره دارند.

فایل robots.txt
فایل robots.txt

 

 

 

 

 

 

 

 

 

 

 

فایل robots.txt در کجا قرار می‌گیرد و چگونه توسط موتور جستجو مورد دسترسی قرار می‌گیرد؟

این فایل باید در پوشه‌ی اصلی سایت شما قرار گیرد و به صورت زیر قابل دسترسی باشد.

https://learn-marketing.ir/robots.txt

محتوای فایل robots.txt برای سایت ما به صورت زیر است:

User-agent: *

Disallow: /wp-content/plugins/

Allow: /wp-admin/admin-ajax.php

Sitemap: https://learn-marketing.ir/sitemap_index.xml

با توجه به اینکه سایت ما با استفاده از وردپرس طراحی و پیاده‌سازی شده است، بخش افزونه‌ها در آدرس wp-content/plugins قرار دارد و این خط به موتور جستجو می‌گوید که به این بخش‌ها دسترسی نداشته باشد.

نکته‌ی بسیار مهم: این فایل صرفاً یک راهنما از طرف سایت به گوگل و سایر موتورهای جستجو است و هیچ تضمینی را در قبال ذخیره شدن یا نشدن بخش‌هایی از سایت نمی‌دهد. گوگل و سایر موتورهای جستجو می‌توانند به راحتی این فایل را نادیده بگیرند و هر کاری که می‌خواهند انجام دهند 🙂

 فایل robots.txt و چند نمونه مثال از آن:

در ادامه می‌خواهیم چند نمونه از فایل robots.txtرا به همراه توضیحات ذکر کنیم. نمونه فایل زیر را در نظر بگیرید:

نمونه ۱):

User-agent: *

Disallow: /

در بخش user-agent عبارت * نوشته شده است که به معنای همه و تمامی می‌باشد و در بخش disallow عبارت / نوشته شده است که به معنای آدرس پایه و ابتدایی سایت می‌باشد.

در مجموع این فایل به گوگل و موتورهای جستجو می‌گوید که اجازه‌ی ذخیره‌سازی هیچ بخشی از سایت را ندارند.

نمونه ۲):

محتوای زیر را در نظر بگیرید.

User-agent: *

Disallow:

مشابه مورد قبلی در بخش user-agent از عبارت * استفاده شده است که به معنای تمامی و همه می‌باشد و با توجه به این که در بخش disallow چیزی نوشته نشده است، این فایل به گوگل اجازه می‌دهد که تمامی محتوای سایت را مورد بررسی و ذخیره سازی قرار دهد.

نمونه ۳):

فایل زیر را در نظر بگیرید.

User-agent: Googlebot

Disallow: /wp-admin/

در این فایل بر خلاف فایل‌های نمونه ۱ و ۲ که از * در بخش user-agent استفاده شده بود، نام یک ربات خاص یعنی googlebot ذکر شده است. بنابراین این فایل فقط به موتور جستجوی گوگل دستور می‌دهد (به عنوان چند مثال دیگر از user-agent می‌توان به Baiduspider، msnbot، yahoobot اشاره کرد).

در بخش disallow آدرس یک زیردامنه قرار داده شده است. بنابراین این فایل به گوگل می‌گوید که به آدرس‌هایی که با wp-admin شروع می‌شوند، دسترسی نداشته باشد.

نمونه ۴):

فایل زیر را در نظر بگیرید:

User-agent: Bingbot

Disallow: /suburl/not-access-page.html

مشابه نمونه ۳ این فایل فقط برای یک موتور جستجو یعنی bing نوشته شده است و فقط یک صفحه‌ی خاص را ممنوعه اعلام کرده است.

چند نکته مهم درباره فایل robots.txt:

۱) همان‌طور که گفته شد، این فایل باید در پوشه‌ی اصلی سایت و به آدرس زیر قابل دسترسی باشد.

http://your-site-url.ir/robots.txt

۲) نام فایل حساس به حروف کوچک و بزرگ است و دقیقاً باید به صورت robots.txt نوشته شود (و نه Robots.txt)

۳) داشتن فایل robots.txt به این معنا نیست که گوگل و سایر موتورهای جستجو نمی‌توانند محتوای سایت شما را بخوانند. این فایل صرفاً یک راهنما به آن‌هاست. آن‌ها می‌توانند به دستورات نوشته شده در آن عمل کنند و یا نکنند.

۴) خیلی خوب است که همیشه در انتهای فایل robots.txt آدرس سایت مپ خود را ذکر کنید. برای مثال در سایت مپ سایت خود ما، آدرس سایت مپ به انتهای فایل اضافه شده است.

Sitemap: https://learn-marketing.ir/sitemap_index.xml

۵) اگر زیر دامنه هایی دارید، به ازای هر زیر دامنه باید یک فایل جداگانه robots.txt داشته باشید. برای مثال اگر بخش مقالات خود را به صورت blog.site.ir قرار داده اید، لازم است که برای این سایت یک robots.txt جداگانه داشته باشید.

در ادامه در مورد روش‌های بهینه سازی فایل robots.txt برای وردپرس صحبت خواهیم کرد.

بهینه سازی فایل robots.txt برای وردپرس:

بخش بسیاری از سایت‌های داخلی با استفاده از وردپرس طراحی و پیاده‌سازی شده‌اند و بنابراین در این‌جا قصد داریم که مواردی را که باید در بهینه سازی این فایل در وردپرس رعایت کنید را برای شما توضیح دهیم.

۱) اضافه کردن سایت مپ یا نقشه‌ی سایت به فایل robots.txt

همان‌طور که قبلاً اشاره شد بهتر است که آدرس نقشه‌ی سایت خود را به انتهای فایل robots.txt اضافه کنید. با استفاده از افزونه هایی نظیر Yoast یا All in one SEO می‌توانید نقشه‌ی سایت خود را تولید کنید.

پس از تولید نقشه سایت، آدرس فایل سایت مپ را به صورت زیر در فایل robots.txt اضافه کنید.

Sitemap: https://learn-marketing.ir/sitemap_index.xml

۲) حذف فولدر افزونه ها در robots.txt

بهتر است پوشه‌ی افزونه ها یعنی plugins و همچنین فایل robots.txt را که به صورت پیش‌فرض در وردپرس وجود دارد را به صورت disallow در robots.txt خود اضافه کنید.

فرمت لازم برای انجام این کار به صورت زیر است:

Disallow: /wp-content/plugins/

Disallow: /readme.html

۳) نیازی به بلاک کردن آدرس wp-admin نیست

خیلی از افراد فکر می‌کنند که باید آدرس /wp-admin/ را در فایل robots.txt ببندند تا گوگل و سایر موتورهای جستجو به صفحات ادمین سایت شان، دسترسی نداشته باشند اما نیازی به این کار نیست.

خود وردپرس از مکانیزم خیلی بهتری برای بستن دسترسی موتورهای جستجو به بخش ادمین استفاده می‌کند که بسیار مطمئن و امن است و بنابراین نیازی به بلاک کردن آدرس wp-admin در فایل robots.txt نیست.

 

فایل robots.txt
فایل robots.txt

نمایش بیشتر

فاطمه شمس

فاطمه شمس | دکتری اقتصاد نظری و همچنین استاد دانشگاه خوارزمی تهران هستم . مدتی هست که در زمینه بازاریابی دیجیتال تحقیق می کنم و یکی از سایت هایی که با آن همکاری دارم سایت مستر وایز می باشد.

نوشته های مشابه

دیدگاهتان را بنویسید

دکمه بازگشت به بالا