فایل robots.txt

شاید بتوان گفت که اولین کاری که بعد از طراحی سایت باید انجام دهید این است که به ربات های گوگل و دیگر موتورهای جست و جو  اعلام کنید که وبسایت شما فعال است تا صفحات سایت شما توسط این موتورهای جست و جو crawl شود. برای این کار وبمستران فایل robots.txt را می سازند تا از این طریق اولین گام سئو سایت شما برداشته شود. این فایل در نحوه ایندکس شدن مطالب سایت شما بسیار تاثیر گذار است و در نتیجه برای ساخت این فایل باید نکاتی را مد نظر داشته باشید. در تعریف اولیه می توان چنین گفت که فایل robots.txt یک فایل متنی است که به ربات‌ موتورهای جستجو  می گوید که کدام صفحات وبسایت شما را خزش کرده یا کدام صفحات را باید نادیده بگیرد.

فایل robots.txt در بسیاری از موارد برای کسب رتبه بهتر در گوگل به شما کمک می کند. برای مثال:

• اگر چند محتوای تکراری در وبسایت شما ایجاد شده باشد می توانید از طریق robots.txt یکی از آنها را disallow کنید. این کار باعث می شود که مطالب شما با هم رقابت بیهوده نداشته باشند.
• با استفاده از robots.txt می توانید بخشی از سایت را در دسترس عموم قرار ندهید.
•  اجازه ندهید ربات‌ها برخی فایل‌های روی سایتتان (مانند فایل‌های PDF یا تصاویر) را ایندکس کرده و در فهرست نتایج نمایش دهند.
•  برای ربات‌ها یک زمان تأخیر در خزیدن تعریف کنید تا وقتی سایت شلوغ می‌شود، سرعت پایین نیاید.

چک کردن وجود فایل robots.txt برای یک سایت

برای اینکه فایل robots.txt یک سایت را ببینید کافی است در انتهای ریشه دامین اصلی سایت یک اسلش گذاشته و عبارت robots.txt را تایپ کنید. مانند مثال زیر:
Example.com/robots.txt
به این ترتیب، محتویات فایل robots.txt آن سایت را مشاهده خواهید کرد.
چنانچه سایت دارای فایل robots.txt نباشد، با تایپ کردن آدرس ذکرشده در آدرس بار، با خطای ۴۰۴ مواجه خواهید شد.

نحوه ساخت فایل robots.txt

۱- برای ساخت فایل robots.txt به صفحه اصلی‌هاست خود در سی پنل یا دایرکت ادمین بروید.
۲- سپس بر روی file manager کلیک کنید.
۳- وارد پوشه public_html شوید.
۴- در این پوشه یک فایل جدید به نام robots.txt ایجاد کنید.
۵- بر روی فایلی که ایجاد کرده‌اید دو بار کلیک نمایید تا در کامپیوترتان ذخیره شود. سپس آن را با برنامه notepad باز کنید و دستورات لازم را در آن وارد کرده و تغییرات را ذخیره کنید.
۶- فایل را مجدداً درهاست خود جایگزین فایل قبلی نمایید.
در تمام مراحل توجه داشته باشید که فایل robots.txt نسبت به کوچکی و بزرگی حروف حساس است. نام خود فایل باید با حروف کوچک نوشته شود. در نوشتن دستورات نیز به کوچکی یا بزرگی نام فایل‌ها توجه کنید.

دستورات قابل پشتیبانی در فایل robots.txt

به طور کلی پنج دستور مهم در فایل robots.txt وجود دارد:

دستور user-agent

دستور user-agent به تنهایی نمی‌تواند یک دستور کامل باشد، بلکه باید در کنار یکی از سه دستور بعدی استفاده شود. این دستور نوع رباتی که باید از دستورات بعدی اطاعت کند را مشخص می‌کند.
برای مثال اگر قصد داشته باشید برای ربات‌های گوگل دستوری صادر کنید، نام ربات‌های گوگل (googlebot) را می‌نویسید. هم‌چنین اگر دستور برای تمام ربات‌هاست باید در مقابل user-agent: از علامت ستاره (*) استفاده شود.

دستور disallow

بعد از اینکه ربات‌های موردنظر مشخص شدند، وقت آن است تا برایشان دستور صادر شود. دستور disallow به معنی «اجازه ندادن» است. بنابراین طبعاً باید صفحاتی را که ربات مذکور نباید کرول کند (بخزد) را در مقابل آن نوشت. توجه داشته باشید که روت دامین نباید نوشته شود و فقط بعد از اسلش را بنویسید.  نکته دیگر این‌که، چنانچه قصد دارید چندین صفحه را disallow کنید، باید چند دستور disallow بنویسید. به مثال زیر توجه کنید:
User-agent: *
Disallow: /products/content/
Disallow: /local/enterprise/confirm
Disallow: /researchtools/ose/
Disallow: /page-strength/*
Disallow: /thumbs/*

دستور allow

دستور allow به معنی اجازه دادن است و همان طور که حدس می‌زنید به ربات‌های مشخص‌شده اجازه می‌دهد صفحاتی را که در مقابل این دستور نوشته می‌شوند بخزند.
البته نوشتن این دستور ضرورتی ندارد؛ چراکه ربات‌ها به صورت پیش‌فرض تمام صفحات سایت را می‌خزند. با این حال برخی وبمستران برای تأکید بر برخی صفحات سایتشان، از دستور allow استفاده می‌کنند. نحوه استفاده از دستور allow نیز دقیقاً مانند دستور disallow است.

دستور crawl-delay

این دستور می‌تواند بر سرعت لود صفحات سایتتان اثر بگذارد. به این ترتیب سرعت سایت به دلیل ورود تعداد زیاد خزنده‌ها کاهش پیدا نمی‌کند. شما می‌توانید عددی را در مقابل این دستور تایپ کنید. این عدد نشان می‌دهد که ربات‌های تعیین شده باید به آن مقدار ثانیه صبر کرده و سپس سایت را بخزند. البته توجه داشته باشید که این دستور برای ربات‌های گوگل اثر ندارد.

دستور sitemap

در مقابل این دستور باید آدرس سایت مپ را وارد کنید. این دستور نیازی به دستور user-agent ندارد.

قرارد دادن فایل robots.txt در سرچ کنسول گوگل

بعد از اینکه فایل robots.txt خود را ساختید، باید آن را در کنسول گوگل نیز قرار دهید. به این ترتیب ربات‌های گوگل خیلی سریع‌تر به صفحات allow یا disallow سایت شما دسترسی پیدا خواهند کرد و سایتتان را سریع‌تر می‌خزند.
برای این منظور چنانچه قبلاً در کنسول گوگل ثبت‌نام نکرده باشید باید مراحل ثبت‌نام را انجام دهید.
بعد از انتخاب سایت موردنظر، وارد صفحه‌ سرچ کنسول گوگل می شوید که چنانچه قبلاً فایل robots.txt را آپلود کرده باشید، محتویات فایل قبلی را نشان می‌دهد.
در غیر این صورت فایل robots.txt را از نوار پایین صفحه آپلود کرده و دکمه submit را کلیک نمایید.
به همین سادگی، فایل شما به گوگل معرفی می‌شود و گوگل ربات‌هایش را طبق راهنمای شما به سمت سایتتان روانه خواهد کرد.