آموزش بهینه سازی فایل robots.txt برای سئوReviewed by SMZ on Mar 16Rating: 3.5 آموزش بهینه سازی فایل robots.txt برای سئوآیا درباره اهمیت فایل ربات های گوگل یا robots.txt چیزی می دانید؟! خب شاید بپرسید اصلا فایل robots.txt چیست و چه اهمیتی در سئو دارد؟ در واقع فایل robots.txt به ربات های موتور های جستجوگر از قبیل گوگل و بینگ دستور می دهد که کدام یک از بخش های سایت را ببینید و یا کدام بخش را بررسی نکنند و مکان دقیق نقشه سایت را به آنها خواهد داد.

آیا درباره اهمیت فایل ربات های گوگل یا robots.txt چیزی می دانید؟! خب شاید بپرسید اصلا فایل robots.txt چیست و چه اهمیتی در سئو دارد؟ در واقع فایل robots.txt به ربات های موتور های جستجوگر از قبیل گوگل و بینگ دستور می دهد که کدام یک از بخش های سایت را ببینید و یا کدام بخش را بررسی نکنند و مکان دقیق نقشه سایت را به آنها خواهد داد.

 

Optimize-Robots.txt-For-Seo

آیا من به فایل robots.txt نیاز دارم؟

جواب این سوال راحت است اگر آدم منطقی باشید صد در صد دریافت کرده اید که به این فایل نیاز دارید و دقیقا پیشنهاد ما هم همین هست. پس شروع می کنیم به نحوه ساخت و بهینه سازی فایلrobots.txt

 

فایل robots.txt کجاست؟ چگونه آنرا بسازم؟

این فایل اکثر مواقع در پوشه اصلی ( روت ) سایت شما موجود بوده و شما می توانید از طریق فایل منیجر هاست خود به آن دسترسی داشته باشید.

اگر این فایل را ندارید به راحتی می توانید آنرا بسازید. یا راحتر، میریم سراغ یک راه میانبر برای ایجاد و تغییر در فایل robots.txt!

شما با استفاده از افزونه wordpress seo by yoast می توانید از بخش سئو > tools وارد file editor شده و اقدام به ایجاد یا تغییر فایل robots.txt کنید.

 

چگونه از robots.txt استفاده کنیم؟

این فایل یک ساختار ساده و سبک دارد. اولین خط این فایل عبارت User-agent است. این عبارت مشخص می کنید که کدام یک از ربات ها می توانند از این فایل استفاده کنند. اگر روی * قرار داده شود شامل تمامی ربات ها می شود و اگر Googlebot قرار داده شود ربات های گوگل و در صورتی که Bingbot را قرار دهید مشخص است که ربات های بینگ به سایت شما دسترسی دارند. پس پیشنهاد می کنیم روی * قرار دهید تا شامل تمامی ربات ها شود.

خطوط بعدی که با allow و disallow شروع شده مشخص می کند که این ربات ها کدام قسمت سایت را بررسی و ایندکس کنند.

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html

 

افزودن نقشه سایت به فایل robots.txt

اگر از افزونه محبوب wordpress seo by yoast یا افزونه xml sitemap برای سئوی سایت و ساخت نقشه سایت استفاده می کنید این افزونه ها بصورت خودکار نقشه سایت را به فایل Robots.txt اضافه می کنند. در هر صورت اگر می خواهید بصورت دستی اضافه کنید توسط خط زیر می توانید آنرا اضافه کنید.

Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

موفق باشید.