بررسی robots.txt و نقشه سایت

robots.txt به خزنده‌ها اعلام می‌کند کدام بخش‌های سایت را نخزند، و نقشهٔ سایت به آن‌ها می‌گوید چه نشانی‌هایی هست و آخرین به روزرسانی هر کدام کی بوده. اگر صفحه‌ای از سایت ایندکس نمی‌شود، پیش از هر کار دیگر باید همین دو فایل را نگاه کنید.

بدترین رویداد برای یک سایت در یک خط خلاصه می‌شود: Disallow: / . هر محیط آزمایشی این خط را دارد و درست هم هست، اما وقتی سایت از محیط آزمایشی به سرور اصلی می‌رود معمولا همراهش منتقل می‌شود و کل سایت را از گوگل بیرون می‌برد. هیچ هشداری هم جایی نمایان نمی‌شود؛ فقط ترافیک ظرف چند هفته به صفر میل می‌کند و کسی علتش را نمی‌داند. بعد از هر انتقال سایت، همان روز نخست این را وارسی کنید.

موردی که پیوسته روی سایت‌های وردپرسی داخل کشور می‌بینیم مسدود کردن wp-content است. این منطق زمانی درست بود و امروز نیست: گوگل برای تشخیص سازگاری صفحه با موبایل باید CSS و جاوااسکریپت آن را ببیند، و همهٔ آن‌ها درون wp-content هستند. با مسدود کردن آن پوشه، گوگل صفحه را بی استایل می‌بیند و دربارهٔ صفحه‌ای بی شکل داوری می‌کند.

در مورد نقشهٔ سایت، عددی که دیدن دارد فاصلهٔ میان شمار نشانی‌های نقشه و شمار صفحات ایندکس شده در سرچ کنسول است. اگر نقشه هزار نشانی دارد و گوگل دویست تا را ایندکس کرده، ایراد از نقشه نیست؛ گوگل هشتصد صفحه را دیده و ارزش ایندکس ندانسته. آن وقت پرسش درست دربارهٔ کیفیت آن صفحات است، نه فایل نقشه.

فایل را سرور ما مستقیم از دامنهٔ شما می‌خواند؛ هیچ سرویس بیرونی و هیچ هزینه‌ای در کار نیست. اگر robots.txt نقشهٔ سایت را اعلام نکرده باشد، مسیرهای متداول یعنی sitemap.xml و sitemap_index.xml و wp-sitemap.xml هم آزموده می‌شوند. الگویی که پیوسته می‌بینیم: شمار زیادی از سایت‌های وردپرسی داخل کشور هنوز wp-content را مسدود نگه داشته‌اند و همین باعث می‌شود گوگل صفحه را بدون CSS ببیند و آن را سازگار با موبایل نشمارد.

اجرای این ابزار روی زیرساخت خودمان است و هیچ دادهٔ خریداری شده‌ای پشت آن نیست، پس هزینه ندارد و همین طور می‌ماند. تنها محدودیتش یک سقف روزانه است که نمی‌گذارد یک ربات کل ظرفیت را اشغال کند.

سقف روزانه به ازای هر بازدیدکننده شمرده می‌شود. اگر بیش از آن نیاز دارید، یک حساب بی هزینه سقفتان را بالا می‌برد.

همه ابزارهای سئو