بررسی robots.txt و نقشه سایت

robots.txt به خزنده ها اعلام می کند کدام بخش های سایت را نخزند، و نقشهٔ سایت به آن ها می گوید چه نشانی هایی هست و آخرین به روزرسانی هر کدام کی بوده. اگر صفحه ای از سایت ایندکس نمی شود، پیش از هر کار دیگر باید همین دو فایل را نگاه کنید.

بدترین رویداد برای یک سایت در یک خط خلاصه می شود: Disallow: / . هر محیط آزمایشی این خط را دارد و درست هم هست، اما وقتی سایت از محیط آزمایشی به سرور اصلی می رود معمولا همراهش منتقل می شود و کل سایت را از گوگل بیرون می برد. هیچ هشداری هم جایی نمایان نمی شود؛ فقط ترافیک ظرف چند هفته به صفر میل می کند و کسی علتش را نمی داند. بعد از هر انتقال سایت، همان روز نخست این را وارسی کنید.

موردی که پیوسته روی سایت های وردپرسی داخل کشور می بینیم مسدود کردن wp-content است. این منطق زمانی درست بود و امروز نیست: گوگل برای تشخیص سازگاری صفحه با موبایل باید CSS و جاوااسکریپت آن را ببیند، و همهٔ آن ها درون wp-content هستند. با مسدود کردن آن پوشه، گوگل صفحه را بی استایل می بیند و دربارهٔ صفحه ای بی شکل داوری می کند.

در مورد نقشهٔ سایت، عددی که دیدن دارد فاصلهٔ میان شمار نشانی های نقشه و شمار صفحات ایندکس شده در سرچ کنسول است. اگر نقشه هزار نشانی دارد و گوگل دویست تا را ایندکس کرده، ایراد از نقشه نیست؛ گوگل هشتصد صفحه را دیده و ارزش ایندکس ندانسته. آن وقت پرسش درست دربارهٔ کیفیت آن صفحات است، نه فایل نقشه.

فایل را سرور ما مستقیم از دامنهٔ شما می خواند؛ هیچ سرویس بیرونی و هیچ هزینه ای در کار نیست. اگر robots.txt نقشهٔ سایت را اعلام نکرده باشد، مسیرهای متداول یعنی sitemap.xml و sitemap_index.xml و wp-sitemap.xml هم آزموده می شوند. الگویی که پیوسته می بینیم: شمار زیادی از سایت های وردپرسی داخل کشور هنوز wp-content را مسدود نگه داشته اند و همین باعث می شود گوگل صفحه را بدون CSS ببیند و آن را سازگار با موبایل نشمارد.

اجرای این ابزار روی زیرساخت خودمان است و هیچ دادهٔ خریداری شده ای پشت آن نیست، پس هزینه ندارد و همین طور می ماند. تنها محدودیتش یک سقف روزانه است که نمی گذارد یک ربات کل ظرفیت را اشغال کند.

سقف روزانه به ازای هر بازدیدکننده شمرده می شود. اگر بیش از آن نیاز دارید، یک حساب بی هزینه سقفتان را بالا می برد.

همه ابزارهای سئو