مرجع آموزش‌های تخصصی سئو، توسعه وب و رشد کسب‌وکار.
آموزش‌های گام‌به‌گام و داده‌محور بر پایه پروژه‌های واقعی و استانداردهای روز دنیا.
- ۱مفهوم، با اینفوگرافیک
- ۲ابزار هوش مصنوعی
- ۳روش حرفه‌ای
موتور جستجو چگونه کار می‌کند
موتور جستجو وب را زنده نمی‌گردد؛ از نسخه‌ای جواب می‌دهد که قبلا خوانده و در فهرست گذاشته است. پس رتبه گرفتن یعنی اول پیدا شدن، بعد درست خوانده شدن، و آخر بهتر بودن از بقیه فهرست.
- درس ۱ از ۲
- مقدماتی
- رایگان، بدون ثبت نام
از لینک تا نتیجه: چهار قدم موتور جستجو
-
۱
خزش
خزنده صفحه را از راه لینک و سایت مپ پیدا می‌کند.
-
۲
رندر
صفحه مثل مرورگر اجرا می‌شود تا محتوای جاوااسکریپتی هم دیده شود.
-
۳
ایندکس
نسخه فهمیده شده صفحه در فهرست بایگانی می‌شود.
-
۴
رتبه
موقع جستجو، فهرست بر اساس ربط و کیفیت و بافت مرتب می‌شود.
این تصویر ساده شده است؛ پشت هر قدم ده‌ها سیستم هست که جزئیاتشان را فقط خود گوگل می‌داند.
آخرین بررسی: فکت‌ها و نام ابزارهای این درس در همین تاریخ با منابعشان بازبینی شده‌اند.
گوگل از کجا می‌فهمد صفحه شما وجود دارد؟
خزنده گوگل وب را از روی لینک‌ها می‌پیماید: از صفحه‌ای که می‌شناسد به صفحه‌ای که نمی‌شناسد. سایت مپ همان فهرست رسمی است که خودتان به او می‌دهید و لینک داخلی همان راهی است که از یک صفحه شناخته شده به صفحه تازه می‌رسد. صفحه‌ای که نه لینکی به آن اشاره می‌کند و نه در هیچ سایت مپی هست، از نگاه خزنده اصلا وجود ندارد.
فایل robots.txt همین جا وارد می‌شود و رایج‌ترین اشتباه سئو هم دقیقا همین جاست: robots.txt درباره خزش حرف می‌زند، نه درباره ایندکس. اگر مسیری را در آن ببندید، گوگل محتوای صفحه را نمی‌خواند؛ ولی اگر جای دیگری لینکی به همان آدرس باشد، ممکن است خود آدرس بدون توضیح در نتایج ظاهر شود. برای بیرون نگه داشتن یک صفحه از نتایج، تگ noindex لازم است و آن تگ فقط وقتی خوانده می‌شود که خزش همان صفحه آزاد باشد.
یک نکته که کمتر گفته می‌شود: گوگل فقط یک خزنده ندارد. مستندات خودش فهرست بلندی از خزنده‌ها و واکشی کننده‌های جداگانه دارد که هر کدام کار متفاوتی می‌کنند، از خزنده اصلی جستجو تا واکشی‌هایی که در لحظه و به درخواست کاربر اجرا می‌شوند.
چرا گوگل باید صفحه را مثل مرورگر اجرا کند؟
خزیدن یعنی گرفتن فایل. فهمیدن صفحه کار بعدی است و گوگل برای آن صفحه را رندر می‌کند: تقریبا همان کاری که مرورگر شما انجام می‌دهد، تا محتوایی که با جاوااسکریپت ساخته می‌شود هم دیده شود.
نکته عملی این است که رندر منابع لازم دارد و همیشه بلافاصله بعد از خزش اتفاق نمی‌افتد. سایتی که متن اصلی صفحه‌هایش فقط بعد از اجرای جاوااسکریپت ظاهر می‌شود، بیشتر در معرض دیر فهمیده شدن است تا سایتی که همان متن را در HTML اولیه می‌فرستد. این دلیل فنی همان توصیه ساده‌ای است که همه شنیده‌اند: متن مهم را داخل خود صفحه بگذارید.
یک آزمایش ساده و رایگان: سورس اولیه صفحه را نگاه کنید، نه چیزی که در مرورگر می‌بینید. هر چه آنجا نیست، برای گوگل یک مرحله دیرتر و شکننده‌تر است.
بعد از خوانده شدن، صفحه کجا بایگانی می‌شود؟
نسخه فهمیده شده صفحه وارد فهرست می‌شود؛ بایگانی بزرگی که برای هر عبارت می‌داند کدام صفحه‌ها درباره‌اش حرف زده‌اند. ایندکس شدن به معنی رتبه گرفتن نیست، فقط یعنی صفحه واجد شرایط نمایش شده است.
اینجا گوگل یک تصمیم دیگر هم می‌گیرد که خیلی‌ها از آن خبر ندارند: از میان صفحه‌های شبیه به هم، یکی را نسخه اصلی انتخاب می‌کند. تگ canonical شما در این تصمیم یک راهنماست، نه یک دستور، و مستندات خود گوگل صریح می‌گوید ممکن است نسخه دیگری را اصلی بداند. برای همین در سرچ کنسول وضعیت‌هایی مثل Alternate page with proper canonical tag را می‌بینید: صفحه نه خطا دارد و نه ایندکس شده است.
تگ noindex هم در همین مرحله معنی پیدا می‌کند. بعد از خوانده شدن اثر می‌کند، نه قبلش، و همین یک جمله فرق بین بستن یک مسیر و پنهان کردن یک صفحه را روشن می‌کند.
از کشف شدن تا دیده شدن
-
۱
کشف شده
آدرس از راه لینک یا سایت مپ به دست گوگل رسیده است.
-
۲
خزیده شده
فایل صفحه واقعا گرفته شده و robots.txt جلویش را نگرفته است.
-
۳
ایندکس شده
نسخه فهمیده شده در فهرست نشسته و noindex یا canonical بیرونش نکرده است.
-
۴
مرتبط دیده شده
برای یک جستجوی مشخص، گوگل این صفحه را جواب قابل نمایش می‌داند.
باریک شدن نوارها فقط ترتیب مرحله‌ها را نشان می‌دهد و هیچ عددی در آن نیست. هر پله پله قبلی را لازم دارد و هیچ کدام پله بعد را تضمین نمی‌کند.
موقع جستجو واقعا چه اتفاقی می‌افتد؟
وقتی کسی جستجو می‌کند، گوگل صفحه‌های مرتبط را از فهرستش برمی دارد و مرتبشان می‌کند. چارچوبش را خود گوگل در مستندات How Search works گفته است: ربط محتوا به همان جستجو، کیفیت و اعتبار، تجربه استفاده، و بافت جستجوگر یعنی زبان و مکان و دستگاه. جزئیات سیستم‌ها محرمانه است و هیچ کس بیرون گوگل وزن دقیق این عامل‌ها را نمی‌داند؛ هر کس بگوید می‌داند، دارد حدس می‌زند.
یک واقعیت که تازه کارها را گیج می‌کند: رتبه یک عدد ثابت نیست. همان صفحه برای دو نفر در دو شهر یا روی دو دستگاه می‌تواند دو جای متفاوت بایستد، چون بافت جستجو بخشی از محاسبه است. به همین دلیل «رتبه من چند است» بدون گفتن کجا و با چه دستگاهی، سوال کاملی نیست.
اگر همین تصویر را از زاویه کسب و کار می‌خواهید، مقاله سئو سایت چیست در وبلاگ همین سایت همان زنجیره را با مثال‌های تجاری روایت می‌کند.
این زنجیر معمولا کجا پاره می‌شود
در عمل، صفحه‌ای که دیده نمی‌شود سر یکی از چهار حلقه گیر کرده است و ترتیب بررسی هم همان ترتیب زنجیر است. اول: اصلا لینکی یا سایت مپی به این صفحه می‌رسد؟ دوم: robots.txt جلوی خزش را نگرفته است؟ سوم: تگ noindex یا یک canonical اشتباه صفحه را بیرون فهرست نگه نداشته؟ چهارم: صفحه ایندکس شده ولی برای عبارتی که شما هدفش می‌دانید مرتبط دیده نمی‌شود؟
حالت چهارم بیشتر از سه تای اول پیش می‌آید و ناامیدکننده‌تر هم هست، چون هیچ خطایی در هیچ گزارشی نمی‌بینید. صفحه سالم است؛ گوگل فقط جواب بهتری برای آن جستجو سراغ دارد. آنجا کار از عیب یابی فنی به فهمیدن هدف جستجو و شکل صفحه نتایج منتقل می‌شود، و درس بعدی همین مسیر، آشنایی با صفحه نتایج گوگل، برای همین نوشته شده است.
چه چیزی صفحه را قابل رسیدن نگه می‌دارد و چه چیزی بی سر و صدا جلویش را می‌گیرد
قابل رسیدن نگه می‌دارد
- لینک داخلی از صفحه‌ای که خودش خزیده می‌شود
- حضور آدرس در سایت مپ
- متن اصلی داخل HTML اولیه
- canonical که به خود همان صفحه اشاره می‌کند
بی سر و صدا جلویش را می‌گیرد
- مسیر بسته شده در robots.txt
- تگ noindex جامانده از دوره ساخت سایت
- canonical که به صفحه دیگری اشاره می‌کند
- صفحه‌ای که متنش فقط با جاوااسکریپت ساخته می‌شود
هیچ کدام از ستون راست خطای سرچ کنسول تولید نمی‌کند؛ برای همین دیر پیدا می‌شوند.
هوش مصنوعی در این کار
خزنده‌های هوش مصنوعی قدم اول را عین گوگل برمی دارند: صفحه را می‌گیرند. تفاوت در قدم‌های بعد است. گوگل صفحه را در فهرستی می‌گذارد که آدرس شما را به کاربر نشان می‌دهد؛ خزنده یک مدل، متن را برای آموزش یا برای جواب دادن در همان لحظه برمی دارد و ممکن است جواب را بدهد بی آنکه کسی وارد سایت شما شود. تصمیم درباره باز یا بسته بودن سایت برای این خزنده‌ها امروز بخشی از سئوست، نه یک بحث حاشیه‌ای.
ابزارهایی که واقعا کمک می‌کنند
- Google Search Console تنها جایی که داده واقعی خزش و ایندکس سایت خودتان را دارد. هوش مصنوعی نیست، ولی هر تحلیلی که این درس را عملی کند از همین داده شروع می‌شود.
- Claude برای فهمیدن یک پیام سرچ کنسول یا یک تگ ناآشنا خوب است. ایران در فهرست کشورهای پشتیبانی شده انتروپیک نیست و پرداخت رسمی از ایران انجام نمی‌شود؛ صفحه خودش این را با منبع می‌گوید.
- Gemini همان کاربرد توضیح دادن مفهوم‌ها را دارد. صفحه خود گوگل می‌گوید اپ وب جمینای در بیش از دویست و سی کشور کار می‌کند و ایران در آن فهرست نیست.
- Seemerce لایه دسترسی و پرداخت برای ایران، جدا از خود ابزارها: چه چیزی واقعا باز می‌شود و هزینه‌اش چطور پرداخت می‌شود.
کجا نتیجه معکوس می‌دهد
مدل زبانی درباره «چرا صفحه من ایندکس نشد» با اطمینان داستان می‌سازد، چون نه گزارش شما را می‌بیند و نه کسی بیرون گوگل جزئیات آن سیستم‌ها را می‌داند. اول گزارش سرچ کنسول را بخوانید، بعد از مدل توضیح مفهوم بخواهید نه تشخیص. سمت دیگر ماجرا هم یک انتخاب واقعی است: بستن خزنده‌های هوش مصنوعی محتوایتان را از داده مدل‌ها بیرون نگه می‌دارد، ولی شما را از ارجاع گرفتن در موتورهای پاسخ هم بیرون می‌گذارد. یکی از این دو را باید انتخاب کنید و هر دو هزینه دارند.
منبع‌ها: Google: Overview of Google crawlers and fetchers Anthropic: does Anthropic crawl the web, and how can site owners block the crawler llms.txt proposal
حد این توصیه
این درس تصویر کلی است، نه ابزار عیب یابی. اگر صفحه مشخصی از سایتتان ایندکس نمی‌شود، جواب در گزارش‌های سرچ کنسول همان سایت است و هیچ توضیح عمومی، از جمله همین صفحه، جایش را نمی‌گیرد.
از تجربه خود ما
روی همین سایت، در robots.txt به شانزده خزنده هوش مصنوعی با نام اجازه داده‌ایم و فایل llms.txt هم با هر انتشار دوباره ساخته می‌شود؛ فهرست کامل در wp-content/themes/rgb/inc/indexing.php است و خروجی اش را می‌شود در seemerce.com/robots.txt دید. این یک انتخاب است نه پیش فرض، و هزینه‌اش را هم می‌دانیم: محتوای ما وارد داده مدل‌ها می‌شود. آن را پذیرفته‌ایم چون ارجاع گرفتن در موتورهای پاسخ برای یک آژانس بیشتر می‌ارزد.
سوال‌هایی که واقعا پرسیده می‌شوند
صفحه‌ام ایندکس شده ولی هیچ بازدیدی ندارد. یعنی چه؟
یعنی زنجیر تا حلقه سوم سالم بوده و در حلقه چهارم گیر کرده است: گوگل صفحه را دارد، ولی برای آن جستجو جواب بهتری سراغ دارد. این یک خطای فنی نیست و در هیچ گزارشی به شکل خطا دیده نمی‌شود؛ کار از اینجا به هدف جستجو و کیفیت جواب منتقل می‌شود.
فرق robots.txt با تگ noindex چیست؟
robots.txt خزش را کنترل می‌کند و noindex نمایش در نتایج را. اگر مسیری را در robots.txt ببندید، گوگل تگ noindex داخل آن صفحه را هم نمی‌خواند، چون اصلا صفحه را نمی‌گیرد. برای بیرون ماندن یک صفحه از نتایج باید خزش آزاد بماند و noindex خوانده شود.