موتور های جستجو چگونه کار می کنند

اگر می خواهید سایتتان در نتایج اول موتور های جستجو قرار بگیرند ابتدا باید عملکرد موتور های جستجو را فرابگیرد، در زمان های قدیم، آنجایی که نه اینترنت بود و نه موتور جستجو، آنچه که باعث می شد تا افراد از یک کتابخانه بازدید کنند و یا در صفحه راهنمای مشاغل به دنبال اطلاعات یک فروشگاه بخصوص بگردند، هدف جستجو نام داشت. چیزی که نشان می دهد شخصی در تلاش است تا در دنیای نتایج، به هدف اش دست پیدا کند.

تصور کنید، درست آن روزهایی که نقشه های آنلاین به این وسعت نبود، مردم برای آگاهی از مکانی که حضور داشتند، با یک شماره تماس گرفته و شخص پاسخگویی بر اساس شناختی که از محله ها و مناطق داشت، گاها بصورت حدس و گمان، موقعیت مکانی را اعلام می کرد. حال در عصری زندگی می کنید که همه اینها در ابعاد وسیع تر، تنها در جیب کت شما جای گرفته است.

از طرز تهیه یک غذای خوشمزه گرفته تا یافتن بهترین فروشگاه آنلاین با محصولاتی دارای تخفیف های جشنواره و پاسخ به این سوال که چه راه های برای درمان یک بیماری وجود دارد، همگی جزئی از پایگاه اطلاعات عظیمی است که داده های اش از منابع مختلف گردآوری می شود. در این مقاله همراه ما باشید تا به بررسی سازوکار موتورهای جستجو بپردازیم.

موتور جستجو چیست؟

سرچ انجین یا موتور جستجو، برنامه ای مبتنی بر جمع آوری اطلاعات و ارایه داده ها است. به زبان ساده، موتور جستجو بر اساس محتوای موجود در پایگاه داده، به پرسش ها و خواسته ها به روش های مختلف پاسخ منطبق ارایه می کند. بیایید فرض کنیم که شما به دنبال نسخه قدیمی کتابی هستید. موتور جستجو بر اساس اطلاعاتی که از سایت های ارایه و توزیع کتاب دارد، بهترین و مطمئن ترین نتیجه را در صفحه ای به همین منظور به نمایش می گذارد.

فروشنده های کتاب نیز با توجه به معیارهای بخصوص، برای اطمینان از آنچه که دقیقا مدنظرتان است، در دسترس هستند و هرچقدر صفحات حاضر در نتایج جستجو، بهینه تر و محبوب تر باشند، موتور جستجو برای حفظ رضایت شما به عنوان کاربر، آنها را رتبه بندی می کند.

ماهیت موتورهای جستجو، پاسخگو بودن شان است. آنها برای یافتن و گردآوری داده ها از سرتاسر وب شکل گرفته اند تا شما قادر باشید هر چیزی را بیابید و برای اش به کنکاش بپردازید. اگر مالک سایتی هستید و قصد دارید تا خدمات تان را به دست مخاطبین برسانید، ابتدا باید محتوای شما برای موتورهای جستجو قابل مشاهده باشد. این جمله در عین سادگی، به یکی از چالش بر انگیز ترین مسایل در نوع خود مبدل گشته و هزینه های زیادی را در بخش منابع مالی و انسانی به همراه داشته است.

اما سوال مهم اینجاست، موتورهای جستجو چگونه اطلاعات یک وب سایت را به دست جستجوگران می رسانند؟ برای درک بهتر این سوال، بیایید نگاهی به درون ساختار موتور جستجو بیاندازیم.

موتورهای جستجو چگونه کار می کنند؟

همه چیز در اینترنت وجود دارد. از سفرنامه و خاطرات طبیعت گردی گرفته تا فروشگاه آنلاین. سرچ انجین ها به 3 روش کلی، اطلاعات را از وب سایت ها گرفته و در پایگاه داده ذخیره می کنند تا برای نمایش در صفحه نتایج، آماده شود.

خزیدن-Crawling: برنامه هایی به نام خزنده، که کارشان گشتن در سرتاسر اینترنت است، محتوای سایت ها را بررسی یا به بیان دیگر، خزش می کنند.

نمایه سازی-Indexing: وقتی اطلاعات از صفحات سایت جمعآوری شد، آنها را سازماندهی و برای ارایه به مخاطب آماده و در کتابخانه ای ذخیره می شوند. محتوایی که خزش شده باید بسیار ارزشمند و غنی از عناصر مناسب جهت کاربران موتور جستجو باشد.

رتبه‌بندی-Ranking: صفحه نتایج جستجو شامل محتوای سایت هایی است که بر اساس مرتبط ترین و بهترین پاسخ به جستجوی افراد، رتبه بندی می شوند.

وقتی درباره بات ها صحبت می کنیم، در واقع به ماهیت یک برنامه که نقش ربات هوشمندی را بر عهده دارد و می تواند یاد بگیرد، اشاره می شود. اشخاص با مراجعه به موتور جستجویی مانند گوگل، جمله یا عبارتی را با معانی مختلف جستجو می کنند تا بتوانند به پاسخ مورد نظر شان دست پیدا کنند. رابطه میان چیزی که جستجوگران برای یافتن نتایجی که از سایت های مختلف لیست می شوند، توسط موتور جستجو بر اساس قصد کاربر، با اطلاعات موجود تطبیق داده می شود. به همین ترتیب، سایت هایی که توانسته اند معماری ساختارشان را بسته به هدف جستجو بهینه کنند، حضور پررنگ تری در میدان رقابت خواهند داشت.

خزش چگونه انجام می شود؟

خزیدن به فرآیندی گفته می شود که در آن موتور های جستجو، بات های شان را برای یافتن محتوای جدید و یا بروز شده به سایت ها می فرستند. صفحه وب، عکس ها، کلیپ یا ویدئو، فایل های ورد و PDF و غیره، همگی از طریق لینک های داخلی و خارجی در دسترس این خزنده ها هستند.

بات های خزنده با شناسایی صفحات سایت شروع به خزش می کنند. این کار با دنبال کردن پیوند های موجود در صفحات آغاز و با یافتن URL های جدید ادامه پیدا می کند. با گشت و گذار در مسیرهایی که با لینک سازی داخلی طراحی شده، خزنده می تواند انواع محتوا را یافته و آن را برای ایندکس شدن، ارزیابی کند.

اینجاست که به اهمیت چیدمان مطالب از طریق لینک سازی استاندارد پی می بریم. عملکرد ربات ها را مانند رفتار یک انسان در نظر بگیرید که وارد ساختمانی شده و قصد دارد تا از طریق تابلوهای راهنما و مسیرهای داخل، به اتااق ها و بخش های مختلف سربزند. هرچقدر معماری ساختمان حرفه ای تر باشد، نتیجه پیمایش نیز بهتر خواهد بود.

ربات های خزنده از دستوراتی نیز برای دنبال کردن یک لینک در جهت کشف محتوا پیروی می کنند. این فرمان ها که به بصورت تگ شناسایی می شوند، در صورتی که پیمایش لینکی را منع کند، خزنده نیز از خزش در آن خودداری می کند. مهم ترین برچسب مربوط به ربات های خزنده، نوفالو نام دارد و به معنی عدم دنبال کردن لینک دارای تگ فوق است. فایل robots.txt واقع در ریشه هاست، دستوراتی را برای اطلاع ربات ها از قوانین حاکم در خود جای داده است.

چگونه صفحات ایندکس می شوند؟

ایندکس، درست بعد از خزش ربات ها در اینترنت شروع می شود. هرچند فرآیند این کار به فاکتورهای زیادی وابسته است، با اینحال موتورهای جستجو، اطلاعات یافته شده توسط خزنده ها را پردازش و در پایگاه عظیمی از داده ها نگهداری می کنند. مطالبی که خزش و ایندکس می شوند باید بقدری ارزشمند و با کیفیت باشند که موتور جستجو بتواند برای ارایه آنها به کاربران اش، اعتماد کند.

بررسی ارزش محتوا حین ایندکس و رتبه بندی بر عهده الگوریتم هایی است که وظیفه شان، اطمینان از رعایت قوانین و مناسب بودن از هر جهت است. موتور جستجوی گوگل از الگوریتم های زیادی برای این هدف بهره می برد که بسیاری از آنها دائما در حال بروزرسانی و آپدیت هستند. به عنوان مثال الگوریتم های گوگل قادر هستند سایت هایی که محتوای مقایر با واقعیت را عرضه می کنند شناسایی و یا برای مطالب حوزه پزشکی و سلامت، فاکتورهای بخصوصی را در نظر داشته باشند.

ایندکس صفحات و مطالب سایت پروسه ساده ای نیست و موتور جستجو باید بتواند از میان رقابت شدید که میان سایت های مختلف در جریان است، بهترین و مناسب ترین سایت را به کاربران اش نشان دهد. در سایت هایی که به معرفی و بررسی محصولات پرداخته می شود، استفاده از عکس و کلیپ هایی که وب مسترِ سایت، خود اش آنها را تهیه کرده، در کنار مطالب تحقیقاتی و ناب، می تواند یکی از عوامل موثر در ایندکس و در نهایت رتبه بندی خوب باشد.

چگونه موتورهای جستجو صفحات شما را رندر و ایندکس می کنند؟

اگر از امکان خزش ربات ها در سایت تان مطمئن هستید، حال وقت آن رسیده مطمئن شوید که صفحات قابل ایندکس شدن اند. اما نکته مهم اینجاست و باید بپذیرید، صرفا به این دلیل که سایت شما توسط موتور جستجو قابل خزش است، به این معنی نیست که باید ایندکس شود. پس از اینکه بات ها یک صفحه را پیدا کردند، موتور جستجو آن را درست مانند مرورگر رندر می کند.

رندر صفحات توسط موتور جستجو یعنی یک صفحه آنطور که کاربر می خواهد تجربه کند، ارزیابی شود. رندر صفحات سایت به تجربه کاربری UX و ترتیب اولویت مطالب می پردازد. در ذهن تان اینطور تصور کنید که مرحله رندر همان چیزی است که شما عینا در صفحه و بر روی مرورگر می بینید. پس این می تواند یک تجربه مشترک میان شما و ماشین باشد.

چرا می گوییم ماشین؟ موتور جستجو و خزنده هایی که بر روی سایت خزش می کنند، همان ماشین های وابسته به الگوریتم ها و کدهای نوشته شده هستند. آنها یاد میگیرند و آموزش داده می شوند. پس به عنوان مدیر سایت باید دقت داشته باشید که چگونه یک ماشین در سایت شما در حال آموختن است.

رتبه بندی در نتایج جستجو چگونه صورت می پذیرد؟

واژه ی “مرتبط ترین” و “با کیفیت ترین” را بخاطر بسپارید. وقتی یک نفر برای یافتن چیزی که در نظر دارد به جستجو می پردازد، سرچ انجین ها در پایگاه عظیم داده های شان به دنبال مرتبط ترین و با کیفیت ترین محتوا می روند و در نهایت آن را بسته به ارزش بیشتر برای انتخاب به کاربر پیشنهاد می دهند. صفحه ای که محتوای سایت ها برای پاسخ به افراد لیست می شود را سرپ می گوییم که شامل نتایج جستجوی رتبه بندی شده است.

یک موتور جستجو باید از اینکه نتایج مرتبط با جستجوی کاربران اش را به درستی رتبه بندی می کند، مطمئن شود. همانطور که اشاره کردیم، این فرآیند توسط الگوریتم‌ها و قوانین مرتبط به کیفیت محتوا ارزیابی می شوند. جالب است بدانید موتور جستجوی گوگل روزانه بیش از 200 آزمایش برای اطمینان از کیفیت نتایج صورت می دهد که در طول سال به اجرای آپدیت های بزرگ و قابل توجه می انجامد.

پاسخ به این سوال که موتور جستجو به دنبال چه معیارهایی است را باید در کنار چیزهایی که کاربران می خواهند قرار دهید. هرچقدر که ماشین برای کاربر اهمیت قائل می شود، شما هم باید سایت را بر اساس رضایت و تجربه خوب مخاطبین تان بهینه کنید. سرچ انجین مفید ترین پاسخ ها را در کم ترین زمان ممکن به نتایج جستجو هدایت می کنند و این امر در زبان های مختلف متفاوت تر است.

به عنوان مثال، موتور جستجوی گوگل برای برخی زبان ها از الگوریتم های بخصوصی بهره می برد تا بتواند معنی کلمات و عبارات را به درستی بفهمد و با جستجوی مخاطبین منطبق سازد. در گذشته درک این معانی به این جدیت وجود نداشت، استفاده از ترفندهای ساده برای رتبه گیری بسیار فراگیر بود. شما لینک مطالب تان را در لینکدونی ها درج می کردید و یا صدها کلمه کلیدی را در صفحه درج و مخفی می کردید تا طی دو روز به صدر نتایج بچسبید. اما با روی کار آمدن اهمیت توجه به هدف و نیت کاربر از یک جستجو و همچنین رضایت مخاطبین از محتوایی که برای شان انتخاب شده است، باعث شده تا موتورهای جستجو بتوانند میلیاردها صفحه را از نتایج جستجو حذف و تکامل قابل توجهی داشته باشند.

فاکتورهای مهم در رتبه بندی نتایج جستجو برای کاربر

گاهی نکاهی به سایت خود می اندازید، و به نتایج جستجو آمده و نظاره گر 10 محتوای رتبه بندی شده هستید. اینجاست که خلوت شما با خیالی خام شکل میگیرد و دیدتان را به واقعیت می بندد. اغلب بر این باور هستند که صرفا با طراحی یک سایت و چیدمان محصولات و همچنین نشر محتوا قادر هستند تا بین چند سایتی که می بینند، حضور داشته و خود را در چالشی میان سایت هایی که شاید به اندازه انگشت های دست هم نباشند تصور می کنند.

اگر وقتی به نتایج جستجو می نگرید، تنها چند سایت برای شما نقش رقیب را ایفا می کنند، باید بگوییم که سخت در اشتباه هستید. فرآیند جستجو و نمایش نتایج در واقع از میان صدها و میلیارها صفحه و سایت گزینش و بسته به حداکثر انطباق رتبه بندی می شوند. سوال پرتکراری که وجود دارد این است که چرا سایت شما در نتایج جستجو نشان داده نمی شود؟ هروقت به این موضوع خواستید بنگرید، در واقع باید خود را میان میلیون ها سایت و میلیارد ها صفحه متصور شوید.

وقتی شخصی در موتور جستجو برای کوئری به دنبال پاسخ است، با یک کلیک، حجم وسیعی از پردازش ها و الکوریتم ها اجرا می شوند تا در کمتر از کسر ثانیه، بهترین نتایج ممکن برای وی لیست شود. این کار بسیار پیچیده و در سطح کلان فوق العاده سخت است.

هرچند از تمام این سازوکار ها اطلاعات زیادی در دسترس نیست اما بر اساس پژوهش ها و تجربیات متخصصین و همچنین داده هایی که از جانب کارمندان موتور های جستجو منتشر شده، صدها عامل رتبه بندی وجود دارد که بخشی در مستندات و دستورالعمل های این سرچ انجین ها قابل بررسی است.

پرداختن به تمام نکات و معیارهای رتبه بندی در نتایج جستجو و شاخص های ارزیابی کیفیت کاری غیر ممکن است، زیرا از یک جهت این موارد دائما بروز می شوند و از طرفی دیگر الگوریتم ها نیز همواره در حال تکامل هستند. اما بر آن شدیم تا شما را با مهم ترین فاکتورهای رتبه بندی در نتایج جستجو آشنا کنیم:

شاخص های رتبه بندی در نتایج جستجو:

• نرخ تولید محتوا و توجه به بروز رسانی آنها
• شاخص های مربوط به وب وایتالز – core web vitals
• اعتبار پیوندهای دریافتی و انطباق موضوعی با سایت
• توجه به تولید محتوای غنی بر اساس عناصر بصری، عنوان و متای جذاب
• نگارش محتوا و توجه به املای درست زبان محلی
• توجه به ساختار محتوا نویسی و توزیع مطالب در سایت ( مانند پیلار کلاستر )
• لینک سازی اصولی و استاندارد در سایتو استفاده از انکرهای موثر
• سایت باید برای نمایش در تمام دستگاه ها مناسب باشد
• توجه به سوشال سیگنال و ترافیک شبکه های اجتماعی
• اهمیت تجربه کاربری در بخش تعامل با محتوا و محصولات
• تجربه کاربری در سایت با میزان تعامل مخاطبین به هنگام پیمایش صفحات
• رعایت قوانین محتوای موتورهای جستجو و گایدلاین های سرچ انجین ها

چه ارتباطی میان نتایج جستجو و رفتار کاربران وجود دارد؟

آیا برای موتور جستجو می نویسید یا برای مخاطب؟ پاسخ به این سوال در بیان ساده است، اما واقعیت این است که جواب واقعی نیازمند صداقت و شفافیت بیشتر است. تعداد زیادی از مدیران سایت ها و محتوا نویسان به جای توجه به تولید محتوای ارزشمندی که واقعا مخاطب را پای صفحه میخکوب کند، به فکر شمارش کلمات و لینک ها هستند.

آنها بیشتر به عبارت “فاکتورهای سئوی محتوا چیست؟” می پردازند تا نیازهای مخاطب و مشتری. اینکه با خود بگوییم یک موتور جستجو چه معیارهایی برای رتبه بندی دارد چیز اشتباهی نیست اما توجه به نیت کاربر از همه این موارد اهمیت دار تر است. جالب است بدانید مردم در جستجو های شان طوری رفتار می کنند که گویی با سرچ انجین صحبت می کنند. در واقع بیان کاربران جستجو گر بسیار ساده تر و روان تر شده و به نوعی نیازشان را مانند سخن گفتن با یک شخص، در موتور جستجو ابراز می کنند.

تجربه کاربری صرفا به معنی نمایش زیبای یک صفحه بسیار شکیل نیست که در موبایل و تبلت بخوبی باز می شود. بلکه تجربه کاربری در عدم پیمایش غنی در سایتی است که هرچقدر می چرخید، باز هم به چیزی که می خواهید نمی رسید. ذکر این جمله بسیار بموقع است که بگوییم، گاهی یک صفحه زیر یک ثانیه لود می شود اما محتوای مناسبی ندارد، با اینجال صفحه دیگری سه ثانیه زمان می برد تا بارگزاری شود ولی مخاطبی صبر می کند تا محتوای آن را مطالعه کند. این نشان دهنده اهمیت محتوای سایت در کنار سایر فاکتورهای تکنیکال است.

گوگل می گوید: وقتی شروع به نوشتن یک مطلب مفید می کنید و آن را برای سایرین در معرض نمایش قرار می دهید، مادامی که کاربران و افراد درباره اش صحبت کنند، آن را به اشتراک بگذارند و از همه مهم تر، موضوع مقاله شما را به دیگران توصیه کنند، این باعث می شود تا موتور جستجو نیز به اهمیت آن توجه بیشتری کند.

هرچند پرداختن به اینکه چه عواملی باعث تعامل محتوا با مخاطبین می شود بسیار طولانی است اما، موتورهای جستجو به جامعه مخاطبین شما نیز می نگرند. آنچه که درباره مطالب و محصولات شما در سرتاسر اینترنت مورد بحث قرار میگیرد نیز از درجه اهمیت بالایی برخوردار است. شاخص های اعتبار، تخصص و اعتماد را می توان به عنوان بخشی از ارکان حیاتی بقای یک سایت برای حضوری طبیعی در نتایج جستجو، برشمرد.

صفحه نتایج جستجو شامل چه بخش هایی است؟

وقتی کاربری برای کوئری که جستجو کرده، نتایج را مشاهده می کند، این صفحه شامل بخش های متنوعی است تا به تعامل و نحوه ارایه اطلاعات بهتر بپردازد. مانند صفحه آرایی مجلات و روزنامه ها که هر عنوان و خبری بصورت عکس و متن و یا تیتر بزرگ و کوچک با اشکال مختلف طراحی می شود. نتایج جستجو شامل ویژگی هایی است که بخش بزرگی مربوط به موتور جستجو است و در این قسمت ها، برای جستجوی بهتر به کاربر نمایش داده می شوند. مهم ترین فیچرهای نتایج جستجو عبارت اند از:

• Paid advertisements
• Featured snippets
• People Also Ask
• People Also Search
• Things To Know
• Topic zoom
• Refine / Broaden this search
• Local pack
• Knowledge panel
• Sitelinks

این ویژگی ها تنها بخشی از فیچرهایی است که نتایج جستجو آنها را بسته به نوع جستجو به صفحه سرپ اضافه می کند تا مخاطب ارتباط کاملی با چیزی که یافته پیدا کند. آنها داده ها و اطلاعاتی را نمایش می دهند که با نیاز مخاطب مطابقت دارد.

فناوری Visually browsable search results

نتایج جستجوی گوگل بر اساس ایده ها و خلاقیت بنا شده است. با روی کار آمدن الگوریتم MUM، تحولات بزرگی در آنچه که کاربران جستجو می کنند بوجود آمده است. فناوری Visually browsable در واقع به کنکاش بیشتر بر بستر فیچرهای بصری و تعاملی کمک می کند و تجربه یک جستجوی هوشمند که شما را در دریایی از داده های منطبق با خواسته تان در هر نقطه همراهی می کند.

آیا به هنگام مشاهده مسابقه یک اسکیت سوار، از طرح روی اسکیت او خوش تان آمده؟ می توانید تنها با یک کلیک، عکس طرح اسکیت را گرفته و همانجا دنبال لباس هایی با طرح مورد نظرتان بپردازید.این یک کار خارق العاده است و موتور جستجو را از یک جستجو متنی وارد فضایی مملو از هنر و عناصر بصری می کند. این تجربه به زودی برای مرورگر کروم و از طریق اپلیکیشن لنز نسخه دسکتاپ فراهم می شود.

چگونه صفحات ایندکس شده را در نتایج بیابیم؟

• اپراتور جستجو: قبل از اینکه سایت تان را در نتایج جستجو تصور کنید، باید بینش مناسبی از نحوه خزش و ایندکس در صفحات تان داشته باشید. اطلاع از صفحات لیست شده و دارای رتبه بندی بسیار مهم است. یکی از راه‌ های بررسی صفحات نمایه شده، اپراتور site:yourdomain.com است که صفحات سایت مان در سرپ را مشخص می کند.

صحبت از سرپ شد، جایی که به عنوان صفحه نتایج جستجو میزبان نتایج حاصل از سایت های رتبه بندی شده است. در ابتدا کاربر برای آنچه که می خواهد بیابد، پرسش یا عبارت مورد نظر اش را در سرچ انجین، جستجو می کند. در اینجا، واژه هایی که کاربران به پرس و جو می گذارند را کوئری می نامیم. در واقع کوئری همان چیزی هست که شخصی برای کنکاش درباره اش جستجو می کند.

تعداد نتایجی که موتور جستجو نمایش می دهد همواره دقیق نیست، اما به شما نمای بسیار کاملی از اینکه کدام صفحات از سایت شما ایندکس شده و در نتایج نشان داده می شوند، می دهد. پس جدای از احساسی که برای رتبه یک نتایج دارید، نگاه شما به سرپ باید تحلیلی باشد. اینجا جایی است که رقبای شما و الگوریتم ها همگی در جدال با جایی که در آن هستید، در چالش هستند.

• کنسول جستجو: برای آگاهی از نتایج دقیق، ابزار کنسول جستجو در سرچ انجین ها، همان جایی است که باید همواره چشم تان به آنجا باشد. به عنوان مثال در کنسول جستجوی گوگل، می توانید از گزارش Index Coverage استفاده کنید. این ابزار یک بخش تحلیلی و آماری است که در قالب نمودارهای مبتنی بر فاکتورهای متعدد، به صاحبان سایت، دید بسیار وسیع و تخصصی از وضعیت رتبه بندی و غیره می دهد.

چرا محتوای وب سایت در نتایج جستجو نشان داده نمی شود؟

• سایت شما نوپا و تازه تاسیس است و یا بعد از مدتی مجدد راه اندازی و خزش نشده است.
• لینک های خارجی به سایت شما پیوند داده نشده اند. این یعنی هیچکس شما را نمی شناسد.
• سایت شما برای هدف کاربر بهینه نشده و برای خزنده قابل درک نیست.
• خزنده ها قادر به خزش در سایت شما نیستند و یا مسیر واضحی در صفحات سایت تان شناسایی نکرده اند.
• متا ربات های سایت، خزش بات های موتور جستجو مسدود شده است.
• موتور جستجو سایت شما را به دلیل نقض قوانین جریمه کرده است.
• سایت شما دارای محتوایی است که برای نتایج جستجو مناسب نیست.

از موتور جستجو بخواهید سایت تان را ببیند

اینکه به موتورهای جستجو بگویید چگونه سایت شما را بخزند، می تواند به شما در کنترل بهتر ایندکس و رتبه بندی کمک کند. گاهی اوقات ممکن است صفحات اشتباهی در نتایج جستجو رتبه بندی شده و یا آنهایی که قبلا در صدر نتایج بوده اند نیز اکنون در دسترس نباشند. این یعنی شما در بخشی که به کنترل نحوه خزش بات ها در سایت ها مشغول است، ضعف های اساسی دارید.

در سایت همواره صفحاتی هستند که نیازی به خزش و ایندکس شدن ندارند.این موارد ممکن است شامل صفحاتی مانند پیوند های قدیمی، محتوای ضعیف و بی ارزش، مطالب تکراری، صفحات پروفایل، ورود و ثبت نام و از این قبیل باشند.

برای اینکه ربات های موتور جستجو را از خزش در برگه ها و پیوندهای خاصی در سایت خود منع کنید، می توانید برای آن صفحه از تگ نوایندکس و یا از robots.txt استفاده کنید. این فایل برای موتورهای جستجوی مشخص می کند که کدام بخش ها در سایت شما باید خزش شود.

بهینه سازی بودجه خزش

بودجه خزش، به میانگین تعداد پیوندهایی هایی گفته می شود که بات های موتور جستجو می خواهند خزش کنند. بهبود بودجه خزش تضمین می کند که بات های گوگل، صفحات مهم شما را نادیده نمی گیرند. البته پرداختن به ماهیت بودجه خزیدن، در سایت های بزرگ با هزاران پیوند اهمیت بیشتری دارد اما اینکه خزنده ها را از خزش محتوای بی ارزش و بی کیفیت مسدود کنید، هرگز کار بیهوده ای نیست.

بودجه خزش به دو عامل بستگی دارد:

1. آدرس های قابل خزش – crawl demand: آدرس هایی که گوگل قصد خزیدن شان را دارد. 2. ظرفیت خزش – crawl capacity: ظرفیت سرور سایت در جهت خزش بدون مشکل آدرس ها

چرا صفحات سایت از نتایج حذف می شوند؟

• اگر صفحاتی از سایت شما وجود داشته که قبلا در نتایج جستجو رتبه بندی شده بودند و حال با بررسی شاهد نا پدید شدن شان هستید، دلایل مختلفی را شامل می شود که در اینجا به تعدادی از آنها اشاره می کنیم:
• پیوند های مربوط به محتوا با خطای “یافت نشد” و یا خطای “عدم دسترسی به سرور” 5XX مواجه شده اند. مشکلات مربوط به 404 را می توانید با ره گیری پیوند و ریدایرکت اش به یک محتوای مرتبط و یا صفحه ای مشخص مدیریت کنید. اما در خصوص مشکلات سمت سرور حتما از در دسترس بودن سرویس میزبانی مطمئن شده و احتمال بلاک شدن IP دامنه را با مدیر هاستینگ در میران بگذارید.
• استفاده از تگ نوایندکس به بات ها و موتور جستجو می گوید که این برگه برای ایندکس شدن نیست. اگر صفحات شما در نتایج جستجو باشند و بر روی شان noindex قرار گرفته باشد، باعث حذف از سرپ است.
• اگر صفحات سایت دارای رمز عبور باشند و یا دسترسی به آنها محدود شده باشد، این پیوندها برای رتبه بندی ایندکس نمی شوند.
• هرچند در کنسول جستجو می توانید از جریمه ها و یا مشکلات قانونی مطلع شوید ما با اینحال یکی از محتمل ترین دلایل خروج از صدر نتایج، مشکلات مربوط به تخطی از قوانین موتورهای جستجو است.

آیا صفحات سایت قابل خزش و ایندکس هستند؟

آموزش کنسول جستجو را نمی توان در این مقاله جای داد، اما برای بررسی و اطمینان از صفحات سایت تان می توانید از ابزار Url Inspection بهره ببرید. بازرسی برگه ها به شما این امکان را می دهد تا از قابل خزش بودن و یا مشکلات ایندکس صفحات سایت تان مطمئن شوید.

صفحات سایت شما عمداتا در دسترس هستند اما مشکلات فنی شرایطی را ایجاد می کنند که ممکن است اجازه یک خزش خوب و سالم را به بات ها ندهند. یکی از ویژگی های ابزار بازرسی آدرس ها این است خطاهای فوق را مشخص می کند. به عنوان مثال، صفحه ای در دسترس و قابل ایندکس است اما محتوای آن واجد شرایط رتبه بندی نیست. این ابزار به مسایل فنی سایت پرداخته و پیوندها را برای امکان سنجی خزش و نمایه سازی مورد بررسی قرار می دهد.

جستجوی محلی چیست؟

کسب و کارهایی که دارای موقعیت فیزیکی هستند و برای سرویس دادن می توان به محلی بر روی نقشه مراجعه کرد، همچنین کسب و کارهایی که به ارایه خدمات در یک شهر و محله مخصوص می پردازند، در نتایج جستجو سهم بسیار مهمی را دارند. برای مشاغل فیزیکی از سه عامل اساسی برای رتبه بندی استفاده می شود:

• مرتبط بودن با جستجو: اینکه چگونه یک کسب و کار با چیزی که جستجوگران به دنبال آن هستند مطابقت دارد را باید در اطلاعات موجود در داده های محلی یک سایت دید. برای این منظور باید اطلاعات مربوط به موقعیت تجاری تان را به صورت صحیح برای اطلاع موتور جستجو تکمیل کنید. به عنوان مثال سایت های سازمان یا تجارت محلی می توانند با اسکیمای organization یا local business بصورت کامل داده های شان را ارایه کنند.

• فاصله مکانی: موتور جستجو از موقعیت جغرافیایی جستجوگر در جهت نمایش بهترین نتایج بهره می برد. این نتایج به نزدیکی یک کسب و کار با جستجوگر بسیار حساس است. نتایج جستجوی طبیعی نیز بسته به موقعیت جغرافیایی کاربر تغییر می کنند.

• کسب و کار شناخته شده: سازمان هایی که میزبان ترافیک پایدار و مستمر بوده و از محبوبیت بالایی برخوردار هستند نیز بر اساس معیارهایی به نتایج محلی برای یک منطقه راه پیدا می کنند. به عنوان مثال، موتورهای جستجو برای برند های معروف در گراف دانش شان به نام و مکان کارخانه تولیدی و دفاتر شرکت اشاره می کنند.

سخن آخر

آیا موتور جستجو تمام برگه های سایت را دیده و در آنها دیتای مناسبی پیدا می کند؟ به یاد بسپارید، اینکه در یک صفحه ووکامرسی محصولی را تولید و ویژگی های آن را نیز درج کنید، به معنی رتبه بندی در نتایج جستجو نیست. بسیاری از افراد بر این باورند که وقتی سایت شان را بصورت اختصاصی ایجاد و طراحی می کنند، دیگر وقت حضور در نتایج جستجو است. ایده ای برگرفته از یک تصور بسیار اشتباه. موتورهای جستجو بجز توجه به سئوی داخلی و پیوندهای خارجی، به هدف جستجو و انطباق میان پاسخ ها و سوالات در فضای رقابت نیز می نگرند.

نتایج جستجو، چه در موبایل و چه در دسکتاپ، شاهد تغییر و تحولات بسیار زیادی در بخش های مختلف است که حاکی از اهمیت المان های تصویری، ویدئویی و صوتی در محتوا بوده و در سایت ها، روابط میان موجودیت ها باید بخوبی بهینه شده باشد. ویژگی هایی که صفحه سرپ برای میزبانی داده های مورد نیاز مخاطبین نمایش می دهد، با بهره گیری از اطلاعاتی حضور دارند که شما در سایت خود می نگارید. هرچقدر میان نیاز مخاطب و جستجوگر با محتوایی که تولید می شود انطباق و ارتباط بهتری وجود داشته باشد، رتبه بندی بسیار قدرتمندتری در انتظار تان است.