آنچه خواهید خواند …
کراول چیست؟
کراول چیست؟ کراول یا خزنده به رباتی که سایت شمارا برای ایندکس شدن بررسی می کند می گویند. کراول در واژه به معنای خزنده است. کراول یا خزنده لینک های سایت شمارا تک به تک بررسی می کند و همینطور وارد آن لینک ها می شود و تمامی صفحات مرتبط را نیز بررسی می کند.
زمانی که شما از گذینه LIVE TEST کنسول گوگل استفاده می کنید در واقع کراول ها به آدرس صفحه شما می روند و سایت شمارا بررسی می کنند و نتیجه را به شما نمایش می دهند.
این کراول ها تمامی بعد های یک URL را بررسی می کنند. برای مثال Mobile Friendly یا ریسپانسیو بودن سایت شما نیز توسط همین کراول ها بررسی می شود.
بودجه کراول چیست؟
بودجه کراول یا crawl budget سهمیه آدرس هایی است که به دامنه شما در یک روز کامل تعلق می گیرد. تعداد خزنده ها محدود است. برای همین هر موتور جستجو بر اساس رتبه دامنه شما تعداد مشخصی کراول را در روز به شما اختصاص می دهد.
برای مثال بودجه کراول شما در روز 100 عدد url است. بنابراین کراول ها بر اساس نقشه سایت شما 100 آدرس را بررسی می کنند و درصورت عدم بروز خطا آن 100 آدرس را ایندکس می کنند. به دلیل محدود بودن این بودجه شما باید با استفاده از فایل robots.txt بودجه کراول خودرا مدیریت کنید تا خرج لینک های غیرضروری و بیهوده نشود.
کراول در سایت های وردپرسی
در وب سایت هایی که با استفاده از وردپرس طراحی می شوند به صورت خودکار فایل robots.txt ایجاد می شود اما این فایل به صورت پیشفرض است و نمی تواند به درستی کار کند. بهتر است فایل robots.txt سایت خودرا ویرایش و شخصی سازی کنید.
همینطور نقشه وب سایت که تاثیر زیادی در بهبود کراول دارد در سایت های وردپرسی می تواند با استفاده از افزونه مخصوص ایجاد شود و تنها کافیست آنرا به کنسول ها معرفی کنید.
توجه داشته باشید که وردپرسی یا کد نویسی بودن سایت شما تاثیری در بهبود کراول نمی گذارد و بودجه کراول شما براساس اعتبار دامنه ، ترافیک وب سایت و بازدید مشخص می شود.
بهبود عملکرد کراول
بهترین روش برای بهبود کراول وب سایت ایجاد فایل robots.txt می باشد. این فایل بسیار کاربردی است و برای تمامی موتور های جستجو اهمیت زیادی دارد.
شما با استفاده از این فایل می توانید کراول وب سایت خودرا بسیار سریعتر و بهتر مدیریت کنید و همینطور از هدر رفتن بودجه کراول خود جلوگیری کنید. تنها کافیست با امکان ایندکس شدن پارامتر هارا لغو کنید و دستور لغو ایندکس شدن تمامی پارامتر هارا ایجاد کنید. آموزش حذف پارامتر ها با توضیحات در مقاله زیر :
جمع بندی
مدیریت کراول یک امر بسیار مهم و حرفه ای است که موجب افزایش سرعت ایندکس شدن سایت شما و بهینه سازی سئو می شود. همینطور داشتن نقشه سایت نیز بسیار مهم است. بعد از ایجاد نقشه وب سایت می توانید آنرا در کنسول گوگل معرفی کنید.
