فایده Crawl

خزشگر موتورهای جستجو  Crawl

crawlدر لغت به معنای  "خزیدن" می باشد.

بررسی و جمع آوری اطلاعات کامل یک وب سایت اعم از مطالب و لینک های درون وب سایت را که توسط ربات هایی موتور های جستجو  انجام می شود، crwal می گویند.

Crawler 

بررسی و خواندن کلیه مطالب و محتوای یک سایت اولین اقدامی است که موتور های جستجو انجام می دهند. این  مجموعه عملیات توسط نرم افزارهایی به نام خزشگر(Crawler) یا عنکبوت (spider)انجام می شود.