خزشگر موتورهای جستجو
تعداد بازديد : 555
خزشگر موتورهای جستجو Crawl
crawlدر لغت به معنای "خزیدن" می باشد.
بررسی و جمع آوری اطلاعات کامل یک وب سایت اعم از مطالب و لینک های درون وب سایت را که توسط ربات هایی موتور های جستجو انجام می شود، crwal می گویند.
Crawler
بررسی و خواندن کلیه مطالب و محتوای یک سایت اولین اقدامی است که موتور های جستجو انجام می دهند. این مجموعه عملیات توسط نرم افزارهایی به نام خزشگر(Crawler) یا عنکبوت (spider)انجام می شود.
گوگل به کمک مجموعه عظیمی از کامپیوتر ها، بیلیون ها صفحه در وب را میخواند. و برنامه ای (رباتی) که این همه صفحه را فراخوانی میکند "گوگل بوت" نامیده میشود (همچنین با نام های اسپایدر یا ربات نیز شناخته می شود) ربات گوگل با براساس الگوریتم های که برنامه ریزی شده است مشخص میکند که چه سایتی فراخوانی شود، و این فراخوانی هرجند وقت یکبار صورت بگیرید، و چه تعداد از صفحات هر سایت فراخوانی شوند.
عملیات بررسی و فراخوانی که توسط ربات گوگل انجام می شود با لیستی از لینک ها شروع می شود که این لینک ها از فراخوانی صفحه قبلی بدست امده اند و یا توسط نقشه سایت توسط وبمستر ها تهیه شده است.
گوگل صریحتا اعلام کرده که بررسی سایت ها و نتایج جستجویی که نشان میدهد را از مبحث درآمد زایی خودش که از طریق Adwords انجام میشود کاملا مجزا کرده است و این عملیات crwal سایت ها کاملا رایگان توسط گوگل انجام می شود و این امکان وجود ندارد که با پرداخت پول درخواست دهیم که سایت ما بهتر و زودتر توسط ربات گوگل بررسی شود.
