Web Crawler

2

«خزندۀ وب» برنامه‌ای است که توسط موتورهای جست‌وجو (مانند گوگل و بینگ) برای جمع‌آوری داده‌ها از اینترنت استفاده می‌شود. هدف این خزنده‌ها ایندکس‌کردن محتوای سایت‌ها در سراسر اینترنت است تا آن سایت‌ها بتوانند در نتایج موتورهای جست‌وجو ظاهر شوند. هنگامی که یک خزنده از یک سایت بازدید می‌کند، کل محتوای سایت و همچنین تمامی لینک‌های خارجی و داخلی سایت را انتخاب می‌کند و آن‌ را در یک بانک داده ذخیره می‌کند.

شاید برات جالب باشه:

نظرات بسته شده است.