موتور جست‌وجوی عنکبوتی چیست؟
موتورهای جست‌وجوی عنکبوتی که بعضی وقت‌ها به آنها موتور جست‌وجوی خزنده هم می‌گویند، توسط موتورهای جست‌وجو مورد استفاده قرار می‌گیرند تا به آنها کمک کنند اطلاعات سایت‌ها، اشخاص و صفحات اینترنتی را گردآوری کنند.
این موتورهای جست‌وجو به اطلاعات تمام سایت‌ها و صفحات اینترنتی نیاز دارند. از سوی دیگر، آنها نمی‌دانند برای هر جست‌وجوی اینترنتی چه صفحاتی به‌نمایش در می‌آیند یا اولویت نمایش آنها چگونه است.
موتور جست‌وجوی عنکبوتی در میان اینترنت می‌خزد و مدخل ورودی سایت‌ها را کشف می‌کند؛ همین که یک سایت در چنگال جست‌وجوگر عنکبوتی بیفتد، تمام متن‌های آن، هایپرلینک‌های آن سایت، تمام کلمات کلیدی که به آن تگ شده و کدهای آن سایت را می‌خواند و سپس از این اطلاعات برای ساخت یک پروفایل در موتور جست‌وجو استفاده می‌شود.
جست‌وجوگر عنکبوتی سپس اطلاعات اضافی را از طریق هایپرلینک‌ها جذب می‌کند که باعث می‌شود بتواند اطلاعات بهتر و دقیق‌تری را در مورد هر موضوع مشخص گردآوری کند. به همین دلیل خوب است لینک سایت‌های مرتبط با موضوع خود را در صفحات سایتتان داشته باشید و البته برای بهتر شدن سایتتان در موتورهای جست‌وجو، لینک سایت شما در صفحات سایت‌های دیگر قرار گیرد.
جست‌وجوگرهای عنکبوتی برای اینکه مشخص کنند چه مطالبی به ترتیب اولویت باید دانلود و در رده‌بندی سایت‌ها لحاظ شوند، از چهار اولویت متفاوت استفاده می‌کنند.
جست‌وجوگر عنکبوتی مشخص می‌کند مطالب با چه مشخصاتی باید باشند تا دانلود شوند، چه زمانی تغییرات صفحات وب باید بررسی شود، چطور سایت‌ها طبقه‌بندی شوند که بار اضافی برای جست‌وجوگر ایجاد نکنند و در آخر، جست‌وجوها بر اساس چه معیاری انجام گیرد و با تکیه بر چه روشی در سایت‌های مختلف به جمع‌آوری اطلاعات بپردازند.
در حال حاضر هر یک از موتورهای جست‌وجوی فعال در اینترنت، عنکبوت‌ها یا جست‌وجوگرهای خزنده خود را دارند که در این میان google crawle از همگی قدرتمندتر و مشهورتر است. جالب است بدانید که اهمیت خزنده‌ها یا عنکبوت‌های جست‌وجوگر تا به آنجا است که بدون وجود آنها امکان جست‌وجوی اینترنتی توسط هیچ جست‌وجوگری در جهان مقدور نیست. به این ترتیب شاید گزاف نباشد که بگوییم آنها کارگران زحمتکشی هستند که اگرچه کمتر دیده یا شناخته شده‌اند، اما حتی یک لحظه بدون حضور آنها امکان جست‌وجوی اینترنتی وجود ندارد.
- ۹۵/۱۰/۲۰