ایک کرالر کیا ہے؟ کرالر آلے "Yandex" ہے اور گوگل

انٹرنیٹ پر ہر روز، ایک ویب سائٹ کو اپ ڈیٹ پرانے ویب صفحات بنانے کی تصاویر اور ویڈیوز اپ لوڈ کرنے نئے مواد کی ایک بہت بڑی رقم ہے. تلاش کے انجن سے مخفی بغیر ورلڈ وائڈ ویب میں پایا جا سکا، ان دستاویزات میں سے کوئی بھی نہیں. کسی بھی وقت روبوٹک پروگراموں کی طرح متبادل موجود نہیں ہے. ایک تلاش کے روبوٹ کہ آپ کس طرح کام کرنے کے لئے یہ اور کی ضرورت کیوں کیا ہے؟

ایک تلاش کے روبوٹ کیا ہے

کرالر سائٹ (تلاش کے انجن) - یہ فوری طور پر کسی بھی آپریٹر کی مداخلت کے بغیر انٹرنیٹ کے ذریعے گشت، ویب صفحات کے لاکھوں کا دورہ کرنے کے قابل ہے کہ ایک خودکار پروگرام ہے. بوٹس مسلسل اسکین کی جگہ ہیں ورلڈ وائڈ ویب کے، نئی ویب صفحات کو تلاش کرنے اور باقاعدگی کے پاس پہلے سے حساب سے ترتیب ملاحظہ کریں. ویب crawlers مکڑیاں، crawlers کے، بوٹس کے دیگر نام.

کیوں تلاش کے انجن مکڑیاں ہیں

ویب صفحات کے حساب سے ترتیب، کے ساتھ ساتھ متن، تصاویر، آڈیو اور ان پر ہیں کہ ویڈیو فائلوں - تلاش کے انجن مکڑیاں انجام ہے کہ اہم کام کرتا ہے. بوٹس حوالہ جات، آئینے سائٹس (کاپیاں) اور اپ ڈیٹ چیک کریں. روبوٹ بھی ورلڈ وائڈ ویب کے لئے تیار اور تکنیکی معیار کو لاگو کرتی ہے جس میں ورلڈ آرگنائزیشن کے مطابق معیار کے لئے HTML کوڈ کنٹرول انجام.

تخکرمن کیا ہے، اور کیوں اس کی ضرورت ہے

انڈیکسنگ - کیا جاتا ہے، حقیقت میں، تلاش کے انجن کی طرف سے ایک مخصوص ویب کے صفحے کا دورہ کرنے کے عمل ہے. پروگرام اس سائٹ پر متن کو سکین کرتا ہے، تصاویر، ویڈیوز، باہر جانے والی لنکس، پھر صفحہ تلاش کے نتائج میں ظاہر ہوتا ہے. کچھ صورتوں میں، سائٹ کی پھر اس کو دستی طور پر ویب ماسٹر کی تلاش کے انجن میں شامل کیا جا سکتا ہے، خود کار طریقے سے اسکین نہیں کیا جا سکتا. عام طور پر، اس کی غیر موجودگی میں پایا جاتا ہے بیرونی لنکس کے کسی خاص (اکثر حال ہی میں پیدا) صفحہ پر.

انجن مکڑیاں تلاش کو کیسے

ہر تلاش کے انجن کی ایک اسی طرح کے پروگرام "Yandex" ہے یا دوسرے سسٹمز پر کام کرتا ہے گوگل کے تلاش کے روبوٹ کے ساتھ اس کی اپنی بیوٹی ہے نمایاں طور پر طریقہ کار کے مطابق مختلف ہو سکتے ہیں.

پروگرام کی ویب سائٹ پر "آتا" اور مرکزی صفحہ سے بیرونی لنکس، ویب وسائل (صارف کو نظر نہیں آتا کہ ان لوگوں کو تلاش کر ہیڈ سمیت) "پڑھتا": عام طور پر، ایک روبوٹ کام کرنے کے اصول درج ذیل ہے. کشتی ایک ویب سائٹ کے صفحات کے درمیان تشریف لے اور دوسروں پر منتقل کرنے کے لئے کس طرح ہے.

پروگرام جس انڈیکس سائٹ کا انتخاب کریں گے؟ زیادہ کثرت سے نہیں کے مقابلے میں "سفر" مکڑی بڑی ریفرنس وزن کے ساتھ خبروں کی سائٹس یا اہم وسائل ڈائریکٹریز اور aggregators کے ساتھ شروع ہوتی ہے. کرالر مسلسل صفحات ایک ایک کرکے، شرح اور درج ذیل عوامل تخکرمن کی مستقل مزاجی پر سکین کرتا ہے:

• اندرونی: perelinovka، سائٹ سائز، درست کوڈ، صارف دوست اور اسی طرح (اسی وسائل کے صفحات کے درمیان اندرونی روابط)؛
• بیرونی: سائٹ کی طرف جاتا ہے جس میں کل ریفرنس وزن،.

پہلی بات کی robots.txt کی طرف سے کسی بھی ویب سائٹ پر تلاش کے روبوٹ تلاشیاں. مزید وسائل تخکرمن کارکردگی کو اطلاع ملی پر جو اس دستاویز سے ہے مبنی ہے. یہ فائل صفحے دوروں کے امکانات "Yandex" ہے یا گوگل میں ایک ابتدائی ہٹ سائٹ کو حاصل کرنے کے لئے، کے نتیجے میں، تلاش کے انجن کی طرف سے اضافہ، اور کر سکتے ہیں کہ "مکڑیاں" کے لئے مخصوص ہدایات پر مشتمل ہے.

پروگرام crawlers کی کے analogs

اکثر اصطلاح "کی تلاش کے روبوٹ" ذہین، صارف یا خود مختار ایجنٹوں، "چینٹی" یا "کیڑے" کے ساتھ الجھن میں ہے. صرف ایجنٹوں کے ساتھ مقابلے میں ڈوبی اہم اختلافات، دیگر تعریفات روبوٹ کی اسی طرح کی اقسام کا حوالہ دیتے ہیں.

مثال کے طور پر ایجنٹوں ہو سکتا ہے:

• دانشور: پروگرام، سائٹ کو ویب سائٹ سے منتقل کر رہے ہیں، جو آزادانہ طور پر آگے بڑھنے کے لئے کس طرح کا فیصلہ؛ وہ انٹرنیٹ پر بہت عام نہیں ہیں؛
• . خود مختار: ان کے ایجنٹوں کو ایک کی مصنوعات، تلاش کو منتخب کریں، یا فارم، نام نہاد فلٹرز، نیٹ ورک کے پروگراموں کو تھوڑا متعلقہ ہیں جو بھرنے میں صارف کی مدد؛
• صارف: پروگرام، ورلڈ وائڈ ویب کے ساتھ صارف کو بات چیت میں شراکت ایک براؤزر (مثلا، اوپرا، IE، گوگل کروم، فائر فاکس) پیغمبروں کو (وائبر، تار) یا ای میل پروگرام (MS آؤٹ لک اور Qualcomm).

"چینٹی" اور "کیڑے" تلاش کے انجن "مکڑیاں" کے لئے زیادہ ملتے جلتے ہیں. ایک نیٹ ورک پر اور مسلسل درمیان پہلی شکل اس چیونٹی کالونی کی طرح بات چیت، "کیڑے" معیاری کرالر کی طرح ہی دوسرے معاملات میں نقل تیار کرنے کے قابل ہے.

تلاش کے انجن روبوٹ کے مختلف قسم

crawlers کی کے بہت سے اقسام کے درمیان فرق. اس پروگرام کا مقصد پر منحصر ہے، وہ یہ ہیں:

• "آئینہ" - نقلیں ویب سائٹس براؤزنگ کر رہے ہیں.
• موبائل - ویب صفحات کے موبائل ورژن پر توجہ مرکوز.
• فوری - تازہ ترین اپ ڈیٹس دیکھنے کی طرف سے فوری طور پر نئی معلومات کو درست کریں.
• حوالہ - ریفرنس انڈیکس، ان کی تعداد شمار.
• Indexers مواد کی مختلف اقسام - متن، آڈیو، ویڈیو، تصاویر کے لئے مخصوص پروگراموں.
• "سپائیویئر" - صفحات تلاش کریں جو ابھی تک تلاش کے انجن میں دکھایا نہیں کر رہے ہیں کے لئے تلاش.
• "ہدہد" - وقتا فوقتا ان کی مطابقت اور کارکردگی کی جانچ کرنا سائٹس ملاحظہ کریں.
• نیشنل - ملک ڈومینز میں سے ایک پر واقع ویب وسائل براؤزنگ (مثلا، .mobi، یا .kz .ua).
• گلوبل - انڈیکس تمام قومی سائٹس.

روبوٹ اہم تلاش کے انجن

کچھ تلاش کے انجن مکڑیاں بھی ہیں. اصول میں، ان کی فعالیت کو وسیع پیمانے پر مختلف کر سکتے ہیں، لیکن عملی پروگراموں تقریبا ایک جیسی ہیں. ویب صفحات کی فہرست بندی کے اہم اختلافات روبوٹ درج ذیل دو اہم سرچ انجنوں ہیں:

• ٹیسٹنگ کی تنگی. یہ خیال کیا جاتا ہے کہ کرالر کا طریقہ کار "Yandex" ہے کسی حد تک سخت اندازوں ورلڈ وائڈ ویب کے معیار کے ساتھ تعمیل کے لئے ویب سائٹ.
• سائٹ کی سالمیت کے تحفظ. گوگل کرالر اشاریہ جات پوری سائٹ (میڈیا مواد سمیت)، "Yandex کی" بھی مواد مہیا دیکھ سکتے ہیں.
• سپیڈ ٹیسٹ نئے صفحات. گوگل "Yandex کی طرف سے" عمل کی صورت میں دو ہفتوں یا اس سے زیادہ وقت لگ سکتا ہے، چند دنوں کے اندر اندر تلاش کے نتائج میں نئے وسائل کا اضافہ کر دیتی.
• دوبارہ تخکرمن کے تعدد. "Yandex" ہے کرالر ہفتے میں دو بار اپ ڈیٹس کے لئے چیک کریں اور Google - ایک ہر 14 دن.

انٹرنیٹ، کورس کے، دو سرچ انجنوں تک محدود نہیں. دیگر سرچ انجن ان کے روبوٹ ہے جو ان کی اپنی تخکرمن پیرامیٹرز کی پیروی ہے. اس کے علاوہ، کئی "مکڑیاں" اہم نہیں تلاش کے وسائل ڈیزائن کر رہے ہیں، اور انفرادی ٹیموں یا ویبماسٹرس موجود ہیں.

عام غلط فہمیاں

اس کے برعکس عام خیال کے، "مکڑیاں" معلومات پر عملدرآمد نہیں کرتے. پروگرام صرف اسکین کرتا ہے اور ویب کے صفحات ذخیرہ ہے اور مزید کارروائی ایک بالکل مختلف روبوٹ لیتا ہے.

اس کے علاوہ، بہت سے صارفین کو سرچ انجن مکڑیاں منفی اثر اور "نقصان دہ" انٹرنیٹ ہے یقین ہے کہ. سچ تو یہ ہے، "مکڑیاں" کے کچھ ورژن نمایاں طور پر سرور اوورلوڈ کر سکتے ہیں. ویب ماسٹر، پروگرام، روبوٹ کی ترتیب میں غلطی کر سکتے ہیں پیدا کرنے والے - ایک انسانی عنصر بھی ہے. اس کے باوجود موجودہ پروگراموں کے سب سے زیادہ اچھی طرح سے ڈیزائن کر رہے ہیں اور پیشہ ورانہ انتظام، اور کسی بھی ابھر مسائل فوری طور پر ہٹا دیا.

کس طرح تخکرمن انتظام کرنے کے لئے

تلاش کے انجن روبوٹ خود کار پروگراموں ہیں، لیکن تخکرمن عمل جزوی طور پر ویب ماسٹر کی طرف سے کنٹرول کیا جا سکتا ہے. یہ بہت خارجی اور مدد کرتا ہے اندرونی اصلاح کے وسیلہ سے. اس کے علاوہ، آپ کو دستی طور پر ایک تلاش کے انجن کے لئے ایک نئی ویب سائٹ کو شامل کر سکتے ہیں: بڑے وسائل ویب صفحات رجسٹریشن کی ایک خاص شکل ہے.