باسمه تعالی

موضوع تحقیق : انواع موتورهای جستجو
استاد راهنما : جناب آقاي دانیالی
تهیه کننده : مریم حاجی رحیمی
رشته : روابط عمومی

دانشگاه جامع علمی کاربردی واحد 13 - اردیبهشت 1392


موتورهای جستجو:
موتورهای جستجوگر، با درجات متفاوتی از موفقیت، در واقع یك كار انجام می دهند: فراهم آوردن یک وسیله جستجوی ساده برای كمك به كاربران در رسیدن به اطلاعات مورد نیاز.
برای نیل به این مهم، موتورهای جستجوگر از اطلاعات موجود در پایگاه داده شان كمك می گیرند. اطلاعات این پایگاه داده نیز به روش های گوناگونی تامین می شود با توجه به نوع جمع آوری اطلاعات، خدمات جستجویی که در وب ارایه می شود به دو گروه اصلی زیر تقسیم بندی می گردد:
• Search Engine (موتور جستجوگر)
• Directory (فهرست)
تفاوت اصلی دو گروه اشاره شده در این است که اطلاعات پایگاه داده گروه اول را نرم افزارها جمع آوری می کنند حال آنکه این کار برای گروه دوم توسط انسانها انجام می شود.
الف- Search Engine یا موتور جستجوگر:
در حالت كلی زمانی كه صحبت از موتور جستجوگر می شود، مقصود، این نوع آن است. در این نوع از موتورهای جستجوگر، كار جمع آوری اطلاعات بر عهده اسپایدرها است. اسپایدر نرم افزاری است كه كار جمع آوری اطلاعات مورد نیاز یك موتور جستجوگر را بر عهده دارد. پایگاه داده این نوع از موتورهای جستجوگر بزرگتر از سایر انواع است و اطلاعاتی را كه آنها ارایه می دهند ، معمولا" به روزتر می باشد.
عملیات به روز رسانی و گسترش اطلاعات پایگاه داده موتور جستجوگر از یک هفته تا چند ماه به طول می انجامد. اسپایدرها، هیچ گاه از كار نمی ایستند و به طور مداوم به جمع آوری اطلاعات مشغول هستند. ممكن است اطلاعات جمع آوری شده توسط اسپایدرها از صفحات جدید باشد و یا اطلاعات به روز شده از صفحاتی باشد كه قبلا" هم به آنها مراجعه کرده اند.
زمانیکه صحبت از تكنیك های بهینه سازی سایت ها (SEO) به میان می آید در واقع تكنیك هایی مطرح اند كه برای كار با این نوع از موتورهای جستجوگر مؤثرند. بعضی از این نوع موتورهای جستجوگر عبارتند از :

Google, Yahoo, MSN, AllTheWeb, Gigablast, WiseNut, Teoma


ب _ Directory یا فهرست:
دایركتوری ها اطلاعات را در گروه های مختلف دسته بندی می كنند. تفاوت اصلی دایركتوری با یك موتور جستجوگر در این است كه دایركتوری اسپایدر ندارد. دارندگان سایت ها به دایركتوری مراجعه می كنند، گروه مناسب برای سایت خود را در آن بر می گزینند و سایت خود را به آن گروه معرفی می كنند.
پس از آنكه اطلاعات سایت ها به گروه های مختلف ارسال شد، ویراستاران دایركتوری آن اطلاعات را بررسی می كنند و در صورتی كه گروه درخواست شده، با زمینه فعالیت سایت معرفی شده یكی باشد و همچنین سایر قوانین دایركتوری نیز رعایت شده باشد، سایت را در گروه یاد شده می پذیرند.
در صورتی كه كاربران استفاده درستی از گروه های دایركتوری بنمایند می توانند اطلاعات مفیدی را به كمك آنها كسب كنند.
دایركتوری از وجود یک سایت مطلع نمی گردد مگر زمانی كه آن سایت به دایركتوری معرفی شود. یكی از ایراداتی كه به دایركتوری ها وارد می شود این است كه سایت های مرده زیادی در خود دارند. به عبارت دیگر یك سایت بعد از آنكه در یکی از گروه های آن قرار گرفته، دیگر به فعالیت خود ادامه نداده است اما با این حال هنوز هم دایركتوری آنرا به عنوان یك سایت فعال به كاربران معرفی می كند.
البته دایركتوری های حرفه ای با استخدام ویراستاران خبره تلاش بسیاری برای رفع این نقص و نواقص مشابه می نمایند. امكان دارد دایركتوری ها برای بررسی این مورد از اسپایدرها هم كمك بگیرند. در این مورد خاص، كار اسپایدر این است كه بررسی كند كه آیا سایت هایی كه قبلا" در گروه ها قرار گرفته اند، هنوز هم فعال می باشند؟ در مواردی هم امكان دارد كه اسپایدرها تغییر زمینه فعالیت سایت ها و یا فعال بودن پیوندهای درون صفحات سایت ها را بررسی کنند.
قرار گرفتن در پایگاه داده دایركتورهای عمده، نقش مهمی در کسب رتبه های بالا در موتورهای جستجوگر(نوع اول) دارد. دایركتوری های عمده عبارتند از : Yahoo, Look Smart , Dmoz
بعضی از ارایه دهندگان خدمات جستجو در واقع تلفیقی از هر دو گروه می باشند به عنوان مثال یاهو هم اسپایدر دارد و هم ویراستار، گوگل نیز از فهرست Dmoz در بخش فهرست خود کمک گرفته است.
اما زیرگروههایی برای دو گروه اصلی خدمات جستجو وجود دارد که هم از دیدگاه کاربران وب و هم از دیدگاه مدیران سایتها حایز اهمیت می باشند. این خدمات جستجو عبارتند از:
• Meta Search Engine (ابر جستجوگر)
• Pay Per Click Search Engine (رتبه بازای پول)
• Spcialty Search Engine (موتور جستجوگر خاص)

1)Meta Search Engine یا ابر جستجوگر
ابرجستجوگر از نتایج سایر موتورهای جستجوگر استفاده می كند. كار آن بدین صورت است كه سوال كاربر را همزمان به موتورهای جستجوگر مختلفی ارسال می کند. پس از دریافت نتایج جستجوی آنها به بررسی نتایج دریافت شده می پردازد و در نهایت ترکیبی از رتبه های بالای آنها را طبق الگوریتم خود بعنوان نتایج جستجو به کاربر نشان می دهد. ابر جستجوگر اسپایدر و پایگاه داده ندارد. برخی از آنها عبارتند از:

Vivisimo, Mamma, IXQuick, WebCrawler, Kartoo, DogPile

2) Pay-per-Click Search engine یا موتورهای جستجوگر رتبه به ازای پول :
کار آنها بسیار شبیه یك مزایده است: با توجه به واژه كلیدی انتخابی، برای بالاترین رتبه، باید بالاترین قیمت نسبت به سایر متقاضیان پرداخت شود.
در واقع نحوه ارائه نتایج جستجو در PPC به این ترتیب است كه اگر سایتی خواهان بالاترین رتبه (رده اول) در نتایج جستجوی آن می باشد، باید بالاترین رقم به ازای هركلیك را نسبت به تمام رقبا بپردازد.
به عنوان مثال اگر سایتی مكان اول را برای عبارت Persian Carpet به قیمت 10 ریال خریده باشد، هر بار كه عبارت یاد شده جستجو گردد و بیننده ای با دنبال كردن پیوند ارائه شده در نتایج جستجو به سایت مورد نظر برود، دارندگان آن سایت باید 10 ریال به موتور جستجوگر بپردازند. اگر 1000 بیننده این كار را انجام دهند، آن گاه باید 1000×10 ریال، پرداخته شود.
البته این گونه نیست كه PPC فقط سایت هایی را لیست می كند كه با آنها قرارداد تجاری بسته است. بلكه ابتدا كلیه سایت های طرف قرارداد خود را برای عبارات مورد نظر آن سایت ها لیست می كند و سپس سایت های دیگر را كه معمولا از پایگاه داده سایر موتورهای جستجوگر است، لیست می كند.
در این مورد می توان به Overture و Findwhat اشاره كرد.

فواید آنها :
1. دارنده سایت تنها زمانی پول می پردازد كه واقعا" بیننده ای به سایت او بیاید.
2. سایت تقریبا" در عرض چند ساعت و یا حداكثر یك هفته در نتایج جستجو قرار می گیرد و دیگر نیازی به چندین ماه انتظار نیست تا در نتایج جستجوی سایر موتورهای جستجوگر قرار گیرد که آن هم معلوم نیست دارای چه رتبه ای خواهند بود.
3. سایتی اگر بالاترین رتبه را می خواهد، كافی است که بالاترین قیمت را بپردازد و دیگر نیازی به كاربرد تكنیك های رایج برای كسب رتبه های بالا نیست.
4. چون اینگونه سایتها معمولا به صورت شبکه ای از سایتها فعالیت می کنند، یک سایت با استفاده از سیستم آنها در نتایج جستجوی موتورهای جستجوگر دیگر كه دارای شراكت تجاری با آنها هستند هم قرار می گیرد. به عنوان مثال اورچر، یاهو و آلتاویستا در یک شبکه هستند.

3) Specialty Search Engine یا موتورهای جستجوگر خاص:
این نوع از موتورهای جستجوگر بر موضوعی خاص تمركز دارند و تنها سایت های مرتبط با آن موضوع را در پایگاه داده خود قرار می دهند. به عنوان مثال یكی از آنها ممكن است تنها سایت های ایرانی را بپذیرد و موضوع فعالیتش سایت های ایرانی باشد.
این موتور های جستجوگر اطلاعات تخصصی تری را ارائه می دهند زیرا معمولا توسط افراد متخصص در آن زمینه اداره می شوند. موتورهای جستجوگر منطقه ای و موضوعی به این دسته تعلق دارند. در این مورد می توان به مواردی نظیر: ChemicalSearch, IndustrySearch اشاره كرد.

انواع موتور جستجو :

۱ – موتورهای عمومی که در کلیه پایگاهها فارغ از نوع آن جستجو می کنند. موتورهای عمومی معروف عبارتند از: altavista.com, google.com, go.com, hotbot.com .
2 – موتورهای تخصصی در یک رشته خاص مانند اخبار “news.com”، تجارت “deja.com”، شرکتها “yellow pages.com”،افراد “whowhere.com”، مقالات و انتشارات “infojump.com”
3 – موتورهای تخصصی در خدمات اینترنت مانند گروههای خبری و مباحثه “deja.com”، بهترین پایگاه “magellan.com”.
4 – موتورهای کلان ; این موتورها عبارت مورد جستجو را همزمان به چند موتورجستجو داده و پاسخها را اولویت بندی کرده و با ذکر نام موتور جستجو نمایش می دهند.مانند mamma.com,savvysearch.com
5 – نقطه شروع ; اینگونه سایتها موتورهای جستجو را برحسب موضوعات مختلف معرفی می کنند. درصورتی که موتورهای تخصصی و عمومی را نمی شناسید از این پایگاهها شروع کنید. مانند allonesearch.com
6 – موتور اختصاصی پایگاهها; بعضی از پایگاههای بزرگ مانند مایکروسافت ، جنرال الکتریک ،… از داخل پایگاه خود موتور جستجو دارند. جدیدا می توان از موتورهای جستجو عمومی مانند hotbot,altavista,… در یک پایگاه جهت جستجو در آن استفاده کرد.
تقسیم بندی دیگری که از موتور جستجو می توان کرد، موتورهای جستجوگر، و دوم موتورهایی است که پایگاهها را دسته بندی موضوعی کرده اند و به آنها web directoryگفته می شود. معروفترین آنها webcrawear,yahooاست . درحال حاضر اکثر موتورهای جستجو دسته بندی موضوعی نیز دارند و در هر دسته و یا زیرشاخه های بعدی می توان جستجو کرد.

نحوه کار موتورهای جستجو :
در این مقاله فقط نحوه کار موتورهای عمومی بررسی می شود. موتورهای عمومی ازبرنامه هایی معروف به crawler,robot و یا spiderبرای یافتن و مرور صفحات وب استفاده می کنند. نحوه کار این برنامه ها بدین صورت است که با یافتن یک صفحه کلمات مورداستفاده در آن را شناسایی کرده و به جداول فهرست بانک اطلاعاتی خود اضافه می کنند درواقع موتورها صفحات وب را در بانک اطلاعاتی نگهداری نمی کنند بلکه دربانک اطلاعاتی فهرستی از کلمات وآدرس صفحات مشمول این کلمات می باشد.
کار دیگر این برنامه ها این است که به صفحات فهرست شده قبلی مراجعه کرده ودرصورت به روز شدن صفحات،مجددا آنها را فهرست بندی می کنند.ممکن است پایگاه موردنظرموجودنبوده ویاآدرس آن عوض شده باشد.
عوامل مهم در فهرست کردن یک صفحه وب ، تعداد وقوع کلمه در صفحه ، محل قرارگیری آن ، نوع فایلهای مورداستفاده در صفحه ، درجه اهمیت کلمه در صفحه با توجه به کلید واژه های تعیین شده توسط مالک صفحه و توضیحات آمده در بخش دستورات meta در شناسنامه صفحه می باشد.
موتورهای جستجو باتوجه به حجم بانک اطلاعاتی و برنامه هایشان به پایگاههای جدید مراجعه می کنند ولی مطمئنا تمام پایگاههای وب را شامل نمی شوند. بزرگترین موتور جستجوی عمومی حدود ۵۰۰ میلیون صفحه وب را شامل می شود. درصورتی که می خواهید پایگاه وب شما به بانک اطلاعاتی یک موتور جستجو اضافه شود پایگاه وب خود را به آن موتور جستجو معرفی کنید در صفحات وب ، در بخش دستورات شناسنامه ای صفحه ، کلید واژه های مورد نظر خود را معرفی کنید . موتورهای جستجو عمومی به دو روش کلمات را فهرست بندی می کنند.
۱- keyword indexing اغلب موتورهای جستجو بر اساس کلمات فهرست بندی می کنند.در واقع در جستجو کلمات هم معنی را تشخیص نمی دهند.
concept based indexing – 2 براساس مفهوم کلمه فهرست بندی می کنند. بدین ترتیب که اگر شما به دنبال کلمه y2kبگردید، صفحاتی که کلمات ۲۰۰۰ year problem نیز در نتایج می آید.
معروفترین موتوری که براساس مفهوم جستجو می کند excite.com می باشد.
نکته دیگری که در فهرست بندی باید بدانید این است که هر موتور چه بخشهایی از یک صفحه را فهرست می کند . برای مثال ممکن است فقط hyperlink,heading, titleها و یا چند خط اول صفحه را فهرست کند.در برخی از موتورهای جستجو مانند opentext می توان تعیین کرد که کلمه مورد جستجو در کجای صفحه باشد. برای مثال در…,heading,title نکته دیگر کلمات معروف به stop word هستند مانندweb,and,or,the,is,an,a و… بعضی از موتورها این کلمات را درنظر نمی گیرند.

عوامل مهم در انتخاب موتور جستجو:

عوامل زیر در انتخاب موتور جستجو مهم هستند :
-حجم بانک اطلاعاتی موتور جستجو و تعداد صفحات مرور شده توسط آن
-به روز بودن بانک اطلاعاتی
-تعداد صفحات مرورشده در روز
-سرعت برگرداندن نتایج جستجو
-تعداد سرویس دهنده های آن در شبکه اینترنت جهت کاهش ترافیک و افزایش سرعت
-نحوه نمایش نتایج جستجو و کنترل آن توسط کاربر
-نحوه اولویت بندی نتایج حاصله و ارتباط آنها با یکدیگر و کنترل آن توسط کاربر
-راحتی استفاده
-صفحات معرفی شده به آن طی چند روز در فهرست قرار می گیرند
-پشتیبانی ,imagemap,frameامنیت در پایگاهها
-قابلیت جستجو در نتایج
-پشتیبانی stop words
-حساس به حروف بزرگ و کوچک
-پشتیبانی عبارت
-عدم محدودیت درتعدادحروف عبارت جستجو
-دسته بندی موضوعی وامکان جستجودرهردسته
-جستجو در خدمات اینترنت شامل وب ، گروههای خبری و مباحثه ،…
-پشتیبانی عملگرهای جستجو
-پشتیبانی زبانهای مختلف وتبدیل زبانهابه یکدیگر
-جستجو براساس تاریخ
-ارائه امکانات بهتر از جمله ارسال نتایج به آدرس پست الکترونیک ، ارائه تبلیغات “banner” مرتبط با عبارت .
-جستجو براساس نوع فایل مانند تصویر
-جستجو در مکان خاصی از صفحه وب
-جستجو در دستورات “tag” صفحه وب
-ارائه کلید واژه ها و نتایج مشابه
عملگرهای جستجو:

عملگر REQUIRED TERM “+” وقتی این عملگر در کنار یک کلمه می آید به معنی این است که کلمه موردنظر حتما در صفحه باشد.
عملگر PROHIBITED TERM”-” با گذاشتن این عملگر کنار کلمه ، صفحاتی آورده می شود که کلمه موردنظر در آن نباشد، در مثال language-english +تمام صفحاتی آورده می شود که کلمه language در آن باشد ولی زبان english در آنها نباشد.
عملگر PROXIMITY کلمات موردنظر در کنار هم و یا نزدیک هم باشند. با عملگرnear/n دو کلمه به تعداد n کلمه نزدیک یکدیگر باشند. با عملگر followed byمابین دوکلمه ، دوکلمه دقیقا در کنار هم و با ترتیب قیدشده بیایند. موتور جستجوی webcrawler قویترین موتور در زمینه PROXIMITY است .
عملگرWILDCARD”* ویا$” با این عملگر برای مثال radio* تمام صفحاتی که کلمه radio و مشتقات آن را داشته باشد می آورد. مثل کلمه radiology، باتوجه به موتور،تعداد حروف آورده شده بعداز کلمه متفاوت خواهدبود.
عملگر منطقی BOOLEAN شامل AND NOT, OR, AND با استفاده از ANDمابین دوکلمه صفحاتی که هم کلمه اول وهم کلمه دوم را شامل شود می آورد. با استفاده ORمابین دوکلمه ، صفحاتی که یا کلمه اول و یا کلمه دوم را شامل شود می آورد.
با استفاده AND NOT مابین دوکلمه ، صفحاتی آورده می شود که شامل کلمه اول باشد و حتی شامل کلمه دوم نباشد. بجای عبارت AND NOT,OR,AND می توان ازنشانه های آن استفاده کرد:
& به جای AND، ا به جای OR و ! به جای NOT
گروهبندی منطقی با استفاده از پرانتز () مثل : iran and “tourism or hotel”
استفاده از quotation mark برای مشخص کردن عبارت . ” search engine” دقیقا دوکلمه به صورت یک عبارت در صفحه باشد. می توان برای مشخص کردن عبارت ازعلامت |;بین کلمات استفاده کرد.
بسیاری از موتورهای جستجو در دو حالت ساده و پیشرفته “advanced” جستجومی کنند. معمولا درحالت پیشرفته ، عملگرهای منطقی و PROXIMITY قابل استفاده می باشد.

چگونه جستجوی بهتری انجام دهیم :
بخاطر داشته باشید کلید جستجوی موفق در این است که شما باهوش تر از کامپیوترهستید.
ابتدا ببینیدکه به دنبال چه موضوعی هستید باتوجه به انواع موتور جستجو که درابتدای مقاله ذکر شد، موتور خود را انتخاب کنید. قبل از جستجو لازم است با مراجعه به برنامه helpهر موتور دستورالعمل های آن را مطالعه کنید تا حداکثراستفاده ازآن رابکنید.عملگرهای گفته شده دربالا معمولا دراکثرموتورهاقابل استفاده هستند.
علاوه بر نکات قیدشده در مقاله رعایت نکات ذیل کمک بسیاری در انجام جستجوی بهتر دارد:
۱ – از حروف بزرگ برای جستجو اسامی خاص ، شرکتها و محصولات استفاده کنید. درانگلیسی بسیاری از کلمات عام و خاص هستند مثلORACLE که به معنی الهام غیبی است ولی به صورت خاص ORACLE یک RDBMSاست .
۲ – بعضی از کلمات از سایر کلمات مشتق شده است کوچکترین آن مجموعه را بدهید.
۳ – از کلمات مفرد استفاده کنید جمع آن نیز در نتایج خواهدآمد.
۴ – اگر تلفظ صحیح یک کلمه را نمی دانید چند تلفظ را با هم بدهید مثل : dostoyevski dostoevski dostoevsky
5 – از عبارت استفاده کنید ” best search engine ”
6 – چند مترادف کلمه را با هم بدهید.
secure security privacy safe
7 – می توان درجه بندی نتایج را کنترل کرد و یا می توان به یک کلمه در یک عبارت وزن بیشتری دادبرای مثال shopping shopping shopping mall
8 – از کلمات عمومی مثل کتاب car استفاده نکنید بلکه با استفاده از عبارت ، دقیقا دریک زمینه ســــوال کنیـد بــــرای مثــــال اگر می خواهید ماشین بخرید نام ماشین و شهر موردنظر خود را وارد کنید
“toyota dealership” and texas
9 – بسیاری از موتورهای جستجو در کنار نتایج حاصله similar sites دارند که امکان دسترسی به نتایج بهتر را می دهند.
۱۰ – تاریخ صفحات را مشخص کنید.
۱۱ – نوع زبان را مشخص کنید.
در انتها پایگاههایی هستند که می توان از طریق آنها استراتژی جستجو را تعریف کرد.باتوجه به عوامل مهم ازنظر شما، موتور جستجوی مناسب را معرفی می کند. نمونه آن noodlequest.com است .

با تشکرو امتنان