» گوگل (Google) چگونه وبگاه شما را بررسی می کند »| Research |«
گوگل چگونه صفحات وبگاه شما را بررسی می کند
Googlebot : Crawling
Crawl در لغت به معنای آهسته خزیدن است و در اصطلاح گوگلی Crawling به عمل پردازشی که ربات های گوگل برای مشخص کردن صفحات جدید و به روز شده به منظور اضافه کردن به لیست گوگل (index) انجام می دهند گفته می شود.
گوگل از تعداد بسیار زیادی از کامپیوتر های قدرتمند برای واکشی میلیارد ها صفحه ی روی وب استفاده می کند. برنامه ای که عمل واکشی یا Crawl را انجام می دهد Googlebot نام دارد. به Googlebot اصطلاحات دیگری مانند robot، bot، spider و روبات گوگلی نیز شناخته می شود. Googlebot از یک سری برنامه های کامپیوتری پردازش الگوریتمیک استفاده می کند که تصمیم بگیرد چه سایتی را Crawl کند و این که چند وقت یکبار و هربار چه تعداد صفحه واکشی شود.
عملیات Crawl گوگل بایک لیست از ادرس ها (URL) صفحات وب شروع می شود که از عملیات Crawl پیشین و اطلاعات نقشه های سایت که توسط دارندگان سایت ها ارسال می شود ساخته شده است. ربات گوگل با بررسی هر کدام از این وبسایت ها آدرس لینک های موجود را پیدا کرده و درلیست خود برای Crawl آینده ثبت می کند. سایت های جدید به لیست اضافه می شوند و سایت های موجود هم برای بررسی به روز رسانی های فهرست گوگل در لیست ثبت می شود.
گوگل برای Crawl کردن بیشتر یک سایت پول نمی گیرد. به گفته سایت گوگل بخش موتور جستجو به طور کل از بخش تجاری گوگل جداست و تغییر در تاریخ یا تعداد Crawl کردن صفحه با پرداخت پول و امثال آن غیر ممکن است.
Indexing:
Googlebot هر یک از صفحات Crawl شده را پردازش می کند و کلمات و موقعیت قرار گرفتن هر کدام را مشخص می کند. ضمنا داده های موجود در در تگ های مختلف و ویزگی های ALT را نیز پردازش می کند. ربات گوگل می تواند بسیاری از انواع فایل ها را پردازش کند ولی در بعضی موارد نمی تواند تمام فایل ها را بپذیرد. مثلا گوگل هنوز در پردازش بعضی صفحات دینامیک و بعضی از فایل های رسانه ای (media) مشکل دارد. در واقع در مرحله ایندکس روبات گوگل صفحات Crawl شده را را پردازش می کند و با بررسی محتوا و کلمات و … آن را در دسته بندی های مناسب فهرست می کند و از این پس می توانید آن را جستجو کنید.
تکنولوژی PageRank:
PageRank بازتاب دیدگاه گوگل درباره اهمیت صفحه وب شماست که با بیش از ۵۰۰ میلیون متغیر و بیش از ۲ میلیارد فرمول و ضابطه بدست می آید. صفحاتی که از نظر گوگل با اهمیت تر است PageRank بالاتری را به خود اختصاص می دهند بنابراین احتمال اینکه در راس نتایج موتور های جستجو قرار بگیرد بیشتر است.
PageRank همچنین به میزان رای حساس است. وقتی که سایتی به سایت شما لینک می دهد به منزله ی آن است که به شما رای داده است، هر چه تعداد این رای ها بیشتر باشد و PageRank رای دهندگان بالاتر باشد سایت شما هم ارزش بیشتری پیدا می کند. گوگل همواره در جستجوی راه کار های عملی برای بهبود کیفیت جستجو و نزدیک کردن نتیجه به درخواست کاربران است. گوگل گلچینی از برترین تکنولوژی های هوشمند وب را برای تشخیص درجه اهمیت سایت ها به کار می گیرد.
Hypertext-Matching Analysis:
موتور جستجوی گوگل به جای اسکن معمولی متن سایت و استفاده از کلمات موجود در Meta-Tag ها از یک شیوه ی هوشمند جدید استفاده میکند. قضیه از این قرار است که تکنولوژی آنالیز گوگل محتوای کامل صفحه را آنالیز کرده و بر اساس فاکتور هایی مانند فونت، زیرشاخه ها، برچسب ها، موقعیت دقیق هر کلمه و تگ های تیتر H1 و … دسته بندی می کند. حتی در بعضی موارد گوگل محتوای صفحات مجاور را نیز بررسی می کند تا اطمینان حاصل کند نتیجه ی جستجو ها بهترین و نزدیکترین نتیجه به خواست کاربر است.
