רובוטים של גוגל

הרובוטים של גוגל הם למעשה הגדרה כללית לאופן בו האלגוריתמים של גוגל סורקים את האינטרנט ואוספים מידע אודות אתרי אינטרנט שונים וזאת לצרכי אינדוקס האתרים והצגתם במנוע החיפוש.

הרובוטים של גוגל ידועים גם בשם SPIDERS (עכבישי רשת).

תפקידם של הרובוטים:

הרובוטים של גוגל הם למעשה תוכנות מחשב שתפקידן לסרוק את האינטרנט באופן רציף וקבוע ולהוריד דפי אינטרנט לתוך מאגר נתונים עצום המשמש למטרות תפעולו של מנוע החיפוש המוביל ביותר בעולם. בנוסף, הרובוטים מחפשים קישורים המופיעים בדפי האינטרנט השונים ומורידים גם אותם לתוך מאגר הנתונים.

מה חשוב לדעת על הרובוטים של גוגל:

הרובוטים של גוגל הם למעשה תוכנות מחשב המשמשות לצרכי סריקת רשת האינטרנט, כאשר תכיפות הסריקה משתנה בהתאם לפרמטרים שונים המוגדרים בתוכנה.

חשוב לציין שרק אתרים ודפי אינטרנט אשר נסרקו על ידי הרובוטים ולאחר מכן הורדו למאגר הנתונים, יופיעו במנוע החיפוש של גוגל.

ברשימת הפרמטרים המשמשת את הרובוטים של גוגל על מנת לקבוע איזה דפי אינטרנט הם נדרשים לסרוק ובאיזו תדירות נכללים:

• ה-PAGERANK של הדף.
• מספר הפרמטרים המופיעים ב-URL במקרים בהם מדובר בדף אינטרנט דינמי.
• מספר הלינקים המפנים לדף אינטרנט מסוים.

ופרמטרים נוספים הנחשבים בעולם קידום האתרים לסוד הכמוס ביותר של חברת גוגל.

חשוב לציין שתוכנות המחשב המפעילות את הרובוטים של גוגל הן תוכנות דינמיות המעדכנות באופן רציף וקבוע את רשימת הפרמטרים לסריקה, תכיפות הסריקה ורמות הסריקה.

סוגי רובוטים אותם מפעילה גוגל:

מנוע החיפוש של גוגל עושה שימוש בשלושה סוגי עכבישים (רובוטים) שונים שמטרתם לסרוק את רשת האינטרנט.

הראשון ביניהם הינו אלגוריתם גוגל אדסנס הסורק את כל האתרים העושים שימוש ברשת הפרסום של גוגל (GOOGLE ADSENSE).

השני, הינו אלגוריתם העונה לשם FRESHBOT האחראי על סריקת דפי האינטרנט החשובים והרלוונטיים ביותר באתרים השונים.

והשלישי הינו אלגוריתם העונה לשם DEEPCRAWL שמטרתו לסרוק את דפי האינטרנט המצויים ברשימת האתרים בהם ביקר אלגוריתם FRESHBOT.

כיצד ניתן להשפיע על תדירות ורמת הסריקה של הרובוטים?

אתרים מסוימים ברשת נסרקים על ידי הרובוטים של גוגל באופן תדיר וקבוע (חלק מהאתרים זוכים לסריקה בכל כמה דקות) ואילו אתרים אחרים נסרקים אחת למספר שבועות. ברוב המקרים, ניתן להשפיע על תדירות ורמת הסריקה של הרובוטים באמצעות מספר פעולות שונות אותן מומלץ ליישם לפני כל הליך קידום אתרים (ממומן ואורגני כאחד) בגוגל. פעולות אלו כוללות בין היתר: אופטימיזציה לקוד ותוכן האתר, הכנה מקצועית של מפת האתר, בדיקה מקיפה של כל נושא התגיות באתר, הפקדה יתרה על עדכון תכני האתר באופן תדיר (כאשר הרובוטים של גוגל מזהים כי תוכן העמודים מתעדכן בתדירות גבוהה הם דואגים לבקר באתר בתדירות גבוהה יותר) ופעולות נוספות המיושמות על ידי חברות קידום מנוסות ומיומנות.

מה עוד חשוב לדעת על פעילות הרובוטים של גוגל?

הרובוטים של גוגל מדמים פעולה של דפדפן ולא של גולש ולכן הם אינם יכולים לקבל החלטות גלישה בזמן ביקורם באתרים השונים (אלא אם כן הכוונתם אותם לצורך כך באמצעות קישוריות המופיעות בדף האינטרנט אותו הם סורקים). כמו כן, חשוב לזכור שאף על פי שהרובוטים של גוגל נחשבים לאלגוריתמים חכמים ודינמיים הם אינם מסוגלים לקרוא תוכנות עיצוב מסוימות. כיום, כל מקדם אתרים מקצועי ומוביל בתחומו, יודע כיצד להסתייע בכלים שונים המאפשרים לו לראות כיצד הרובוטים של גוגל "רואים" וסורקים את האתרים השונים אותם הוא מקדם ובהתאם לכך לפעול לניתוב תנועת הרובוטים של גוגל באתרים אלו.

שאלות נפוצות בנושא