קובץ רובוטס (Robots.txt)
קובץ רובוטס, הוא שקובע לאילו ספריות/קבצים בשרת יקבל הרשאה הזחלן של מנועי החיפוש בראשם גוגל לגשת. המלצתה של גוגל היא לא לחסום את הזחלן מקבצי תמונות ו/או Javascript וזאת כדי למנוע פגיעה בסריקת האתר. נכון להיות לגוגל היכולת "לצפות" באתרים באופן ויזואלי.
קובץ Robots.txt מנחה את מנועי החיפוש באשר לאזורים, שיש לסרוק ולאנדקס ובאשר לאזורים שיש לפסוח עליהם ולא לאנדקס. הקובץ חוסם תיקיות כך שמנועי החיפוש לא יגיעו אליהן. קובץ הרובוטס ממוקם בתיקייה הראשית של האתר ויש להעלות אותו גם אל קונסולת החיפוש.
מדוע לחסום תכנים מפני גוגל אזורים באתר
בכל אתר, ישנן תיקיות ואזורים שלא כדאי ו/או אין טעם לחשוף בפני מנועי החיפוש וביניהם תיקיות הניהול של המערכת, סקריפטים מגוונים ועוד.
סריקת האזורים הללו, לא תורמת במאום לאתר ולעיתים סקירה זו יכולה לפגוע בתהליך האופטימיזציה והקידום.
ישנן גם סיטואציות בהן יעדיף בעל האתר לחסום בפני גוגל דפים אשר נגישים לגולשים למרות שמוטב שלא יגיעו אליהם, בין היתר אתר אשר נמצא בתהליך בנייה, עמודים בעלי תוכן משוכפל ועוד.
האם חייב להשתמש בקובץ Robots.txt ?
התשובה לכך היא לא. לא בכל אתר קיים קובץ זה ואם לחשוף את האמת, אם אין לכם סיבה ממשית למנוע ממנועי החיפוש ובראשם גוגל לבקר באתר שלכם או בחלקים מסויימים ממנו, אין כלל צורך בקובץ הרובוטס.
מנועי החיפוש, דבר ראשון יחפשו באתרכם את קובץ ה- Robots, כדי לדעת היכן לבקר והיכן לא אך אם אין לכם קובץ זה, לא קרה כלום ומנועי החיפוש ימשיכו בעבודתם נאמנה ויבקרו ככל הנראה בכל אחד מהאזורים באתר שלכם.
היה ועדכנתם את הקובץ "ואסרתם" על הביקור של מנועי החיפוש באזורים מסוימים באתר, מנועי החיפוש לא יבצעו את איסוף התוכן אך עליכם לקחת בחשבון שאם בוצעו הפניות מדפים שמותרים לסריקה אל דפים שאסרתם בהם ביקור, אזי הדף יופיע בתוצאות החיפוש אך ללא מידע אודותיו ובין היתר תיאור, כותרת וכיוצא בזאת. היה ואתם מבקשים למנוע את הופעת הדף כליל, עליכם להשתמש בשיטת ה- תג Robots.
כיצד משפיע קובץ Robots.txt על האתר
כמו כל פעולה אותה מבצעים באתר, היא משפיעה (לעיתים באופן ישיר פעמים אחרות באופן עקיף) על תהליך הקידום והאופטימיזציה באתר. שימוש בקובץ Robots.txt בא לידי ביטוי במספר פרמטרים וביניהם:
מעבר לאתר חדש – היה ואתם בוחרים לעבור לאתר חדש אותו בניתם לשם שדרוג, הרי שסביר כי תבנו אותו על סאב דומיין בסביבת טסט, כך שגולשים לא יוכלו לגשת אליו בשום מקרה, אך אם התוכן באתר החדש זהה לתוכן באתר הקודם, הרי שקיים סיכון לתוכן משוכפל – סיבה מספיק טובה לפגוע בדירוג האתר שלכם.
כדי להימנע מבעיה זו ומהתוכן המשוכפל, חשוב להגדיר את קובץ ה- Robots.txt של האתר החדש, כך מנועי החיפוש לא יאנדקסו אותו עד אשר תחליטו ותבינו שסיימתם לעבוד עליו ואתם מוכנים להעלות אותו לאוויר. זכרו כי ברגע בו אתם מעלים את האתר החדש לאוויר ודורסים את האתר הישן, עליכם לשנות בקובץ את ההגדרה וזאת כדי לא לאפשר למנועי החיפוש להוציא את האתר לגמרי מתוצאות החיפוש.
עוד סיבה טובה מספיק כדי להשתמש בקובץRobots.txt היא כשאתם רוצים למנוע ממנועי החיפוש וכמובן ממנוע חיפוש גוגל בראשם, ביקור בדף ספציפי. פעמים רבות אנחנו מעלים לאתר דפים אשר יש בהם תוכן דל ביותר אך אנו חשים "חובה" להעלות אותם (הם לא מועילים לתהליך הקידום אך הם הכרחיים לגולשים).
כדי שגוגל לא יסרוק את הדף האמור, ניתן להעלות את קובץ ה- Robots.txt ולמנוע ממנו ביקור בדף. סיבה נוספת ולא מומלצת בכל מקרה, היא במקרים בהם בדף ספציפי יש תוכן משוכפל ועל מנת שעדכון פנדה לא יפגע בדירוג האתר, חשוב לעדכן את קובץ Robots.txt וכן הלאה. שימו לב כי תפקידו של קובץ Robots.txt הוא למנוע ביקורים לא רצויים של מנועי החיפוש באזורים בעייתיים באתר.
