חמשת הטיפים לשיפור תקציב הזחילה

תקציב סריקה הוא אלמנט חשוב בכל היבט ה SEO של האתר – במידה והאתר שלכם בעל המון דפים ובכל ויום מתווספים עוד ועוד דפים.

למרות, שתקציב הסריקה יכול לייצר הבדל משמעותי בתנועת האתר, עדיין מדובר בנושא, שדיי "נשכח" או לא מקבל את תשומת הלב הראויה במהלך קידום האתר.

טרם נצלול למעמקים, כמה דברים שחשוב לדעת ולהכיר:

מה זה תקציב זחילה?

תקציב הזחילה הוא כמות העמודים או URL'ים שגוגלבוט רוצה או יכול לסרוק – שילוב של הדרישה וסריקת האתר יולידו את תקציב הזחילה.

מה זה קצב הסריקה?

מספר הבקשות פר שנייה אותן מבצע הגוגלבוט בעודו סורק את האתר.

מה זה דרישת/ביקוש זחילה (Crawl Demand)?

הדרישה לסרוק דפים באתר. אתרים פופולאריים יהיו בעלי דרישת זחילה גבוהה יותר.

מדוע צריך להגביר את קצב הסריקה?

ככל, שקצב הסריקה יהיה גבוה, יותר כך יותר עמודים יסרקו ויאונדקסו.

אנחנו מניחים שהבנתם את חשיבותו הקצב ותקציב הזחילה.. קדימה צוללים למעמקים!

חדשות מרעישות: גוגל לא סורקת את כל דפי האתר שלכם בבת אחת והסיבה לכך היא שיש גבול לקצב הסריקה. הגבול הזה הוא בדיוק מה שגוגל הציגה לנו וקראה לו ‘Crawl Rate Limit’. תאמינו או לא, יש לכך סיבה דיי טובה.

בלעדי אותו גבול סריקה, השרת יהיה תחת עומסים כבדים מאוד, שכן כל עמודי האתרים יסרקו בבת אחת. כאשר מדובר על אתרי איקומורס בעלי המון דפים, הגבול הזה הוא משהו שיש לדאוג לו וצריך לטפל בזאת, בעזרת אופטימיזציה לתקציב הסריקה.

בעלי אתרים אשר להם המון דפים, לא רוצים, שמבקרים לא יגיעו לאותם עמודים שלא נסרקו אלא בדיוק להפך ולכן פעולות אופטימיזציה הן הכרחיות במקרים כאלו.

להלן חמשת הטיפים שלנו לביצוע אופטימיזציה

1. תמיד לדאוג לעדכון מפת האתר

אחד הדברים החשובים ביותר הוא מפת האתר ואם איכשהו אין לכם אחת, צרו אותה מיד. ניתן לייצר מפת אתר בעזרת כל אחד ממאות הכלים הקיימים ברחבי הרשת. אותה מפת אתר, המכילה את כל עמודי האתר שלכם, המגיעה בתצורת קובץ XML והיא שעוזרת לזחלנים או עכבישים לקבל גישה קלה יותר לכל התוכן הקיים באתר שלכם. חשוב מאוד, שהמפה תמיד תהייה מעודכנת ולא תכלול לינקים שבורים או לינקים חסומי סריקה.

בפשטות, דאגו ש:

• המפה תהייה מעודכנת
• תכלול את כל העמודים החדשים המתווספים לאתר
• המפה אינה כוללת לינקים לא טובים מכל סיבה שהיא
• ודאו שהמפה כלולה בקובץ robots.txt שלכם כדי שכל עמוד חדש יוצג לסריקה.

2. מבנה אתר נכון וקל לניווט

מבנה אתר טוב הוא כזה אשר ניתן לנווט בו בקלות לכל עמודי האתר. בגדול, יש סוג של "כלל" שאומר, כל עמוד חשוב הוא במרחק של 3 קליקים מכל עמוד אחר.

התפריט הראשי והעליון של האתר, צריך להציג את כל העמודים החשובים ובנוסף, מומלץ שיהיה פוטר ובו לינקים מהירים לעמוד צור הקשר, אודות וכל עמוד אחר הקשור לחברה עצמה.

בנוסף, גם מערך הקישורים הפנימיים שלכם הוא מאוד חשוב וכל עמוד ועמוד (כל עוד הוא עמוד חשוב) מהאתר שלכם צריך להיות מקושר פנימית. אם יש דבר חשוב, שאתם כבעלי אתר רוצים הוא שכל גולש ימשיך לגלוש בתוך האתר ויחקור את האתר מעבר לאותו עמוד אליו ובו נחת לראשונה.

3. ודאו שעמודי האתר שלכם לא בעלי הפניות כפולות

כאשר צריך לעבור מספר הפניות כדי להגיע לעמוד מסוים, הסורקים סביר ויינטשו את המסע ולא יגיעו לאותו עמוד. עמוד אשר הסורקים לא יגיעו אליו, לא יסרק ולא יאונדקס וזה גם אומר שתקציב הסריקה שלכם מתבזבז לריק.

הפנייה אחת היא האידיאלית לכל עמוד אך במידה ואין ביכולתכם לעמוד בהפנייה אחת, דאגו שיהיו כמה שפחות הפניות לכל עמוד.

4. שפרו את מהירות האתר

כולנו מכירים את חוק ה-3 שניות שאומר שאם לקח לאתר יותר מ-3 שניות להטען, סביר ויינטשו אותו. זה מהצד של הגולשים, שמתעצבנים מזמן טעינה איטי – כמו הגולשים גם הסורקים מתעצבנים מטעינה איטית ולמהירות טעינת האתר יש קשר ישיר לתקציב הסריקה של האתר.

בדקו את מהירות האתר שלכם וגלו כמה זמן לוקח לאתר להיטען (ניתן לעשות זאת בכלים השונים הקיימים והחינמים).

חשוב לדעת כי גם אחסון האתר משפיע על תקציב הזחילה וזאת מפני, שבעת הסריקה העומס על השרת גדל ולכן אחסון האתר שלכם צריך להיות בשרת, בו יש מספיק מקום. נדגיש כי חשוב מאוד לבחור בשרת העונה על תנאים אלו ואם אין אתם יודעים כיצד לבחור חברת אחסון, נשמח לייעץ לכם.

5. המשיכו לעדכן את עמודי האתר שלכם באופן קבוע

עדכון התוכן באתר מספק לסורקים סיבה לחזור לבקר שוב. חשוב להקפיד על עדכון התוכן באתר בתדירות גבוהה כלל האפשר. עדכון תוכן קבוע גם יטיב עם הגולשים אשר יבינו כי האתר שלכם הוא מקור ידע איכותי ועדכני.

הימנעו מתוכן משוכפל באתר! תוכן רענן, חדש ומקורי מתועדף ומועדף על מנועי החיפוש ובראשם גוגל.

מסקנות ולקחים

• טיפול ודאגה למהירות האתר שלכם תגביר את תקציב הזחילה/סריקה של האתר שלכם.
• מפת האתר צריכה להיות מעודכנת ונטולת שגיאות
• דאגו לעדכן את האתר תמיד בתוכן חדש ומקורי – הימנעו מתוכן משוכפל.
• הימנעו מ: עמודי שגיאה (404), עמודים משוכפלים ושרשרת הפניות לעמוד ארוכה.

לסיכום, תקציב הזחילה שלכם אקוטי רק כאשר מדובר באתרים בעלי עמודים רבים וזאת מכיוון, שגוגלבוט לא סורק את כל העמודים. יישמו את הטיפים, שהענקנו לכם וכך תוכלו לשפר את קצב הזחילה של האתר שלכם בקלות וביעילות. בהצלחה!