ציד העכבישים – איך להתיידד עם העכבישים של גוגל?
חלק מתכנית הקורס החינמי שלי בנושא קידום אתרים:
[ Ссылка ]
היי לכולם. אני רוצה לדבר אתכם על נושא שכדאי שתכירו אם אתם הולכים לעסוק בקידום אתרים בגוגל, אני מדבר על העכביש של גוגל – תוכנה שרצה וסורקת את דפי האינטרנט בכל העולם. שם נוסף של התוכנה הוא: "קרולר" ((web crawler) – תוכנה שזוחלת בין אתרים באמצעות קישורים.
היום יש מספר סוגים של קרולרים של תמונות, מובייל ודסקטופ למשל, כך שיש לנו מגוון שלם שלהם.
חשוב לי שתכירו מספר דברים שמשפיעים על קידום האתר:
א. האתר צריך להיות פתוח ונוח כך שהוא יאפשר לקרולר לזרום בו ולבצע את עבודתו - לעבור בין הדפים באמצעות קישורים, לאסוף מידע, להתייחס לתוכן ולהחזיר את המידע שנאסף למרכז בקרה – לשרתים של גוגל, שם המידע ינותח ובסופו של הניתוח האתר ידורג. יש לציין כי הקרולר חוזר גם לדפים שנסרקו בעבר כך שכאן עלינו לעקוב אחר קצב הסריקה של האתר. נכון להיום הסריקה מתבצעת בשעות/ דקות בתלות בקצב התדירות של עדכון התוכן - באתרי חדשות גדולים למשל, התוכן נסרק מדי שנייה.
ב. אפשר להשפיע על קצב הסריקה על ידי עדכון קבוע של האתר ובהגשת מפת אתר – בהעלאת קובץ FID RSS ממנו העכביש מקבל מידע חדש.
ג. הספיידר לא יודע כיצד להתמודד עם כל הטכנולוגיות, כמו למשל: SPLESH ו- JAVA SCRIPT IN שקצת חלפו מהעולם, אך ניתן למצוא אותן. מעבר לטכנולוגיות מסוימות אפשר לומר שרוב האתרים קריאים.
ד. כדאי להשקיע בלמידה של תגי מטא רובוט וקובץ הרובוט – טקסט שעוזר לנו "לדבר" עם הרובוט ולומר לו מה מותר ומה אסור לו לעשות.
בהצלחה לכם ותודה.
