הסורק

הסורק ובודק הקישורים של GO BEST SEO

מצאתם את GoBestSEO-Audit או את GoBestSEO-Links ביומני השרת או בחומת האש? כאן תמצאו מי ביקר אצלכם, ולמה.

מה זה

GoBestSEO-Audit הוא הסורק של GO BEST SEO. הוא קורא את העמודים הציבוריים של אתר, כדי שבעל האתר יקבל סריקת SEO. הוא מבקר באתר רק אחרי שבעליו רשם אותו אצלנו וחיבר את נכס ה־Google Search Console של האתר עצמו, ורק לטובת הסריקות של אותו בעלים.

הסורק רק קורא. שינויים שבעל האתר אישר, כמו כותרת עמוד טובה יותר, נעשים בנפרד, דרך חיבור הוורדפרס שהוא עצמו הגדיר, ואף פעם לא על ידי הסורק.

בודק הקישורים הוא סורק נפרד עם תפקיד אחר, ומתואר בהמשך.

איך מזהים אותו

כל בקשה נושאת User-Agent שמתחיל במזהה המוצר GoBestSEO-Audit/1.0, ואחריו, בסוגריים, סימן פלוס והכתובת של העמוד הזה. כדי לאשר אותו, התאימו לפי השם GoBestSEO-Audit.

הבקשות מגיעות מ־Google Cloud בלי כתובת IP קבועה, ולכן מזהים אותו לפי ה־User-Agent ולא לפי טווח כתובות.

מה הוא קורא, ובאיזו תדירות

  • את העמודים הציבוריים של האתר הרשום, החל מדף הבית וממפת האתר, עד מגבלת העמודים של המסלול (25 עמודים לכל היותר).
  • בדיקת סטטוס לכתובות נוספות שמופיעות במפת האתר, בלי לקרוא את התוכן שלהן.
  • את קובץ robots.txt ואת מפת האתר, כדי למצוא עמודים ולדווח מה הם אומרים למנועי החיפוש.
  • הוא לא מתחבר לאתר ולא שולח טפסים, ולכן לא רואה שום דבר שנמצא מאחורי התחברות.
  • הוא סורק את האתר כל יום או כל יומיים, לפי המסלול של הבעלים, בדרך כלל בלילה לפי שעון ישראל.

אם חומת האש או תוסף האבטחה חוסמים אותו

אם האתר שלכם ואתם משתמשים ב־GO BEST SEO, אשרו בחומת האש, ב־CDN או בתוסף האבטחה של וורדפרס בקשות שה־User-Agent שלהן מכיל GoBestSEO-Audit. אחרת המערכת תודיע לכם שהאתר חוסם את הסורק שלנו, והממצאים יהיו חלקיים.

אם הסורק ביקר באתר שלכם אף שלא רשמתם אותו אצלנו, או שהוא גרם לבעיה כלשהי, דווחו לצוות שלנו על הביקור וציינו באיזו כתובת ביקר ומתי.