עריכת קובץ ה-Robots.txt של האתר שלכם

זמן קריאה: 4 דקות
חשוב:
עריכת קובץ ה-robots.txt היא אפשרות מתקדמת. שינויים בקובץ הזה עלולים לגרום לבעיות בכל הקשור להופעת האתר שלכם בתוצאות החיפוש. שירות הלקוחות של Wix לא יכול לעזור לכם לגבי שינויים שעשיתם בקובץ ה-robots.txt.
קובץ robots.txt אומר למנועי החיפוש אילו עמודים באתר לכלול בתוצאות החיפוש ועל אילו לדלג. מנועי החיפוש בודקים את קובץ ה-robots.txt של האתר שלכם כשהם סורקים ומאנדקסים את האתר. זה לא מבטיח שמנועי החיפוש יסרקו או לא יסרקו עמוד או קובץ מסוימים, אבל זה יכול לעזור למנוע ניסיונות אינדוקס פחות מדויקים.

אם אתם רוצים שליטה טובה יותר בבקשות הסריקה של האתר שלכם, אתם יכולים לערוך את קובץ ה-robots.txt. 
טיפ:
  • אתם יכולים להגדיר ב-Editor של האתר שעמוד מסוים לא יתווסף לאינדקס של מנועי חיפוש. קראו איך לעשות את זה ב-Editor, ב-Editor X וב-ADI.
  • גם בעזרת תג המטא robots אפשר להשפיע על אופן האינדוקס של עמודי האתר. לדוגמה, אפשר להשתמש בתג "nofollow" כדי להורות למנועי חיפוש לא לבדוק את הלינקים בעמוד. לפרטים נוספים על תג המטא robots
כאן תוכלו לקרוא על:

להבין את קובץ ה-robots.txt

קובץ ה-robots.txt מכיל הוראות שמתירות או אוסרות בקשות מסוימות ממנועי חיפוש. הפקודה "allow" מפרטת לסורקים אילו לינקים הם יכולים לבדוק, והפקודה "disallow" מפרטת להם אילו לינקים הם לא יכולים לבדוק. הקובץ כולל גם את כתובת ה-URL של קובץ מפת האתר.
כדי לראות את קובץ ה-robots.txt של האתר שלכם, הוסיפו ‎/robots.txt לדומיין הבסיס. דוגמה: https://www.mystunningwebsite.com/robots.txt
דוגמה לקובץ robots txt
רוצים לקרוא מידע נוסף?

עריכת קובץ ה-robots.txt

אתם יכולים לערוך את קובץ ה-robots.txt של האתר שלכם באמצעות ה-Robots.txt Editor בדאשבורד ל-SEO של האתר. קובץ ה-robots.txt של האתר שלכם מאפשר לבוטים במנועי חיפוש לגשת לכל עמודי האתר שלכם כברירת מחדל. יכול להיות שבוטים לא יוכלו לגשת לעמודים מסוימים אם הם: 
לפני שתעשו שינוי בקובץ ה-robots.txt, מומלץ לבדוק את ההנחיות וההגבלות של Google לגבי קובצי robots.txt.
חשוב:
עריכת קובץ ה-robots.txt של האתר עלולה לגרום לבעיות בהופעת עמודי האתר בתוצאות החיפוש. 

כדי לערוך את קובץ ה-robots.txt שלכם:

  1. היכנסו ל-SEO Dashboard.
  2. בחרו ב-Go to Robots.txt Editor תחת Tools and settings (כלים והגדרות).
  3. הקליקו על View File (הצגת הקובץ). 
  4. הוסיפו את פרטי קובץ ה-robots.txt על ידי כתיבת ההנחיות תחת This is your current file (זה הקובץ הנוכחי).
עריכת קובץ ה-robots.txt
  1. הקליקו על Save Changes (שמירת השינויים). 
  2. הקליקו על Save (שמירה). 
טיפ:

לאפס את קובץ ה-robots.txt

אם שיניתם את קובץ ה-robots.txt של האתר ואתם רוצים להחזיר אותו לגרסה הקודמת, אפשר לאפס אותו למצב ברירת המחדל שלו באמצעות ה-Robots.txt Editor בדאשבורד ה-SEO של האתר.

כדי לאפס את קובץ ה-robots.txt:

  1. היכנסו ל-SEO Dashboard.
  2. בחרו ב-Go to Robots.txt Editor תחת Tools and settings (כלים והגדרות).
  3. הקליקו על View File (הצגת הקובץ). 
  4. הקליקו על Reset to Default (איפוס לברירת המחדל).
איפוס קובץ ה-robots.txt למצב ברירת המחדל שלו
  1. הקליקו על Reset (איפוס).
טיפ:

שגיאת Robots.txt ב-Wix Site Inspection או ב-Google Search Console

לפעמים יכולות להופיע שגיאות כמו Blocked by robots.txt בדוח ה-Wix Site Inspection או בחשבון Google Search Console
אם אתם רואים שגיאה כזו, אין צורך לערוך את קובץ ה-robots.txt, במיוחד אם מעולם לא ערכתם אותו. במקום זאת, בדקו את ההגדרות הבאות בעמודים שלכם:
אם אתם צריכים לעדכן עמוד, Wix תעדכן אוטומטית את ה-robots.txt אחרי שתפרסמו את העמוד. אם תשנו את הגדרות האתר, קובץ ה-robots.txt יתעדכן מיד.
אחרי שתבצעו את השינוי, מנועי החיפוש יעדכנו את הגרסה השמורה שלהם לקובץ ה-robots.txt בפעם הבאה שהם יסרקו את האתר שלכם. אם אתם צריכים שהקובץ יתעדכן מהר יותר, נסו לשלוח את עמוד הבית למנועי החיפוש לצורך אינדוקס.

זה עזר לך?

|