עריכת קובץ ה-Robots.txt של האתר שלכם
זמן קריאה: 4 דקות
חשוב:
עריכת קובץ ה-robots.txt היא אפשרות מתקדמת. שינויים בקובץ הזה עלולים לגרום לבעיות בכל הקשור להופעת האתר שלכם בתוצאות החיפוש. שירות הלקוחות של Wix לא יכול לעזור לכם לגבי שינויים שעשיתם בקובץ ה-robots.txt.
קובץ robots.txt אומר למנועי החיפוש אילו עמודים באתר לכלול בתוצאות החיפוש ועל אילו לדלג. מנועי החיפוש בודקים את קובץ ה-robots.txt של האתר שלכם כשהם סורקים ומאנדקסים את האתר. זה לא מבטיח שמנועי החיפוש יסרקו או לא יסרקו עמוד או קובץ מסוימים, אבל זה יכול לעזור למנוע ניסיונות אינדוקס פחות מדויקים.
אם אתם רוצים שליטה טובה יותר בבקשות הסריקה של האתר שלכם, אתם יכולים לערוך את קובץ ה-robots.txt.
אם אתם רוצים שליטה טובה יותר בבקשות הסריקה של האתר שלכם, אתם יכולים לערוך את קובץ ה-robots.txt.
טיפ:
- אתם יכולים להגדיר ב-Editor של האתר שעמוד מסוים לא יתווסף לאינדקס של מנועי חיפוש. קראו איך לעשות את זה ב-Editor, ב-Editor X וב-ADI.
- גם בעזרת תג המטא robots אפשר להשפיע על אופן האינדוקס של עמודי האתר. לדוגמה, אפשר להשתמש בתג "nofollow" כדי להורות למנועי חיפוש לא לבדוק את הלינקים בעמוד. לפרטים נוספים על תג המטא robots
כאן תוכלו לקרוא על:
להבין את קובץ ה-robots.txt
קובץ ה-robots.txt מכיל הוראות שמתירות או אוסרות בקשות מסוימות ממנועי חיפוש. הפקודה "allow" מפרטת לסורקים אילו לינקים הם יכולים לבדוק, והפקודה "disallow" מפרטת להם אילו לינקים הם לא יכולים לבדוק. הקובץ כולל גם את כתובת ה-URL של קובץ מפת האתר.
כדי לראות את קובץ ה-robots.txt של האתר שלכם, הוסיפו /robots.txt לדומיין הבסיס. דוגמה: https://www.mystunningwebsite.com/robots.txt .
רוצים לקרוא מידע נוסף?
- היכנסו ל-Wix SEO Learning Hub כדי לקרוא את עמוד המידע שלנו על קובץ ה-robots.txt.
- לפרטים נוספים: איך Google מפרשת את קובץ ה-robots.txt של האתר
עריכת קובץ ה-robots.txt
אתם יכולים לערוך את קובץ ה-robots.txt של האתר שלכם באמצעות ה-Robots.txt Editor בדאשבורד ל-SEO של האתר. קובץ ה-robots.txt של האתר שלכם מאפשר לבוטים במנועי חיפוש לגשת לכל עמודי האתר שלכם כברירת מחדל. יכול להיות שבוטים לא יוכלו לגשת לעמודים מסוימים אם הם:
- עמודים מוגנים באמצעות סיסמה
- עמודים לחברים בלבד
- עמודים שמנעת את האינדוקס שלהם ב-Editor של האתר או בהגדרות ה-SEO של האתר
לפני שתעשו שינוי בקובץ ה-robots.txt, מומלץ לבדוק את ההנחיות וההגבלות של Google לגבי קובצי robots.txt.
חשוב:
עריכת קובץ ה-robots.txt של האתר עלולה לגרום לבעיות בהופעת עמודי האתר בתוצאות החיפוש.
כדי לערוך את קובץ ה-robots.txt שלכם:
- היכנסו ל-SEO Dashboard.
- בחרו ב-Go to Robots.txt Editor תחת Tools and settings (כלים והגדרות).
- הקליקו על View File (הצגת הקובץ).
- הוסיפו את פרטי קובץ ה-robots.txt על ידי כתיבת ההנחיות תחת This is your current file (זה הקובץ הנוכחי).
- הקליקו על Save Changes (שמירת השינויים).
- הקליקו על Save (שמירה).
טיפ:
- מנועי החיפוש יעדכנו את גרסת הקאש של קובץ ה-robots.txt בפעם הבאה שהם יסרקו את האתר.
- אם אתם צריכים שהקובץ יתעדכן מהר יותר, אתם יכולים לנסות לשלוח את כתובת ה-URL של עמוד הבית למנועי חיפוש.
- אפשר גם לרענן את גרסת הקאש של Google באמצעות ה-robots.txt tester.
לאפס את קובץ ה-robots.txt
אם שיניתם את קובץ ה-robots.txt של האתר ואתם רוצים להחזיר אותו לגרסה הקודמת, אפשר לאפס אותו למצב ברירת המחדל שלו באמצעות ה-Robots.txt Editor בדאשבורד ה-SEO של האתר.
כדי לאפס את קובץ ה-robots.txt:
- היכנסו ל-SEO Dashboard.
- בחרו ב-Go to Robots.txt Editor תחת Tools and settings (כלים והגדרות).
- הקליקו על View File (הצגת הקובץ).
- הקליקו על Reset to Default (איפוס לברירת המחדל).
- הקליקו על Reset (איפוס).
טיפ:
- מנועי החיפוש יעדכנו את גרסת הקאש של קובץ ה-robots.txt בפעם הבאה שהם יסרקו את האתר.
- אם אתם צריכים שהקובץ יתעדכן מהר יותר, אתם יכולים לנסות לשלוח את כתובת ה-URL של עמוד הבית למנועי חיפוש.
- אפשר גם לרענן את גרסת הקאש של Google באמצעות ה-robots.txt tester.
שגיאת Robots.txt ב-Wix Site Inspection או ב-Google Search Console
לפעמים יכולות להופיע שגיאות כמו Blocked by robots.txt בדוח ה-Wix Site Inspection או בחשבון Google Search Console.
אם אתם רואים שגיאה כזו, אין צורך לערוך את קובץ ה-robots.txt, במיוחד אם מעולם לא ערכתם אותו. במקום זאת, בדקו את ההגדרות הבאות בעמודים שלכם:
- איפה אפשר להורות למנועי החיפוש לא לאנדקס עמוד?
- העמוד מוגן באמצעות סיסמה
- העמוד מיועד לחברים בלבד
אם אתם צריכים לעדכן עמוד, Wix תעדכן אוטומטית את ה-robots.txt אחרי שתפרסמו את העמוד. אם תשנו את הגדרות האתר, קובץ ה-robots.txt יתעדכן מיד.
אחרי שתבצעו את השינוי, מנועי החיפוש יעדכנו את הגרסה השמורה שלהם לקובץ ה-robots.txt בפעם הבאה שהם יסרקו את האתר שלכם. אם אתם צריכים שהקובץ יתעדכן מהר יותר, נסו לשלוח את עמוד הבית למנועי החיפוש לצורך אינדוקס.
זה עזר לך?
|