Cloudflare פרסמה לאחרונה סט חדש של אפשרויות שמאפשרות לבעלי אתרים לנהל תעבורת AI בצורה הרבה יותר מדויקת: הפרדה בין סורקי Search, Agent ו‑Training, שליטה טובה יותר בהרשאות, ואפילו כלים חדשים למדידה וייחוס של התנועה הזו. עבור בוני אתרים, זה כבר לא דיון תיאורטי על בוטים — זו החלטה שיכולה להשפיע על עומס השרת, על ההגנה על התוכן ועל האופן שבו האתר שלך “מדבר” עם מערכות AI.
הנקודה החשובה היא שהשינוי הזה לא עוסק רק ב”לחסום או לא לחסום”. Cloudflare מנסה לבנות שכבת ניהול חדשה: להבין מי מגיע לאתר, למה הוא מגיע, ואיזה סוג תעבורה באמת מייצר ערך. לפי ההכרזה, גם לקוחות חינמיים מקבלים גישה לחלק מהבקרות החדשות, ובמקרים מסוימים אפשר להגדיר כברירת מחדל חסימה של סורקי Training ו‑Agent עבור דפים שמציגים פרסומות.
למה זה חשוב לבוני אתרים? כי אתרים רבים עדיין מתייחסים ל‑AI traffic כמו ל”עוד בוט אחד”. בפועל, יש הבדל גדול בין סורק שמעדכן מאגר חיפוש, סוכן שמבצע פעולה באתר, ומערכת שאוספת תוכן לאימון מודלים. כל אחד מהם צורך משאבים אחרת, יוצר סיכון אחר, ומביא ערך עסקי אחר.
אם אתם בונים אתר ללקוח, זה הרגע לבדוק שלושה דברים: האם יש לכם מדיניות ברורה ל‑AI bots, האם האתר ערוך למדידה של תעבורת מכונה בנפרד מתעבורת אדם, והאם יש לכם דרך להסביר ללקוח מה מותר ומה אסור. מי שיתייחס לזה מוקדם, יוכל לחסוך כאב ראש בעתיד — וגם לייצר יתרון תחרותי מול אתרים שמתעוררים מאוחר מדי.
בשורה התחתונה: Cloudflare הופכת את ניהול תעבורת ה‑AI מאילוץ מע模פל לכלי עבודה אמיתי. לבוני אתרים זה אומר דבר אחד פשוט — הגיע הזמן לעבור מניחושים למדיניות.