مطابق حرف های‌های استارتاپ TollBit، چندین شرکت هوش مصنوعی انگارً پروتکل امنیتی سایت‌ها را که برای جلوگیری از استخراج یا اسکرپینگ مطالب آن‌ها منفعت گیری می‌بشود، دور می‌زنند. هرچند TollBit نام هیچ شرکت هوش مصنوعی را ذکر نکرده، اما به‌نظر می‌رسد دو شرکت بزرگ OpenAI و Anthropic نیز این پروتکل‌ها را نادیده می‌گیرند.

شرکت هوش مصنوعی Perplexity در چند روز قبل مورد انتقاد قرار گرفت و فوربز این شرکت را به سرقت مطالبش متهم کرده است؛ به‌نظر می‌رسد این شرکت هوش مصنوعی دستورات فایل robots.txt را نادیده می‌گیرد و وب‌سایت فوربز را اسکرپ می‌کند.

اکنون، رویترز به نقل از استارتاپ TollBit گزارش می‌دهد که Perplexity تنها شرکت هوش مصنوعی نیست که پروتکل robots.txt را دور می‌زند و اطلاعات وب‌سایت‌ها را برای دریافت محتوایی که برای آموزش هوش مصنوعی آن‌ها منفعت گیری می‌بشود، استخراج می‌کند.

بی‌توجهی شرکت‌های هوش مصنوعی به پروتکل امنیتی سایت‌ها

TollBit استارتاپی است که سایت‌ها و ناشران را به شرکت‌های هوش مصنوعی وصل می‌کند تا این شرکت‌ها بتوانند مجوز منفعت گیری از مطالب دریافت کنند. اکنون این استارتاپ در نامه‌ای به سایت‌ها و ناشران حرف های است:

«ابزارهای هوش مصنوعی از منبع های متعدد (نه فقط یک شرکت) ترجیح خواهند داد که پروتکل robots.txt را برای کسب محتوا دور بزنند.»

فایل‌های robots.txt حاوی دستورالعمل‌هایی برای خزنده‌های وب است که در آن ذکر شده کدام نوشته را می‌توان استخراج کرد و کدام یک را نمی‌توان. گفتنی است که گسترش‌دهندگان وب از سال ۱۹۹۴ از این پروتکل منفعت گیری می‌کنند.

در نامه TollBit نام هیچ شرکتی ذکر نشده، اما اینسایدر دریافته است که OpenAI و Anthropic درحال دورزدن فایل‌های robots.txt می باشند. یقیناً هر دو شرکت قبلاً اظهار کرده بودند که به دستورالعمل‌هایی که وب‌سایت‌ها در فایل‌های robots.txt خود قرار داده‌اند، احترام می‌گذارند.

به‌طورکلی، با ظهور هوش مصنوعی مولد، استارتاپ‌ها و شرکت‌های فناوری درحال رقابت برای ساخت نیرومندترین مدل‌های هوش مصنوعی می باشند. یک عنصر کلیدی در این فرایند، کسب داده‌هایی با کیفیت و کمیت بالا است. اکنون عطش دریافت این چنین داده‌هایی برای آموزش هوش مصنوعی، پروتکل robots.txt و دیگر توافق‌ها را تضعیف کرده است.