هوش مصنوعی چگونه بر ترافیک وب‌سایت‌های خبری تأثیر گذاشته است؟
به گزارش ایروتایم – irotime، یک مطالعه جدید نشان می‌دهد که موتورهای جستجوی مبتنی بر هوش مصنوعی تأثیر قابل‌توجهی بر کاهش بازدید از وب‌سایت‌های خبری و وبلاگ‌ها داشته‌اند. درحالی‌که ربات‌های هوش مصنوعی به‌طور فزاینده‌ای در حال استخراج داده‌های آنلاین برای آموزش مدل‌های خود هستند، سایت‌های دیجیتالی که به ترافیک موتورهای جستجو وابسته‌اند، با کاهش شدید بازدیدکنندگان مواجه شده‌اند.
بر اساس تحقیق منتشرشده توسط پلتفرم مجوزدهی محتوا TollBit، میزان ترافیک ارجاعی سایت‌های خبری و وبلاگ‌ها از موتورهای جستجوی هوش مصنوعی ۹۶ درصد کمتر از موتور جستجوی سنتی گوگل است.
استخراج گسترده داده‌ها توسط شرکت‌های فناوری
گزارش TollBit که توسط Forbes منتشر شده، نشان می‌دهد که شرکت‌های فناوری، مانند OpenAI، Perplexity و Meta، در حال افزایش میزان استخراج داده‌های آنلاین برای آموزش مدل‌های هوش مصنوعی خود هستند. این مطالعه که بیش از ۱۶۰ وب‌سایت در زمینه‌های خبری، فناوری مصرف‌کننده و وبلاگ‌های خرید را در بازه زمانی اکتبر تا دسامبر بررسی کرده، نشان می‌دهد که در سه‌ماهه چهارم سال ۲۰۲۴، ربات‌های این شرکت‌ها بیش از دو میلیون بار از این وب‌سایت‌ها داده استخراج کرده‌اند.
در این گزارش آمده است که به‌طور متوسط، هر صفحه وب حدود هفت بار مورد بررسی و استخراج اطلاعات قرار گرفته است. بااین‌حال، صاحبان وب‌سایت‌ها و ناشران اغلب از این فعالیت‌ها بی‌اطلاع هستند، زیرا ربات‌های هوش مصنوعی به‌درستی شناسایی نشده و اطلاعات شفافی درباره فعالیت‌های آن‌ها ارائه نمی‌شود.
عدم شفافیت در نحوه تعامل ربات‌های هوش مصنوعی با سایت‌ها
یکی از یافته‌های مهم این مطالعه، میزان پایین ارجاع کاربران از موتورهای جستجوی هوش مصنوعی به وب‌سایت‌های منبع است. برای مثال، بر اساس گزارش TollBit، ربات‌های Perplexity یک وب‌سایت خبری را ۵۰۰ بار بررسی کرده‌اند اما تنها ۱۰ هزار ارجاع به آن سایت ارسال کرده‌اند. این در حالی است که Perplexity پیش‌تر به استفاده از خزنده‌های ناشناس و عدم رعایت استانداردهای robots.txt متهم شده بود.
افزایش هزینه‌های سرور ناشی از ترافیک ربات‌ها
یکی دیگر از چالش‌های ناشران، هزینه‌های فزاینده سرورها به دلیل افزایش ترافیک ربات‌ها است. Toshit Panigrahi، مدیرعامل TollBit، در این خصوص می‌گوید: “ما شاهد هجوم ربات‌هایی هستیم که هر بار که یک کاربر سؤالی را مطرح می‌کند، فشار زیادی به سرورهای این سایت‌ها وارد می‌کنند. میزان تقاضا برای محتوای ناشران قابل‌چشم‌پوشی نیست.”
وی همچنین افزود: “هوش مصنوعی مانند انسان‌ها مطالعه نمی‌کند. کاربران معمولاً یک یا دو لینک را کلیک کرده و سپس ادامه می‌دهند، اما هوش مصنوعی برای دریافت پاسخ، ۱۰ تا ۲۰ لینک را به‌صورت هم‌زمان بررسی می‌کند.”
آینده ترافیک جستجو در سایه رشد هوش مصنوعی
شرکت‌هایی مانند OpenAI و Perplexity ادعا کرده‌اند که موتورهای جستجوی هوش مصنوعی می‌توانند کاربران بیشتری را به سمت وب‌سایت‌ها هدایت کرده و فرصت‌های درآمدی جدیدی برای ناشران ایجاد کنند. بااین‌حال، گزارش دیگری از مؤسسه تحقیقاتی Gartner پیش‌بینی کرده است که افزایش استفاده از چت‌بات‌های هوش مصنوعی و دستیارهای مجازی می‌تواند تا سال ۲۰۲۶ منجر به کاهش ۲۵ درصدی ترافیک موتورهای جستجو شود.
در تازه‌ترین نمونه از تأثیر منفی جستجوی مبتنی بر هوش مصنوعی، شرکت آمریکایی Chegg اخیراً از گوگل شکایت کرده است. این شرکت مدعی است که خلاصه‌های تولیدشده توسط هوش مصنوعی گوگل باعث کاهش شدید بازدید از وب‌سایتش شده و درآمد آن را کاهش داده است. بر اساس شکایت Chegg، ترافیک جستجوی این شرکت در ژانویه نسبت به سال گذشته ۴۹ درصد کاهش یافته است، درحالی‌که این میزان در سه‌ماهه دوم ۲۰۲۴ تنها ۸ درصد بود، یعنی درست قبل از آنکه گوگل قابلیت AI Overviews را ارائه دهد.
نتیجه‌گیری
با گسترش موتورهای جستجوی هوش مصنوعی و افزایش استفاده از ربات‌های استخراج داده، چالش‌های جدیدی برای ناشران آنلاین و وب‌سایت‌های خبری ایجاد شده است. عدم شفافیت در نحوه تعامل این ربات‌ها با محتوا، کاهش شدید ترافیک ارجاعی، و افزایش هزینه‌های سرور ازجمله مشکلاتی است که این فناوری جدید با خود به همراه آورده است. بااین‌حال، همچنان مشخص نیست که آیا شرکت‌های فناوری تدابیری برای حل این مشکلات در نظر خواهند گرفت یا خیر.
