محققان دریافتند GPT و سایر مدل های هوش مصنوعی نمی توانند پرونده SEC را تجزیه و تحلیل کنند
محققان استارتاپی به نام Patronus AI دریافتند که مدل‌های زبان بزرگ، شبیه به آنچه در قلب ChatGPT وجود دارد، اغلب در پاسخ به سؤالات ناشی از پرونده‌های کمیسیون بورس و اوراق بهادار ناکام می‌مانند.
حتی بهترین پیکربندی مدل هوش مصنوعی که آنها آزمایش کردند، GPT-4-Turbo OpenAI، هنگامی که به توانایی خواندن تقریباً یک پرونده کامل در کنار سؤال مجهز شد، تنها 79٪ پاسخ ها را درست در آزمایش جدید Patronus AI، بنیانگذاران شرکت، دریافت کرد. به CNBC گفت.
اغلب اوقات، مدل‌های به اصطلاح زبان بزرگ از پاسخ دادن خودداری می‌کنند، یا ارقام و حقایقی را که در پرونده‌های SEC نبود، «توهم» می‌کنند.
آناند کانپان، یکی از بنیانگذاران هوش مصنوعی Patronus گفت: «این نوع نرخ عملکرد کاملاً غیرقابل قبول است. برای اینکه واقعاً به روشی خودکار و آماده تولید کار کند، باید بسیار بالاتر باشد.»
این یافته‌ها برخی از چالش‌های پیش روی مدل‌های هوش مصنوعی را نشان می‌دهد، زیرا شرکت‌های بزرگ، به‌ویژه در صنایع تحت نظارت مانند امور مالی، به دنبال استفاده از فناوری‌های پیشرفته در عملیات خود هستند، چه برای خدمات مشتری یا تحقیقات.
از زمان انتشار ChatGPT در اواخر سال گذشته، توانایی استخراج سریع اعداد مهم و انجام تجزیه و تحلیل بر روی روایت های مالی به عنوان یکی از امیدوارکننده ترین برنامه های کاربردی برای چت بات ها دیده می شود. پرونده‌های SEC پر از داده‌های مهم هستند، و اگر یک ربات بتواند آنها را به‌طور دقیق خلاصه کند یا به‌سرعت به سؤالات مربوط به آنچه در آنها است پاسخ دهد، می‌تواند به کاربر در صنعت رقابتی مالی کمک کند.
در سال گذشته، بلومبرگ LP مدل هوش مصنوعی خود را برای داده‌های مالی توسعه داد ، اساتید دانشکده بازرگانی تحقیق کردند که آیا ChatGPT می‌تواند سرفصل‌های مالی را تجزیه کند یا خیر، و JPMorgan
CNBC قبلا گزارش داده بود که روی یک ابزار سرمایه گذاری خودکار مبتنی بر هوش مصنوعی کار می کند . بر اساس پیش بینی اخیر مک کینزی، هوش مصنوعی مولد می تواند صنعت بانکداری را تریلیون ها دلار در سال تقویت کند .
اما ورود GPT به صنعت هموار نبوده است. زمانی که مایکروسافت
اولین بار بینگ چت خود را با استفاده از GPT OpenAI راه اندازی کرد، یکی از نمونه های اصلی آن استفاده از ربات چت برای خلاصه کردن سریع بیانیه مطبوعاتی درآمد بود. ناظران به سرعت متوجه شدند که اعداد در مثال مایکروسافت خاموش بودند و برخی از اعداد کاملاً ساخته شده بودند.
