ChatGPT قبلاً ثابت کرده است که قادر به قبولی در آزمون‌های مختلف، امتحانات و غیره است. معلوم شد که او هنوز هم می‌تواند بازی‌ها را بسیار ضعیف انجام دهد، حداقل در Doom.
آدریان دی وینتر، دانشمند و محقق مایکروسافت در دانشگاه یورک در انگلستان، تصمیم گرفت آزمایش کند که آیا مدل زبانی GPT-4 که زیربنای ChatGPT است می‌تواند Doom را بدون آموزش قبلی بازی کند یا خیر. معلوم شد که می تواند، اما خوب نیست.
هوش مصنوعی در کل بازی را انجام داد. یعنی دور سطوح حرکت کرد، درب‌ها را باز و اسلحه شلیک کرد. با این حال، او با حرکت مشکل داشت، گاهی اوقات در گوشه‌ها گیر می‌کرد، اما بدتر از همه این بود که هوش مصنوعی به محض ناپدید شدن حریفان از میدان دید خود، آنها را فراموش می‌کرد.
این با وجود دستورالعمل‌هایی است که نشان می‌دهد اگر دشمن روی صفحه نیست، اما شخصیت آسیب دیده است، چه باید کرد. با این حال، با توجه به اینکه هوش مصنوعی اصلاً در بازی‌ها آموزش داده نشده، این در حال حاضر بسیار خوب است.
به طور جداگانه، نویسنده پروژه اشاره می‌کند که او به راحتی توانسته است GPT-4 را برای شلیک کند. بله، تنها در دنیای مجازی، اما رسیدن به سناریوهایی دشوار نیست که اقدامات در دنیای مجازی را می‌توان به هر طریقی به دنیای واقعی منتقل کرد.
به طور جداگانه، شایان ذکر است که البته غیرممکن است که به سادگی بازی کنید و اجازه دهید GPT-4 هر بازی را انجام دهد. در این مورد خاص، de Winter یک مؤلفه Vision را توسعه داد که GPT-4V نامیده می‌شود، که از موتور بازی اسکرین شات می‌گیرد و توضیحاتی از ساختار حالت بازی برمی‌گرداند.
سپس او این را با یک مدل عامل ترکیب کرد که GPT-4 را برای تصمیم‌گیری بر اساس داده‌های بصری و تاریخچه قبلی می‌نامد. به مدل عامل دستور داده می‌شود که پاسخ‌های خود را به دستورات ضربه‌ای که برای موتور بازی معنا می‌کنند ترجمه کند. تعاملات از طریق یک لایه مدیر متشکل از یک Python منبع باز که به موتور Doom C در حال اجرا در Matplotlib متصل می‌شود، انجام شود.
