امتیاز بنچمارک Gemini 1.5 Pro با مدل GPT-4o یکی شد

گوگل Gemini 1.5 Pro مدتی پیش با حداکثر 1 میلیون توکن وارد بازار شد. اما اخیراً غول فناوری Mountain View در رویداد Google I/O 2024 اعلام کرد که نسخه توکن 2M به زودی برای توسعه دهندگان عرضه می شود.

اما Gemini 1.5 Pro واقعا چقدر خوب است؟ معمولاً اعداد بنچمارک شروع خوبی هستند، اگرچه لزوماً تصویر دقیقی را ارائه نمی دهند. به نظر می رسد که Gemini 1.5 Pro یا حتی سطح “پیشرفته” آن، در دسته بندی های خاص با جدیدترین مدل GPT-4o برابری می کند.

همانطور که در مقایسه کلی تابلوی امتیازات بالا از LMSYS Org مشاهده می شود، هر دو Gemini-1.5-Pro-API-0514 و Gemini-Advanced-0514 طبق اندازه گیری سیستم Arena Elo به GPT-4o نزدیک می شوند. این دو مدل در زبان چینی نیز بسیار محبوب هستند، و Gemini 1.5 Pro نیز در رده «پیش‌های سخت» قرار دارد.

سیستم Arena Elo مهارت مدل‌های زبان بزرگ (LLM) را با رای دادن ناشناس در مورد اینکه کدام مدل در نبردهای تصادفی بهتر عمل می‌کند، اندازه‌گیری می‌کند و رتبه‌بندی‌های خود را مانند سیستم Elo در شطرنج به‌روزرسانی می‌کند. این سازمان غیرانتفاعی مبتنی بر هوش مصنوعی بر مقایسه مدل‌ها در کنار یکدیگر تمرکز می‌کند.

Gemini 1.5 Flash، که اکنون برای آزمایش در Google AI Studio و Vertex AI در دسترس است، نزدیک شد. برای یک مدل کوچک و سبک، مطمئناً با آخرین افزوده شده مایکروسافت به خانواده Phi-3، Phi-3-vision و Phi Silica سازگار است.

زمانی که OpenAI کمی پیش با مدل جدید GPT-4o و یک برنامه دسکتاپ ChatGPT وارد شد، انتظارات بالا بود. جدیدترین مدل باعث می‌شود که چت بات هوش مصنوعی هنگام مکالمه با کاربران بسیار انسانی به نظر برسد.