رونمایی مایکروسافت از ویژگی Prompt Shields برای Azure AI

مایکروسافت امروز یک ارتقای امنیتی بزرگ را برای سرویس Azure OpenAI و پلتفرم‌های Azure AI Content Safety اعلام کرد. این ویژگی جدید که «Prompt Shields» نام دارد، دفاعی قوی در برابر حملات پیچیده‌تر که مدل‌های زبان بزرگ (LLM) را هدف قرار می‌دهند، ارائه می‌کند.

Prompt Shields از موارد زیر محافظت می کند:

• حملات مستقیم: همچنین به عنوان حملات فرار از زندان شناخته می شود، این تلاش ها به صراحت به LLM دستور می دهد که پروتکل های ایمنی را نادیده بگیرد یا اقدامات مخرب انجام دهد.
• حملات غیرمستقیم: این حملات به طور نامحسوس دستورالعمل های مضر را در متن به ظاهر عادی جاسازی می کنند و هدف آن فریب دادن LLM به رفتار نامطلوب است.
  Prompt Shields با فیلترهای محتوای سرویس OpenAI Azure یکپارچه شده است و در امنیت محتوای هوش مصنوعی Azure موجود است. به لطف الگوریتم‌های پیشرفته یادگیری ماشین و پردازش زبان طبیعی، Prompt Shields می‌تواند تهدیدات احتمالی را در پیام‌های کاربر و داده‌های شخص ثالث شناسایی و خنثی کند.

Spotlighting: یک تکنیک دفاعی جدید

مایکروسافت همچنین “Spotlighting” را معرفی کرد، یک رویکرد مهندسی سریع تخصصی که برای خنثی کردن حملات غیرمستقیم طراحی شده است. تکنیک‌های Spotlighting، مانند مرزبندی و علامت‌گذاری داده، به LLMها کمک می‌کنند تا به وضوح بین دستورالعمل‌های قانونی و دستورات بالقوه مضر تعبیه‌شده تمایز قائل شوند.

دسترسی

Prompt Shields در حال حاضر به عنوان بخشی از ایمنی محتوای هوش مصنوعی Azure در پیش نمایش عمومی است و در سرویس OpenAI Azure در تاریخ 1 آوریل در دسترس خواهد بود. ادغام با Azure AI Studio در آینده نزدیک برنامه ریزی شده است. حال باید دید استقبال از این ویژگی چقدر خواهد بود و آیا می‌تواند موردتوجه قرار گیرد یا خیر.

البته شرکت ردموندی در تلاش بوده هوش مصنوعی را در بخش‌های مختلفی از محصولاتش به کار گیرد و محدود به بخش خاصی نخواهد شد. در اخباری مرتبط پیشتر سری محصولات جدید سرفیس معرفی شد.