محققان دانشگاه «پنسیلوانیا» و شرکت سیسکو دریافتند مدل هوش مصنوعی DeepSeek R1 در برابر حملات مرتبط با ایمنی به‌شدت آسیب‌پذیر است و حتی یک تست ایمنی را هم با موفقیت پشت سر نگذاشته است.
در گزارشی که نخستین بار «Wired» منتشر کرد، مشخص شد DeepSeek نتوانسته هیچ‌یک از ۵۰ پرسش مخرب را که از مجموعه داده «HarmBench» انتخاب شده بودند، مسدود کند. این مجموعه شامل درخواست‌هایی در زمینه جرایم سایبری، انتشار اطلاعات نادرست، فعالیت‌های غیرقانونی و محتوای مضر است.
DeepSeek: پیشرفت چشمگیر اما ناموفق در حفظ ایمنی
درحالی‌که دیگر مدل‌های برتر هوش مصنوعی حداقل تا حدی در برابر این حملات مقاومت نشان دادند، DeepSeek کامل شکست خورد. شرکت DeepSeek مدعی است مدل R1 آن می‌تواند با رقبای بزرگی مانند OpenAI رقابت کند، آن هم با هزینه‌ای بسیار پایین‌تر. البته تردیدهایی در این زمینه وجود دارد و به نظر می‌رسد هزینه تولید پاسخ‌های این مدل اصلاً پایین نیست.
ظاهراً صرفه‌جویی در هزینه آموزش، بهای سنگینی در امنیت داشته است. بدون هیچ مانعی می‌توان برای انتشار اطلاعات نادرست، آموزش ساخت مواد منفجره یا اجرای دیگر حملات سایبری از این مدل سوءاستفاده کرد.
محققان همچنین پیشتر افشا کردند DeepSeek پایگاه داده بزرگ و غیرایمنی شامل داده‌های داخلی رمزنگاری‌نشده، تاریخچه چت‌ها و اطلاعات بک‌اند (Back-end) را روی سرورهای خود در دسترس قرار داده بود.
مشکلات امنیتی گسترده در مدل‌های هوش مصنوعی
مشکل امنیتی DeepSeek فقط به این شرکت محدود نمی‌شود. مدل متن‌باز Llama 3.1 از شرکت متا نیز در همین تست‌ها عملکردی ناامیدکننده داشت و با نرخ ۹۶ درصد در برابر حملات شکست خورد. در مقابل، مدل جدید OpenAI با نام o1-preview عملکرد بسیار بهتری داشت و فقط در ۲۶ درصد موارد دچار آسیب‌پذیری شد.
«الکس پولیاکوف»، مدیرعامل شرکت «Adversa AI»، در این زمینه گفت: «DeepSeek فقط نمونه‌ای از این حقیقت است که هر مدل هوش مصنوعی قابل هک شدن است؛ فقط مسئله زمان و تلاش است. اگر تیم شما مداوم مدل را از نظر ایمنی بررسی نکند، از قبل آسیب‌پذیر شده‌اید.»
باتوجه‌به اهمیت امنیت و ایمنی در هوش مصنوعی و تأثیرات آن بر کاربران، DeepSeek باید به‌سرعت روی بهبود تدابیر محافظتی خود کار کند. در غیر این صورت، احتمال دارد مدل‌های آن به‌دلیل ضعف ایمنی از بازار کنار گذاشته شوند و اعتماد کاربران و سرمایه‌گذاران را از دست بدهند.
محققان دانشگاه «پنسیلوانیا» و شرکت سیسکو دریافتند مدل هوش مصنوعی DeepSeek R1 در برابر حملات مرتبط با ایمنی به‌شدت آسیب‌پذیر است و حتی یک تست ایمنی را هم با موفقیت پشت سر نگذاشته است.
در گزارشی که نخستین بار «Wired» منتشر کرد، مشخص شد DeepSeek نتوانسته هیچ‌یک از ۵۰ پرسش مخرب را که از مجموعه داده «HarmBench» انتخاب شده بودند، مسدود کند. این مجموعه شامل درخواست‌هایی در زمینه جرایم سایبری، انتشار اطلاعات نادرست، فعالیت‌های غیرقانونی و محتوای مضر است.
DeepSeek: پیشرفت چشمگیر اما ناموفق در حفظ ایمنی
درحالی‌که دیگر مدل‌های برتر هوش مصنوعی حداقل تا حدی در برابر این حملات مقاومت نشان دادند، DeepSeek کامل شکست خورد. شرکت DeepSeek مدعی است مدل R1 آن می‌تواند با رقبای بزرگی مانند OpenAI رقابت کند، آن هم با هزینه‌ای بسیار پایین‌تر. البته تردیدهایی در این زمینه وجود دارد و به نظر می‌رسد هزینه تولید پاسخ‌های این مدل اصلاً پایین نیست.
ظاهراً صرفه‌جویی در هزینه آموزش، بهای سنگینی در امنیت داشته است. بدون هیچ مانعی می‌توان برای انتشار اطلاعات نادرست، آموزش ساخت مواد منفجره یا اجرای دیگر حملات سایبری از این مدل سوءاستفاده کرد.
محققان همچنین پیشتر افشا کردند DeepSeek پایگاه داده بزرگ و غیرایمنی شامل داده‌های داخلی رمزنگاری‌نشده، تاریخچه چت‌ها و اطلاعات بک‌اند (Back-end) را روی سرورهای خود در دسترس قرار داده بود.
مشکلات امنیتی گسترده در مدل‌های هوش مصنوعی
مشکل امنیتی DeepSeek فقط به این شرکت محدود نمی‌شود. مدل متن‌باز Llama 3.1 از شرکت متا نیز در همین تست‌ها عملکردی ناامیدکننده داشت و با نرخ ۹۶ درصد در برابر حملات شکست خورد. در مقابل، مدل جدید OpenAI با نام o1-preview عملکرد بسیار بهتری داشت و فقط در ۲۶ درصد موارد دچار آسیب‌پذیری شد.
«الکس پولیاکوف»، مدیرعامل شرکت «Adversa AI»، در این زمینه گفت: «DeepSeek فقط نمونه‌ای از این حقیقت است که هر مدل هوش مصنوعی قابل هک شدن است؛ فقط مسئله زمان و تلاش است. اگر تیم شما مداوم مدل را از نظر ایمنی بررسی نکند، از قبل آسیب‌پذیر شده‌اید.»
باتوجه‌به اهمیت امنیت و ایمنی در هوش مصنوعی و تأثیرات آن بر کاربران، DeepSeek باید به‌سرعت روی بهبود تدابیر محافظتی خود کار کند. در غیر این صورت، احتمال دارد مدل‌های آن به‌دلیل ضعف ایمنی از بازار کنار گذاشته شوند و اعتماد کاربران و سرمایه‌گذاران را از دست بدهند.
محققان دانشگاه «پنسیلوانیا» و شرکت سیسکو دریافتند مدل هوش مصنوعی DeepSeek R1 در برابر حملات مرتبط با ایمنی به‌شدت آسیب‌پذیر است و حتی یک تست ایمنی را هم با موفقیت پشت سر نگذاشته است.
در گزارشی که نخستین بار «Wired» منتشر کرد، مشخص شد DeepSeek نتوانسته هیچ‌یک از ۵۰ پرسش مخرب را که از مجموعه داده «HarmBench» انتخاب شده بودند، مسدود کند. این مجموعه شامل درخواست‌هایی در زمینه جرایم سایبری، انتشار اطلاعات نادرست، فعالیت‌های غیرقانونی و محتوای مضر است.
DeepSeek: پیشرفت چشمگیر اما ناموفق در حفظ ایمنی
درحالی‌که دیگر مدل‌های برتر هوش مصنوعی حداقل تا حدی در برابر این حملات مقاومت نشان دادند، DeepSeek کامل شکست خورد. شرکت DeepSeek مدعی است مدل R1 آن می‌تواند با رقبای بزرگی مانند OpenAI رقابت کند، آن هم با هزینه‌ای بسیار پایین‌تر. البته تردیدهایی در این زمینه وجود دارد و به نظر می‌رسد هزینه تولید پاسخ‌های این مدل اصلاً پایین نیست.
ظاهراً صرفه‌جویی در هزینه آموزش، بهای سنگینی در امنیت داشته است. بدون هیچ مانعی می‌توان برای انتشار اطلاعات نادرست، آموزش ساخت مواد منفجره یا اجرای دیگر حملات سایبری از این مدل سوءاستفاده کرد.
محققان همچنین پیشتر افشا کردند DeepSeek پایگاه داده بزرگ و غیرایمنی شامل داده‌های داخلی رمزنگاری‌نشده، تاریخچه چت‌ها و اطلاعات بک‌اند (Back-end) را روی سرورهای خود در دسترس قرار داده بود.
مشکلات امنیتی گسترده در مدل‌های هوش مصنوعی
مشکل امنیتی DeepSeek فقط به این شرکت محدود نمی‌شود. مدل متن‌باز Llama 3.1 از شرکت متا نیز در همین تست‌ها عملکردی ناامیدکننده داشت و با نرخ ۹۶ درصد در برابر حملات شکست خورد. در مقابل، مدل جدید OpenAI با نام o1-preview عملکرد بسیار بهتری داشت و فقط در ۲۶ درصد موارد دچار آسیب‌پذیری شد.
«الکس پولیاکوف»، مدیرعامل شرکت «Adversa AI»، در این زمینه گفت: «DeepSeek فقط نمونه‌ای از این حقیقت است که هر مدل هوش مصنوعی قابل هک شدن است؛ فقط مسئله زمان و تلاش است. اگر تیم شما مداوم مدل را از نظر ایمنی بررسی نکند، از قبل آسیب‌پذیر شده‌اید.»
باتوجه‌به اهمیت امنیت و ایمنی در هوش مصنوعی و تأثیرات آن بر کاربران، DeepSeek باید به‌سرعت روی بهبود تدابیر محافظتی خود کار کند. در غیر این صورت، احتمال دارد مدل‌های آن به‌دلیل ضعف ایمنی از بازار کنار گذاشته شوند و اعتماد کاربران و سرمایه‌گذاران را از دست بدهند.
محققان دانشگاه «پنسیلوانیا» و شرکت سیسکو دریافتند مدل هوش مصنوعی DeepSeek R1 در برابر حملات مرتبط با ایمنی به‌شدت آسیب‌پذیر است و حتی یک تست ایمنی را هم با موفقیت پشت سر نگذاشته است.
در گزارشی که نخستین بار «Wired» منتشر کرد، مشخص شد DeepSeek نتوانسته هیچ‌یک از ۵۰ پرسش مخرب را که از مجموعه داده «HarmBench» انتخاب شده بودند، مسدود کند. این مجموعه شامل درخواست‌هایی در زمینه جرایم سایبری، انتشار اطلاعات نادرست، فعالیت‌های غیرقانونی و محتوای مضر است.
DeepSeek: پیشرفت چشمگیر اما ناموفق در حفظ ایمنی
درحالی‌که دیگر مدل‌های برتر هوش مصنوعی حداقل تا حدی در برابر این حملات مقاومت نشان دادند، DeepSeek کامل شکست خورد. شرکت DeepSeek مدعی است مدل R1 آن می‌تواند با رقبای بزرگی مانند OpenAI رقابت کند، آن هم با هزینه‌ای بسیار پایین‌تر. البته تردیدهایی در این زمینه وجود دارد و به نظر می‌رسد هزینه تولید پاسخ‌های این مدل اصلاً پایین نیست.
ظاهراً صرفه‌جویی در هزینه آموزش، بهای سنگینی در امنیت داشته است. بدون هیچ مانعی می‌توان برای انتشار اطلاعات نادرست، آموزش ساخت مواد منفجره یا اجرای دیگر حملات سایبری از این مدل سوءاستفاده کرد.
محققان همچنین پیشتر افشا کردند DeepSeek پایگاه داده بزرگ و غیرایمنی شامل داده‌های داخلی رمزنگاری‌نشده، تاریخچه چت‌ها و اطلاعات بک‌اند (Back-end) را روی سرورهای خود در دسترس قرار داده بود.
مشکلات امنیتی گسترده در مدل‌های هوش مصنوعی
مشکل امنیتی DeepSeek فقط به این شرکت محدود نمی‌شود. مدل متن‌باز Llama 3.1 از شرکت متا نیز در همین تست‌ها عملکردی ناامیدکننده داشت و با نرخ ۹۶ درصد در برابر حملات شکست خورد. در مقابل، مدل جدید OpenAI با نام o1-preview عملکرد بسیار بهتری داشت و فقط در ۲۶ درصد موارد دچار آسیب‌پذیری شد.
«الکس پولیاکوف»، مدیرعامل شرکت «Adversa AI»، در این زمینه گفت: «DeepSeek فقط نمونه‌ای از این حقیقت است که هر مدل هوش مصنوعی قابل هک شدن است؛ فقط مسئله زمان و تلاش است. اگر تیم شما مداوم مدل را از نظر ایمنی بررسی نکند، از قبل آسیب‌پذیر شده‌اید.»
باتوجه‌به اهمیت امنیت و ایمنی در هوش مصنوعی و تأثیرات آن بر کاربران، DeepSeek باید به‌سرعت روی بهبود تدابیر محافظتی خود کار کند. در غیر این صورت، احتمال دارد مدل‌های آن به‌دلیل ضعف ایمنی از بازار کنار گذاشته شوند و اعتماد کاربران و سرمایه‌گذاران را از دست بدهند.
