داده‌هایی که هوش مصنوعی را «مسموم» می‌کنند

به گزارش ایسنا، مهاجمان سایبری دوزهای کوچکی از «داده‌های مسموم»، به شکل اطلاعات نادرست یا گمراه‌کننده را به مجموعه‌های آموزشی مهم هوش مصنوعی وارد می‌کنند و ماموریت آنها خرابکاری در مدل‌هایی است که زمانی قابل اعتماد بودند تا آنها را در جهتی کاملا متفاوت منحرف کنند.

به نقل از دیجیتال‌ترندز، اکثر سیستم‌های هوش مصنوعی که امروزه با آنها مواجه می‌شویم از چت جی‌پی‌تی گرفته تا توصیه‌های شخصی‌سازی‌شده نتفلیکس فقط به دلیل حجم گسترده متن، تصویر، گفتار و سایر داده‌هایی که بر اساس آنها آموزش دیده‌اند، به اندازه کافی «هوشمند» هستند که چنین شاهکارهای چشمگیری را انجام دهند. اگر این گنجینه غنی آلوده شود، رفتار مدل می‌تواند دچار مشکل شود.

پیامدهای چنین اتفاقی در دنیای واقعی بسیار فراتر از یک چت‌بات است که بی هدف حرف می‌زند یا مولدهای متن به تصویری که وقتی از آنها خواسته می‌شود پرنده‌ای را نشان دهند، تصویر یک هواپیما را تولید می‌کنند. گروه‌هایی از افراد سودجو می‌توانند به طور بالقوه باعث شوند که یک ماشین خودران چراغ قرمز را نادیده بگیرد، یا در مقیاس بسیار بزرگتر، باعث اختلال و قطعی شبکه برق شوند.

برای دفاع در برابر تهدید حملات مختلف مسمومیت داده‌ها، گروهی از محققان امنیت سایبری دو فناوری نوظهور یعنی یادگیری فدرال و بلاکچین را برای آموزش ایمن‌تر هوش مصنوعی ترکیب کرده‌اند. رویکرد نوآورانه این گروه با موفقیت، داده‌های نادرست را قبل از اینکه بتوانند مجموعه داده‌های آموزشی را به خطر بیندازند، شناسایی و حذف کرد.

هادی امینی، محقق ارشد و استادیار در دانشکده علوم محاسبات و اطلاعات بنیادی موسسه نایت، می‌گوید: ما روشی ایجاد کرده‌ایم که می‌تواند کاربردهای زیادی برای تاب‌آوری زیرساخت‌های حیاتی، امنیت سایبری حمل و نقل، مراقبت‌های بهداشتی و موارد دیگر داشته باشد.

بخش اول این رویکرد جدید شامل یادگیری فدرال است. این روش منحصر به فرد برای آموزش هوش مصنوعی، از یک نسخه کوچک از یک مدل آموزشی استفاده می‌کند که مستقیما روی دستگاه شما آموزش می‌بیند و فقط به‌روزرسانی‌ها و نه داده‌های شخصی کاربر را با مدل جهانی روی سرور یک شرکت به اشتراک می‌گذارد. این روش اگرچه که حریم خصوصی را حفظ می‌کند، اما همچنان در برابر حملات داده‌های مسموم، آسیب‌پذیر است.

اروین مور (Ervin Moore)، کاندیدای دکترا در آزمایشگاه امینی و نویسنده اصلی این مطالعه، توضیح می‌دهد: تأیید اینکه آیا داده‌های کاربر قبل از رسیدن به مدل، صحیح یا نادرست است، چالشی برای یادگیری فدرال است. بنابراین، ما برای کاهش این نقص به فکر بلاکچین افتادیم.

بلاکچین که به دلیل نقشش در ارزهای دیجیتال مانند بیت‌کوین محبوبیت پیدا کرده است، یک پایگاه داده مشترک است که در شبکه‌ای از رایانه‌ها توزیع شده است. داده‌ها در بلوک‌هایی که به ترتیب زمانی روی یک زنجیره به هم متصل شده‌اند، ذخیره می‌شوند. هر کدام اثر انگشت خود و همچنین اثر انگشت بلوک قبلی را دارند که آن را عملا آن را ضد دستکاری می‌کند.

کل زنجیره از یک ساختار خاص پیروی می‌کند. این مانند یک فرآیند بررسی است تا اطمینان حاصل شود که بلوک‌های تصادفی اضافه نمی‌شوند. می‌توان آن را مانند یک چک لیست برای پذیرش داده در نظر گرفت.

محققان هنگام ساخت مدل خود از این قابلیت به نفع خود استفاده کردند. این مدل به‌روزرسانی‌های بلوک را مقایسه می‌کرد و محاسبه می‌کرد که آیا به‌روزرسانی‌ها به طور بالقوه سمی هستند یا خیر. به‌روزرسانی‌های بالقوه سمی ثبت شده و سپس از تجمیع شبکه حذف می‌شدند.

امینی، که همچنین رهبری تیم متخصصان امنیت سایبری و هوش مصنوعی دانشگاه فلوریدا را بر عهده دارد و در حال بررسی هوش مصنوعی امن برای سیستم‌های حمل و نقل متصل و خودران است، می‌گوید: گروه ما اکنون با همکاری مرکز ملی امنیت سایبری و تاب‌آوری حمل و نقل همکاری نزدیکی دارد تا از رمزگذاری کوانتومی پیشرفته برای محافظت از داده‌ها و سیستم‌ها استفاده کند. هدف ما تضمین ایمنی و امنیت زیرساخت‌های حمل و نقل و در عین حال استفاده از قدرت هوش مصنوعی پیشرفته برای بهبود سیستم‌های حمل و نقل است.

انتهای پیام

به گزارش ایسنا، مهاجمان سایبری دوزهای کوچکی از «داده‌های مسموم»، به شکل اطلاعات نادرست یا گمراه‌کننده را به مجموعه‌های آموزشی مهم هوش مصنوعی وارد می‌کنند و ماموریت آنها خرابکاری در مدل‌هایی است که زمانی قابل اعتماد بودند تا آنها را در جهتی کاملا متفاوت منحرف کنند.

به نقل از دیجیتال‌ترندز، اکثر سیستم‌های هوش مصنوعی که امروزه با آنها مواجه می‌شویم از چت جی‌پی‌تی گرفته تا توصیه‌های شخصی‌سازی‌شده نتفلیکس فقط به دلیل حجم گسترده متن، تصویر، گفتار و سایر داده‌هایی که بر اساس آنها آموزش دیده‌اند، به اندازه کافی «هوشمند» هستند که چنین شاهکارهای چشمگیری را انجام دهند. اگر این گنجینه غنی آلوده شود، رفتار مدل می‌تواند دچار مشکل شود.

پیامدهای چنین اتفاقی در دنیای واقعی بسیار فراتر از یک چت‌بات است که بی هدف حرف می‌زند یا مولدهای متن به تصویری که وقتی از آنها خواسته می‌شود پرنده‌ای را نشان دهند، تصویر یک هواپیما را تولید می‌کنند. گروه‌هایی از افراد سودجو می‌توانند به طور بالقوه باعث شوند که یک ماشین خودران چراغ قرمز را نادیده بگیرد، یا در مقیاس بسیار بزرگتر، باعث اختلال و قطعی شبکه برق شوند.

برای دفاع در برابر تهدید حملات مختلف مسمومیت داده‌ها، گروهی از محققان امنیت سایبری دو فناوری نوظهور یعنی یادگیری فدرال و بلاکچین را برای آموزش ایمن‌تر هوش مصنوعی ترکیب کرده‌اند. رویکرد نوآورانه این گروه با موفقیت، داده‌های نادرست را قبل از اینکه بتوانند مجموعه داده‌های آموزشی را به خطر بیندازند، شناسایی و حذف کرد.

هادی امینی، محقق ارشد و استادیار در دانشکده علوم محاسبات و اطلاعات بنیادی موسسه نایت، می‌گوید: ما روشی ایجاد کرده‌ایم که می‌تواند کاربردهای زیادی برای تاب‌آوری زیرساخت‌های حیاتی، امنیت سایبری حمل و نقل، مراقبت‌های بهداشتی و موارد دیگر داشته باشد.

بخش اول این رویکرد جدید شامل یادگیری فدرال است. این روش منحصر به فرد برای آموزش هوش مصنوعی، از یک نسخه کوچک از یک مدل آموزشی استفاده می‌کند که مستقیما روی دستگاه شما آموزش می‌بیند و فقط به‌روزرسانی‌ها و نه داده‌های شخصی کاربر را با مدل جهانی روی سرور یک شرکت به اشتراک می‌گذارد. این روش اگرچه که حریم خصوصی را حفظ می‌کند، اما همچنان در برابر حملات داده‌های مسموم، آسیب‌پذیر است.

اروین مور (Ervin Moore)، کاندیدای دکترا در آزمایشگاه امینی و نویسنده اصلی این مطالعه، توضیح می‌دهد: تأیید اینکه آیا داده‌های کاربر قبل از رسیدن به مدل، صحیح یا نادرست است، چالشی برای یادگیری فدرال است. بنابراین، ما برای کاهش این نقص به فکر بلاکچین افتادیم.

بلاکچین که به دلیل نقشش در ارزهای دیجیتال مانند بیت‌کوین محبوبیت پیدا کرده است، یک پایگاه داده مشترک است که در شبکه‌ای از رایانه‌ها توزیع شده است. داده‌ها در بلوک‌هایی که به ترتیب زمانی روی یک زنجیره به هم متصل شده‌اند، ذخیره می‌شوند. هر کدام اثر انگشت خود و همچنین اثر انگشت بلوک قبلی را دارند که آن را عملا آن را ضد دستکاری می‌کند.

کل زنجیره از یک ساختار خاص پیروی می‌کند. این مانند یک فرآیند بررسی است تا اطمینان حاصل شود که بلوک‌های تصادفی اضافه نمی‌شوند. می‌توان آن را مانند یک چک لیست برای پذیرش داده در نظر گرفت.

محققان هنگام ساخت مدل خود از این قابلیت به نفع خود استفاده کردند. این مدل به‌روزرسانی‌های بلوک را مقایسه می‌کرد و محاسبه می‌کرد که آیا به‌روزرسانی‌ها به طور بالقوه سمی هستند یا خیر. به‌روزرسانی‌های بالقوه سمی ثبت شده و سپس از تجمیع شبکه حذف می‌شدند.

امینی، که همچنین رهبری تیم متخصصان امنیت سایبری و هوش مصنوعی دانشگاه فلوریدا را بر عهده دارد و در حال بررسی هوش مصنوعی امن برای سیستم‌های حمل و نقل متصل و خودران است، می‌گوید: گروه ما اکنون با همکاری مرکز ملی امنیت سایبری و تاب‌آوری حمل و نقل همکاری نزدیکی دارد تا از رمزگذاری کوانتومی پیشرفته برای محافظت از داده‌ها و سیستم‌ها استفاده کند. هدف ما تضمین ایمنی و امنیت زیرساخت‌های حمل و نقل و در عین حال استفاده از قدرت هوش مصنوعی پیشرفته برای بهبود سیستم‌های حمل و نقل است.

انتهای پیام

به گزارش ایسنا، مهاجمان سایبری دوزهای کوچکی از «داده‌های مسموم»، به شکل اطلاعات نادرست یا گمراه‌کننده را به مجموعه‌های آموزشی مهم هوش مصنوعی وارد می‌کنند و ماموریت آنها خرابکاری در مدل‌هایی است که زمانی قابل اعتماد بودند تا آنها را در جهتی کاملا متفاوت منحرف کنند.

به نقل از دیجیتال‌ترندز، اکثر سیستم‌های هوش مصنوعی که امروزه با آنها مواجه می‌شویم از چت جی‌پی‌تی گرفته تا توصیه‌های شخصی‌سازی‌شده نتفلیکس فقط به دلیل حجم گسترده متن، تصویر، گفتار و سایر داده‌هایی که بر اساس آنها آموزش دیده‌اند، به اندازه کافی «هوشمند» هستند که چنین شاهکارهای چشمگیری را انجام دهند. اگر این گنجینه غنی آلوده شود، رفتار مدل می‌تواند دچار مشکل شود.

پیامدهای چنین اتفاقی در دنیای واقعی بسیار فراتر از یک چت‌بات است که بی هدف حرف می‌زند یا مولدهای متن به تصویری که وقتی از آنها خواسته می‌شود پرنده‌ای را نشان دهند، تصویر یک هواپیما را تولید می‌کنند. گروه‌هایی از افراد سودجو می‌توانند به طور بالقوه باعث شوند که یک ماشین خودران چراغ قرمز را نادیده بگیرد، یا در مقیاس بسیار بزرگتر، باعث اختلال و قطعی شبکه برق شوند.

برای دفاع در برابر تهدید حملات مختلف مسمومیت داده‌ها، گروهی از محققان امنیت سایبری دو فناوری نوظهور یعنی یادگیری فدرال و بلاکچین را برای آموزش ایمن‌تر هوش مصنوعی ترکیب کرده‌اند. رویکرد نوآورانه این گروه با موفقیت، داده‌های نادرست را قبل از اینکه بتوانند مجموعه داده‌های آموزشی را به خطر بیندازند، شناسایی و حذف کرد.

هادی امینی، محقق ارشد و استادیار در دانشکده علوم محاسبات و اطلاعات بنیادی موسسه نایت، می‌گوید: ما روشی ایجاد کرده‌ایم که می‌تواند کاربردهای زیادی برای تاب‌آوری زیرساخت‌های حیاتی، امنیت سایبری حمل و نقل، مراقبت‌های بهداشتی و موارد دیگر داشته باشد.

بخش اول این رویکرد جدید شامل یادگیری فدرال است. این روش منحصر به فرد برای آموزش هوش مصنوعی، از یک نسخه کوچک از یک مدل آموزشی استفاده می‌کند که مستقیما روی دستگاه شما آموزش می‌بیند و فقط به‌روزرسانی‌ها و نه داده‌های شخصی کاربر را با مدل جهانی روی سرور یک شرکت به اشتراک می‌گذارد. این روش اگرچه که حریم خصوصی را حفظ می‌کند، اما همچنان در برابر حملات داده‌های مسموم، آسیب‌پذیر است.

اروین مور (Ervin Moore)، کاندیدای دکترا در آزمایشگاه امینی و نویسنده اصلی این مطالعه، توضیح می‌دهد: تأیید اینکه آیا داده‌های کاربر قبل از رسیدن به مدل، صحیح یا نادرست است، چالشی برای یادگیری فدرال است. بنابراین، ما برای کاهش این نقص به فکر بلاکچین افتادیم.

بلاکچین که به دلیل نقشش در ارزهای دیجیتال مانند بیت‌کوین محبوبیت پیدا کرده است، یک پایگاه داده مشترک است که در شبکه‌ای از رایانه‌ها توزیع شده است. داده‌ها در بلوک‌هایی که به ترتیب زمانی روی یک زنجیره به هم متصل شده‌اند، ذخیره می‌شوند. هر کدام اثر انگشت خود و همچنین اثر انگشت بلوک قبلی را دارند که آن را عملا آن را ضد دستکاری می‌کند.

کل زنجیره از یک ساختار خاص پیروی می‌کند. این مانند یک فرآیند بررسی است تا اطمینان حاصل شود که بلوک‌های تصادفی اضافه نمی‌شوند. می‌توان آن را مانند یک چک لیست برای پذیرش داده در نظر گرفت.

محققان هنگام ساخت مدل خود از این قابلیت به نفع خود استفاده کردند. این مدل به‌روزرسانی‌های بلوک را مقایسه می‌کرد و محاسبه می‌کرد که آیا به‌روزرسانی‌ها به طور بالقوه سمی هستند یا خیر. به‌روزرسانی‌های بالقوه سمی ثبت شده و سپس از تجمیع شبکه حذف می‌شدند.

امینی، که همچنین رهبری تیم متخصصان امنیت سایبری و هوش مصنوعی دانشگاه فلوریدا را بر عهده دارد و در حال بررسی هوش مصنوعی امن برای سیستم‌های حمل و نقل متصل و خودران است، می‌گوید: گروه ما اکنون با همکاری مرکز ملی امنیت سایبری و تاب‌آوری حمل و نقل همکاری نزدیکی دارد تا از رمزگذاری کوانتومی پیشرفته برای محافظت از داده‌ها و سیستم‌ها استفاده کند. هدف ما تضمین ایمنی و امنیت زیرساخت‌های حمل و نقل و در عین حال استفاده از قدرت هوش مصنوعی پیشرفته برای بهبود سیستم‌های حمل و نقل است.

انتهای پیام

به گزارش ایسنا، مهاجمان سایبری دوزهای کوچکی از «داده‌های مسموم»، به شکل اطلاعات نادرست یا گمراه‌کننده را به مجموعه‌های آموزشی مهم هوش مصنوعی وارد می‌کنند و ماموریت آنها خرابکاری در مدل‌هایی است که زمانی قابل اعتماد بودند تا آنها را در جهتی کاملا متفاوت منحرف کنند.

به نقل از دیجیتال‌ترندز، اکثر سیستم‌های هوش مصنوعی که امروزه با آنها مواجه می‌شویم از چت جی‌پی‌تی گرفته تا توصیه‌های شخصی‌سازی‌شده نتفلیکس فقط به دلیل حجم گسترده متن، تصویر، گفتار و سایر داده‌هایی که بر اساس آنها آموزش دیده‌اند، به اندازه کافی «هوشمند» هستند که چنین شاهکارهای چشمگیری را انجام دهند. اگر این گنجینه غنی آلوده شود، رفتار مدل می‌تواند دچار مشکل شود.

پیامدهای چنین اتفاقی در دنیای واقعی بسیار فراتر از یک چت‌بات است که بی هدف حرف می‌زند یا مولدهای متن به تصویری که وقتی از آنها خواسته می‌شود پرنده‌ای را نشان دهند، تصویر یک هواپیما را تولید می‌کنند. گروه‌هایی از افراد سودجو می‌توانند به طور بالقوه باعث شوند که یک ماشین خودران چراغ قرمز را نادیده بگیرد، یا در مقیاس بسیار بزرگتر، باعث اختلال و قطعی شبکه برق شوند.

برای دفاع در برابر تهدید حملات مختلف مسمومیت داده‌ها، گروهی از محققان امنیت سایبری دو فناوری نوظهور یعنی یادگیری فدرال و بلاکچین را برای آموزش ایمن‌تر هوش مصنوعی ترکیب کرده‌اند. رویکرد نوآورانه این گروه با موفقیت، داده‌های نادرست را قبل از اینکه بتوانند مجموعه داده‌های آموزشی را به خطر بیندازند، شناسایی و حذف کرد.

هادی امینی، محقق ارشد و استادیار در دانشکده علوم محاسبات و اطلاعات بنیادی موسسه نایت، می‌گوید: ما روشی ایجاد کرده‌ایم که می‌تواند کاربردهای زیادی برای تاب‌آوری زیرساخت‌های حیاتی، امنیت سایبری حمل و نقل، مراقبت‌های بهداشتی و موارد دیگر داشته باشد.

بخش اول این رویکرد جدید شامل یادگیری فدرال است. این روش منحصر به فرد برای آموزش هوش مصنوعی، از یک نسخه کوچک از یک مدل آموزشی استفاده می‌کند که مستقیما روی دستگاه شما آموزش می‌بیند و فقط به‌روزرسانی‌ها و نه داده‌های شخصی کاربر را با مدل جهانی روی سرور یک شرکت به اشتراک می‌گذارد. این روش اگرچه که حریم خصوصی را حفظ می‌کند، اما همچنان در برابر حملات داده‌های مسموم، آسیب‌پذیر است.

اروین مور (Ervin Moore)، کاندیدای دکترا در آزمایشگاه امینی و نویسنده اصلی این مطالعه، توضیح می‌دهد: تأیید اینکه آیا داده‌های کاربر قبل از رسیدن به مدل، صحیح یا نادرست است، چالشی برای یادگیری فدرال است. بنابراین، ما برای کاهش این نقص به فکر بلاکچین افتادیم.

بلاکچین که به دلیل نقشش در ارزهای دیجیتال مانند بیت‌کوین محبوبیت پیدا کرده است، یک پایگاه داده مشترک است که در شبکه‌ای از رایانه‌ها توزیع شده است. داده‌ها در بلوک‌هایی که به ترتیب زمانی روی یک زنجیره به هم متصل شده‌اند، ذخیره می‌شوند. هر کدام اثر انگشت خود و همچنین اثر انگشت بلوک قبلی را دارند که آن را عملا آن را ضد دستکاری می‌کند.

کل زنجیره از یک ساختار خاص پیروی می‌کند. این مانند یک فرآیند بررسی است تا اطمینان حاصل شود که بلوک‌های تصادفی اضافه نمی‌شوند. می‌توان آن را مانند یک چک لیست برای پذیرش داده در نظر گرفت.

محققان هنگام ساخت مدل خود از این قابلیت به نفع خود استفاده کردند. این مدل به‌روزرسانی‌های بلوک را مقایسه می‌کرد و محاسبه می‌کرد که آیا به‌روزرسانی‌ها به طور بالقوه سمی هستند یا خیر. به‌روزرسانی‌های بالقوه سمی ثبت شده و سپس از تجمیع شبکه حذف می‌شدند.

امینی، که همچنین رهبری تیم متخصصان امنیت سایبری و هوش مصنوعی دانشگاه فلوریدا را بر عهده دارد و در حال بررسی هوش مصنوعی امن برای سیستم‌های حمل و نقل متصل و خودران است، می‌گوید: گروه ما اکنون با همکاری مرکز ملی امنیت سایبری و تاب‌آوری حمل و نقل همکاری نزدیکی دارد تا از رمزگذاری کوانتومی پیشرفته برای محافظت از داده‌ها و سیستم‌ها استفاده کند. هدف ما تضمین ایمنی و امنیت زیرساخت‌های حمل و نقل و در عین حال استفاده از قدرت هوش مصنوعی پیشرفته برای بهبود سیستم‌های حمل و نقل است.

انتهای پیام