طبق گزارش‌های جدید، مدل پیشرفته پزشکی گوگل، Med-Gemini، در یک مقاله تحقیقاتی از یک عضو غیرواقعی در مغز انسان نام برده است. علاوه‌براین، آزمایش‌های دیگر نشان داده‌اند که این هوش مصنوعی با تغییر جزئی در نحوه پرسش، پاسخ‌های کاملاً متناقضی ارائه می‌دهد. این اشتباهات فاحش باعث ایجاد نگرانی‌هایی درباره به کارگیری این فناوری‌های نابالغ در محیط‌های بالینی شده است.
در یک مقاله تحقیقاتی که توسط خود گوگل برای نمایش قابلیت‌های مدل هوش مصنوعی Med-Gemini منتشر شده بود، این مدل در تحلیل سی‌تی اسکن سر، یک ناهنجاری را در «گانگلیون بازیلر» (Basilar Ganglia) تشخیص داد؛ بخشی از مغز که اصلاً وجود خارجی ندارد. این هوش مصنوعی، دو ساختار کاملاً مجزا و متفاوت در مغز، یعنی «گانگلیون‌های پایه» (Basal Ganglia) و «شریان بازیلر» (Basilar Artery) را با هم ترکیب و یک نام جدید اختراع کرده بود.
محققان و پزشکان این خطا را «فوق‌العاده خطرناک» توصیف می‌کنند. آنها می‌گویند: «این دو کلمه مختلف، یک دنیا تفاوت ایجاد می‌کنند.» تشخیص اشتباه میان این دو ناحیه می‌تواند به پروتکل‌های درمانی کاملاً متفاوت و بالقوه مرگبار برای بیمار منجر شود.
عضو خیالی مغز که توسط هوش مصنوعی گوگل ایجاد شد
به گزارش ورج، پس از آنکه دکتر «برایان مور» (Bryan Moore)، عصب‌شناس، این اشتباه فاحش را به گوگل گزارش داد، این شرکت در ابتدا تلاش کرد تا با ویرایش پنهانی پست وبلاگ خود و تغییر «Basilar» به «Basal»، موضوع را یک «غلط تایپی» ساده جلوه دهد. اما پس از فشارهای بیشتر، گوگل با بازگرداندن عبارت اشتباه، در توضیحی جدید ادعا کرد که این یک «اشتباه رایج در رونویسی» است که هوش مصنوعی از داده‌های آموزشی خود یاد گرفته است.
مشکلات به همین جا ختم نمی‌شود. آزمایش‌های انجام شده توسط متخصصان دیگر، یک ضعف اساسی دیگر را در این مدل‌های هوش مصنوعی آشکار کرده است: عدم ثبات در پاسخ‌دهی.
دکتر «جودی گیچویا» (Judy Gichoya) از دانشگاه اموری، در آزمایشی یک عکس رادیولوژی از قفسه سینه را به مدل جدیدتر گوگل، MedGemma، نشان داد. وقتی دکتر سؤالش را با جزئیات کامل (شامل ارائه سن و جنسیت بیمار) پرسید، هوش مصنوعی مشکل را به درستی تشخیص داد. اما وقتی همان عکس را با یک سؤال ساده‌تر (صرفاً «در این عکس چه می‌بینی؟») به هوش مصنوعی نشان داد، پاسخ کاملاً متفاوت بود: «این عکس یک قفسه سینه نرمال از یک فرد بزرگسال را نشان می‌دهد.» و مشکل به‌طور کامل نادیده گرفته شد.
این قضیه نشان می‌دهد که کوچک‌ترین تغییری در نحوه تعامل با هوش مصنوعی می‌تواند منجر به نتایج کاملاً متضاد و خطرناک شود.
کارشناسان معتقدند بزرگ‌ترین خطر این سیستم‌ها، اشتباهات گاه‌به‌گاه آنها نیست، بلکه اعتماد به لحن متقاعدکننده‌ای است که با آن، اطلاعات غلط (مانند وجود گانگلیون بازیلر) را به عنوان یک حقیقت علمی بیان می‌کنند.
دکتر «جاناتان چن» (Jonathan Chen) از دانشگاه استنفورد، این پدیده را به رانندگی خودکار تشبیه می‌کند: «ماشین آنقدر خوب رانندگی کرده است که شما تصمیم می‌گیرید پشت فرمان بخوابید. این دقیقاً همان جایی است که خطر اتفاق می‌افتد.»
درکل پدیده‌ای که به آن «سوگیری اتوماسیون» (Automation Bias) گفته می‌شود، می‌تواند باعث شود پزشکان به دلیل عملکرد عمدتاً صحیح هوش مصنوعی، از بررسی دقیق نتایج آن غافل شوند و اشتباهات فاحش را نادیده بگیرند. کارشناسان می‌گویند این مدل‌ها ذاتاً تمایل به ساختن چیزها دارند و هرگز نمی‌گویند «من نمی‌دانم» و این یک مشکل بسیار بزرگ در حوزه‌های پرخطری مانند پزشکی است.
طبق گزارش‌های جدید، مدل پیشرفته پزشکی گوگل، Med-Gemini، در یک مقاله تحقیقاتی از یک عضو غیرواقعی در مغز انسان نام برده است. علاوه‌براین، آزمایش‌های دیگر نشان داده‌اند که این هوش مصنوعی با تغییر جزئی در نحوه پرسش، پاسخ‌های کاملاً متناقضی ارائه می‌دهد. این اشتباهات فاحش باعث ایجاد نگرانی‌هایی درباره به کارگیری این فناوری‌های نابالغ در محیط‌های بالینی شده است.
در یک مقاله تحقیقاتی که توسط خود گوگل برای نمایش قابلیت‌های مدل هوش مصنوعی Med-Gemini منتشر شده بود، این مدل در تحلیل سی‌تی اسکن سر، یک ناهنجاری را در «گانگلیون بازیلر» (Basilar Ganglia) تشخیص داد؛ بخشی از مغز که اصلاً وجود خارجی ندارد. این هوش مصنوعی، دو ساختار کاملاً مجزا و متفاوت در مغز، یعنی «گانگلیون‌های پایه» (Basal Ganglia) و «شریان بازیلر» (Basilar Artery) را با هم ترکیب و یک نام جدید اختراع کرده بود.
محققان و پزشکان این خطا را «فوق‌العاده خطرناک» توصیف می‌کنند. آنها می‌گویند: «این دو کلمه مختلف، یک دنیا تفاوت ایجاد می‌کنند.» تشخیص اشتباه میان این دو ناحیه می‌تواند به پروتکل‌های درمانی کاملاً متفاوت و بالقوه مرگبار برای بیمار منجر شود.
عضو خیالی مغز که توسط هوش مصنوعی گوگل ایجاد شد
به گزارش ورج، پس از آنکه دکتر «برایان مور» (Bryan Moore)، عصب‌شناس، این اشتباه فاحش را به گوگل گزارش داد، این شرکت در ابتدا تلاش کرد تا با ویرایش پنهانی پست وبلاگ خود و تغییر «Basilar» به «Basal»، موضوع را یک «غلط تایپی» ساده جلوه دهد. اما پس از فشارهای بیشتر، گوگل با بازگرداندن عبارت اشتباه، در توضیحی جدید ادعا کرد که این یک «اشتباه رایج در رونویسی» است که هوش مصنوعی از داده‌های آموزشی خود یاد گرفته است.
مشکلات به همین جا ختم نمی‌شود. آزمایش‌های انجام شده توسط متخصصان دیگر، یک ضعف اساسی دیگر را در این مدل‌های هوش مصنوعی آشکار کرده است: عدم ثبات در پاسخ‌دهی.
دکتر «جودی گیچویا» (Judy Gichoya) از دانشگاه اموری، در آزمایشی یک عکس رادیولوژی از قفسه سینه را به مدل جدیدتر گوگل، MedGemma، نشان داد. وقتی دکتر سؤالش را با جزئیات کامل (شامل ارائه سن و جنسیت بیمار) پرسید، هوش مصنوعی مشکل را به درستی تشخیص داد. اما وقتی همان عکس را با یک سؤال ساده‌تر (صرفاً «در این عکس چه می‌بینی؟») به هوش مصنوعی نشان داد، پاسخ کاملاً متفاوت بود: «این عکس یک قفسه سینه نرمال از یک فرد بزرگسال را نشان می‌دهد.» و مشکل به‌طور کامل نادیده گرفته شد.
این قضیه نشان می‌دهد که کوچک‌ترین تغییری در نحوه تعامل با هوش مصنوعی می‌تواند منجر به نتایج کاملاً متضاد و خطرناک شود.
کارشناسان معتقدند بزرگ‌ترین خطر این سیستم‌ها، اشتباهات گاه‌به‌گاه آنها نیست، بلکه اعتماد به لحن متقاعدکننده‌ای است که با آن، اطلاعات غلط (مانند وجود گانگلیون بازیلر) را به عنوان یک حقیقت علمی بیان می‌کنند.
دکتر «جاناتان چن» (Jonathan Chen) از دانشگاه استنفورد، این پدیده را به رانندگی خودکار تشبیه می‌کند: «ماشین آنقدر خوب رانندگی کرده است که شما تصمیم می‌گیرید پشت فرمان بخوابید. این دقیقاً همان جایی است که خطر اتفاق می‌افتد.»
درکل پدیده‌ای که به آن «سوگیری اتوماسیون» (Automation Bias) گفته می‌شود، می‌تواند باعث شود پزشکان به دلیل عملکرد عمدتاً صحیح هوش مصنوعی، از بررسی دقیق نتایج آن غافل شوند و اشتباهات فاحش را نادیده بگیرند. کارشناسان می‌گویند این مدل‌ها ذاتاً تمایل به ساختن چیزها دارند و هرگز نمی‌گویند «من نمی‌دانم» و این یک مشکل بسیار بزرگ در حوزه‌های پرخطری مانند پزشکی است.
طبق گزارش‌های جدید، مدل پیشرفته پزشکی گوگل، Med-Gemini، در یک مقاله تحقیقاتی از یک عضو غیرواقعی در مغز انسان نام برده است. علاوه‌براین، آزمایش‌های دیگر نشان داده‌اند که این هوش مصنوعی با تغییر جزئی در نحوه پرسش، پاسخ‌های کاملاً متناقضی ارائه می‌دهد. این اشتباهات فاحش باعث ایجاد نگرانی‌هایی درباره به کارگیری این فناوری‌های نابالغ در محیط‌های بالینی شده است.
در یک مقاله تحقیقاتی که توسط خود گوگل برای نمایش قابلیت‌های مدل هوش مصنوعی Med-Gemini منتشر شده بود، این مدل در تحلیل سی‌تی اسکن سر، یک ناهنجاری را در «گانگلیون بازیلر» (Basilar Ganglia) تشخیص داد؛ بخشی از مغز که اصلاً وجود خارجی ندارد. این هوش مصنوعی، دو ساختار کاملاً مجزا و متفاوت در مغز، یعنی «گانگلیون‌های پایه» (Basal Ganglia) و «شریان بازیلر» (Basilar Artery) را با هم ترکیب و یک نام جدید اختراع کرده بود.
محققان و پزشکان این خطا را «فوق‌العاده خطرناک» توصیف می‌کنند. آنها می‌گویند: «این دو کلمه مختلف، یک دنیا تفاوت ایجاد می‌کنند.» تشخیص اشتباه میان این دو ناحیه می‌تواند به پروتکل‌های درمانی کاملاً متفاوت و بالقوه مرگبار برای بیمار منجر شود.
عضو خیالی مغز که توسط هوش مصنوعی گوگل ایجاد شد
به گزارش ورج، پس از آنکه دکتر «برایان مور» (Bryan Moore)، عصب‌شناس، این اشتباه فاحش را به گوگل گزارش داد، این شرکت در ابتدا تلاش کرد تا با ویرایش پنهانی پست وبلاگ خود و تغییر «Basilar» به «Basal»، موضوع را یک «غلط تایپی» ساده جلوه دهد. اما پس از فشارهای بیشتر، گوگل با بازگرداندن عبارت اشتباه، در توضیحی جدید ادعا کرد که این یک «اشتباه رایج در رونویسی» است که هوش مصنوعی از داده‌های آموزشی خود یاد گرفته است.
مشکلات به همین جا ختم نمی‌شود. آزمایش‌های انجام شده توسط متخصصان دیگر، یک ضعف اساسی دیگر را در این مدل‌های هوش مصنوعی آشکار کرده است: عدم ثبات در پاسخ‌دهی.
دکتر «جودی گیچویا» (Judy Gichoya) از دانشگاه اموری، در آزمایشی یک عکس رادیولوژی از قفسه سینه را به مدل جدیدتر گوگل، MedGemma، نشان داد. وقتی دکتر سؤالش را با جزئیات کامل (شامل ارائه سن و جنسیت بیمار) پرسید، هوش مصنوعی مشکل را به درستی تشخیص داد. اما وقتی همان عکس را با یک سؤال ساده‌تر (صرفاً «در این عکس چه می‌بینی؟») به هوش مصنوعی نشان داد، پاسخ کاملاً متفاوت بود: «این عکس یک قفسه سینه نرمال از یک فرد بزرگسال را نشان می‌دهد.» و مشکل به‌طور کامل نادیده گرفته شد.
این قضیه نشان می‌دهد که کوچک‌ترین تغییری در نحوه تعامل با هوش مصنوعی می‌تواند منجر به نتایج کاملاً متضاد و خطرناک شود.
کارشناسان معتقدند بزرگ‌ترین خطر این سیستم‌ها، اشتباهات گاه‌به‌گاه آنها نیست، بلکه اعتماد به لحن متقاعدکننده‌ای است که با آن، اطلاعات غلط (مانند وجود گانگلیون بازیلر) را به عنوان یک حقیقت علمی بیان می‌کنند.
دکتر «جاناتان چن» (Jonathan Chen) از دانشگاه استنفورد، این پدیده را به رانندگی خودکار تشبیه می‌کند: «ماشین آنقدر خوب رانندگی کرده است که شما تصمیم می‌گیرید پشت فرمان بخوابید. این دقیقاً همان جایی است که خطر اتفاق می‌افتد.»
درکل پدیده‌ای که به آن «سوگیری اتوماسیون» (Automation Bias) گفته می‌شود، می‌تواند باعث شود پزشکان به دلیل عملکرد عمدتاً صحیح هوش مصنوعی، از بررسی دقیق نتایج آن غافل شوند و اشتباهات فاحش را نادیده بگیرند. کارشناسان می‌گویند این مدل‌ها ذاتاً تمایل به ساختن چیزها دارند و هرگز نمی‌گویند «من نمی‌دانم» و این یک مشکل بسیار بزرگ در حوزه‌های پرخطری مانند پزشکی است.
طبق گزارش‌های جدید، مدل پیشرفته پزشکی گوگل، Med-Gemini، در یک مقاله تحقیقاتی از یک عضو غیرواقعی در مغز انسان نام برده است. علاوه‌براین، آزمایش‌های دیگر نشان داده‌اند که این هوش مصنوعی با تغییر جزئی در نحوه پرسش، پاسخ‌های کاملاً متناقضی ارائه می‌دهد. این اشتباهات فاحش باعث ایجاد نگرانی‌هایی درباره به کارگیری این فناوری‌های نابالغ در محیط‌های بالینی شده است.
در یک مقاله تحقیقاتی که توسط خود گوگل برای نمایش قابلیت‌های مدل هوش مصنوعی Med-Gemini منتشر شده بود، این مدل در تحلیل سی‌تی اسکن سر، یک ناهنجاری را در «گانگلیون بازیلر» (Basilar Ganglia) تشخیص داد؛ بخشی از مغز که اصلاً وجود خارجی ندارد. این هوش مصنوعی، دو ساختار کاملاً مجزا و متفاوت در مغز، یعنی «گانگلیون‌های پایه» (Basal Ganglia) و «شریان بازیلر» (Basilar Artery) را با هم ترکیب و یک نام جدید اختراع کرده بود.
محققان و پزشکان این خطا را «فوق‌العاده خطرناک» توصیف می‌کنند. آنها می‌گویند: «این دو کلمه مختلف، یک دنیا تفاوت ایجاد می‌کنند.» تشخیص اشتباه میان این دو ناحیه می‌تواند به پروتکل‌های درمانی کاملاً متفاوت و بالقوه مرگبار برای بیمار منجر شود.
عضو خیالی مغز که توسط هوش مصنوعی گوگل ایجاد شد
به گزارش ورج، پس از آنکه دکتر «برایان مور» (Bryan Moore)، عصب‌شناس، این اشتباه فاحش را به گوگل گزارش داد، این شرکت در ابتدا تلاش کرد تا با ویرایش پنهانی پست وبلاگ خود و تغییر «Basilar» به «Basal»، موضوع را یک «غلط تایپی» ساده جلوه دهد. اما پس از فشارهای بیشتر، گوگل با بازگرداندن عبارت اشتباه، در توضیحی جدید ادعا کرد که این یک «اشتباه رایج در رونویسی» است که هوش مصنوعی از داده‌های آموزشی خود یاد گرفته است.
مشکلات به همین جا ختم نمی‌شود. آزمایش‌های انجام شده توسط متخصصان دیگر، یک ضعف اساسی دیگر را در این مدل‌های هوش مصنوعی آشکار کرده است: عدم ثبات در پاسخ‌دهی.
دکتر «جودی گیچویا» (Judy Gichoya) از دانشگاه اموری، در آزمایشی یک عکس رادیولوژی از قفسه سینه را به مدل جدیدتر گوگل، MedGemma، نشان داد. وقتی دکتر سؤالش را با جزئیات کامل (شامل ارائه سن و جنسیت بیمار) پرسید، هوش مصنوعی مشکل را به درستی تشخیص داد. اما وقتی همان عکس را با یک سؤال ساده‌تر (صرفاً «در این عکس چه می‌بینی؟») به هوش مصنوعی نشان داد، پاسخ کاملاً متفاوت بود: «این عکس یک قفسه سینه نرمال از یک فرد بزرگسال را نشان می‌دهد.» و مشکل به‌طور کامل نادیده گرفته شد.
این قضیه نشان می‌دهد که کوچک‌ترین تغییری در نحوه تعامل با هوش مصنوعی می‌تواند منجر به نتایج کاملاً متضاد و خطرناک شود.
کارشناسان معتقدند بزرگ‌ترین خطر این سیستم‌ها، اشتباهات گاه‌به‌گاه آنها نیست، بلکه اعتماد به لحن متقاعدکننده‌ای است که با آن، اطلاعات غلط (مانند وجود گانگلیون بازیلر) را به عنوان یک حقیقت علمی بیان می‌کنند.
دکتر «جاناتان چن» (Jonathan Chen) از دانشگاه استنفورد، این پدیده را به رانندگی خودکار تشبیه می‌کند: «ماشین آنقدر خوب رانندگی کرده است که شما تصمیم می‌گیرید پشت فرمان بخوابید. این دقیقاً همان جایی است که خطر اتفاق می‌افتد.»
درکل پدیده‌ای که به آن «سوگیری اتوماسیون» (Automation Bias) گفته می‌شود، می‌تواند باعث شود پزشکان به دلیل عملکرد عمدتاً صحیح هوش مصنوعی، از بررسی دقیق نتایج آن غافل شوند و اشتباهات فاحش را نادیده بگیرند. کارشناسان می‌گویند این مدل‌ها ذاتاً تمایل به ساختن چیزها دارند و هرگز نمی‌گویند «من نمی‌دانم» و این یک مشکل بسیار بزرگ در حوزه‌های پرخطری مانند پزشکی است.
