به گزارش ایسنا، در حالی که مدیران شرکت‌های فناوری برای سرمایه‌گذاری در «هوش مصنوعی» از یکدیگر پیشی می‌گیرند، یک مشکل بزرگ و رو به رشد وجود دارد، هر مدلی که بر روی داده‌های وب پس از ظهور «چت‌جی‌پی‌تی»(ChatGPT) در سال ۲۰۲۲ آموزش دیده باشد، در حال جذب داده‌های تولید شده توسط «هوش مصنوعی» است. این عمل ممکن است باعث افزایش مشکلات فنی شود و کل این صنعت را تهدید کند.
به نقل از فیوچریسم، «استیون وان-نیکولز»( Steven Vaughn-Nichols) ستون‌نویس فناوری در مقاله‌ای جدید هشدار می‌دهد که حتی تلاش‌ها برای جلوگیری از «فروپاشی مدل»(model collapse) نوع دیگری از کابوس است. این پدیده زمانی رخ می‌دهد که «مدل‌های زبانی بزرگ»(LLM) با داده‌های مصنوعی و تولید شده توسط «هوش مصنوعی» تغذیه می‌شوند و در نتیجه از مسیر درست خارج می‌شوند.
صنعت «هوش مصنوعی» به سمتی پیش رفته است که تمام داده‌های آموزشی معتبر موجود یعنی اطلاعاتی که توسط انسان‌ها تولید شده است را استفاده نمی‌کند. برای حل این مشکل، شرکت‌های صنعتی بزرگ مانند گوگل و «اوپن ای‌آی»(OpenAI) یا «آنتروپیک»(Anthropic) درگیر ابزاری موسوم به «تولید تقویت‌شده با بازیابی»(RAG) شده‌اند. این ابزار شامل اتصال «LLM ها» به اینترنت است تا بتوانند در صورت مواجهه با درخواست‌هایی که پاسخ آنها در داده‌های آموزشی‌شان نیست، به دنبال اطلاعات بگردند.
این مفهوم در ظاهر بسیار شهودی به نظر می‌رسد، اما یک مشکل وجود دارد، اینکه اینترنت اکنون پر از محتوای نامعتبر است که از «هوش مصنوعی» برای تولید پاسخ به سوالات رایج استفاده می‌کند و نتایج آن اغلب خنده‌دار، بد و نادرست است.
مطالعه‌ای جدید از بخش تحقیقاتی شرکت رسانه‌ای بزرگ «مایکل بلومبرگ»(Michael Bloomberg)، از ۱۱ مدل از جدیدترین «LLM ها» پاسخ‌های نادرست بسیار بیشتری نسبت به همتایان خود که فاقد ابزار «RAG» بودند، دریافت کرد.
همانطور که این مطالعه بیان می‌کند: این نگرانی‌های ایمنی می‌تواند شامل محتوای مضر، غیر قانونی، توهین‌آمیز و غیر اخلاقی مانند انتشار اطلاعات نادرست و به خطر انداختن امنیت و حریم خصوصی کاربر باشد.
«آماندا استنت»(Amanda Stent) سرپرست تحقیقات و استراتژی «هوش مصنوعی» در این شرکت توضیح داد: این یافته غیرمنتظره با توجه به اینکه «RAG» چقدر به طور گسترده در برنامه‌های «هوش مصنوعی مولد»(generative AI) مانند سامانه پرسش و پاسخ استفاده می‌شود، پیامدهای گسترده‌ای دارد. کاربر عادی اینترنت روزانه با سامانه‌های مبتنی بر «RAG» تعامل دارد. متخصصان «هوش مصنوعی» باید در مورد نحوه استفاده مسئولانه از این ابزار با دقت عمل کنند.
«وان-نیکولز» اشاره می‌کند: برخی افراد پیشنهاد کرده‌اند که محتوای معتبر و مصنوعی را با هم ترکیب کنند تا یک ترکیب قوی از داده‌های آموزشی خوب «هوش مصنوعی» تولید شود، اما این امر مستلزم آن است که انسان‌ها به تولید محتوای واقعی برای داده‌های آموزشی ادامه دهند. صنعت «هوش مصنوعی» به طور فعال ساختارهای انگیزشی آنها را برای ادامه کار تضعیف می‌کند. این مسئله در حالی است که کار آنها را بدون اجازه سرقت هم می‌کند.
وی افزود: ما بیشتر و بیشتر در «هوش مصنوعی» سرمایه‌گذاری خواهیم کرد تا جایی که پدیده «فروپاشی مدل» باعث شود پاسخ‌های این سامانه آنقدر بد شوند که حتی یک مدیر عامل کندذهن هم نتواند آن را نادیده بگیرد.
انتهای پیام
به گزارش ایسنا، در حالی که مدیران شرکت‌های فناوری برای سرمایه‌گذاری در «هوش مصنوعی» از یکدیگر پیشی می‌گیرند، یک مشکل بزرگ و رو به رشد وجود دارد، هر مدلی که بر روی داده‌های وب پس از ظهور «چت‌جی‌پی‌تی»(ChatGPT) در سال ۲۰۲۲ آموزش دیده باشد، در حال جذب داده‌های تولید شده توسط «هوش مصنوعی» است. این عمل ممکن است باعث افزایش مشکلات فنی شود و کل این صنعت را تهدید کند.
به نقل از فیوچریسم، «استیون وان-نیکولز»( Steven Vaughn-Nichols) ستون‌نویس فناوری در مقاله‌ای جدید هشدار می‌دهد که حتی تلاش‌ها برای جلوگیری از «فروپاشی مدل»(model collapse) نوع دیگری از کابوس است. این پدیده زمانی رخ می‌دهد که «مدل‌های زبانی بزرگ»(LLM) با داده‌های مصنوعی و تولید شده توسط «هوش مصنوعی» تغذیه می‌شوند و در نتیجه از مسیر درست خارج می‌شوند.
صنعت «هوش مصنوعی» به سمتی پیش رفته است که تمام داده‌های آموزشی معتبر موجود یعنی اطلاعاتی که توسط انسان‌ها تولید شده است را استفاده نمی‌کند. برای حل این مشکل، شرکت‌های صنعتی بزرگ مانند گوگل و «اوپن ای‌آی»(OpenAI) یا «آنتروپیک»(Anthropic) درگیر ابزاری موسوم به «تولید تقویت‌شده با بازیابی»(RAG) شده‌اند. این ابزار شامل اتصال «LLM ها» به اینترنت است تا بتوانند در صورت مواجهه با درخواست‌هایی که پاسخ آنها در داده‌های آموزشی‌شان نیست، به دنبال اطلاعات بگردند.
این مفهوم در ظاهر بسیار شهودی به نظر می‌رسد، اما یک مشکل وجود دارد، اینکه اینترنت اکنون پر از محتوای نامعتبر است که از «هوش مصنوعی» برای تولید پاسخ به سوالات رایج استفاده می‌کند و نتایج آن اغلب خنده‌دار، بد و نادرست است.
مطالعه‌ای جدید از بخش تحقیقاتی شرکت رسانه‌ای بزرگ «مایکل بلومبرگ»(Michael Bloomberg)، از ۱۱ مدل از جدیدترین «LLM ها» پاسخ‌های نادرست بسیار بیشتری نسبت به همتایان خود که فاقد ابزار «RAG» بودند، دریافت کرد.
همانطور که این مطالعه بیان می‌کند: این نگرانی‌های ایمنی می‌تواند شامل محتوای مضر، غیر قانونی، توهین‌آمیز و غیر اخلاقی مانند انتشار اطلاعات نادرست و به خطر انداختن امنیت و حریم خصوصی کاربر باشد.
«آماندا استنت»(Amanda Stent) سرپرست تحقیقات و استراتژی «هوش مصنوعی» در این شرکت توضیح داد: این یافته غیرمنتظره با توجه به اینکه «RAG» چقدر به طور گسترده در برنامه‌های «هوش مصنوعی مولد»(generative AI) مانند سامانه پرسش و پاسخ استفاده می‌شود، پیامدهای گسترده‌ای دارد. کاربر عادی اینترنت روزانه با سامانه‌های مبتنی بر «RAG» تعامل دارد. متخصصان «هوش مصنوعی» باید در مورد نحوه استفاده مسئولانه از این ابزار با دقت عمل کنند.
«وان-نیکولز» اشاره می‌کند: برخی افراد پیشنهاد کرده‌اند که محتوای معتبر و مصنوعی را با هم ترکیب کنند تا یک ترکیب قوی از داده‌های آموزشی خوب «هوش مصنوعی» تولید شود، اما این امر مستلزم آن است که انسان‌ها به تولید محتوای واقعی برای داده‌های آموزشی ادامه دهند. صنعت «هوش مصنوعی» به طور فعال ساختارهای انگیزشی آنها را برای ادامه کار تضعیف می‌کند. این مسئله در حالی است که کار آنها را بدون اجازه سرقت هم می‌کند.
وی افزود: ما بیشتر و بیشتر در «هوش مصنوعی» سرمایه‌گذاری خواهیم کرد تا جایی که پدیده «فروپاشی مدل» باعث شود پاسخ‌های این سامانه آنقدر بد شوند که حتی یک مدیر عامل کندذهن هم نتواند آن را نادیده بگیرد.
انتهای پیام
به گزارش ایسنا، در حالی که مدیران شرکت‌های فناوری برای سرمایه‌گذاری در «هوش مصنوعی» از یکدیگر پیشی می‌گیرند، یک مشکل بزرگ و رو به رشد وجود دارد، هر مدلی که بر روی داده‌های وب پس از ظهور «چت‌جی‌پی‌تی»(ChatGPT) در سال ۲۰۲۲ آموزش دیده باشد، در حال جذب داده‌های تولید شده توسط «هوش مصنوعی» است. این عمل ممکن است باعث افزایش مشکلات فنی شود و کل این صنعت را تهدید کند.
به نقل از فیوچریسم، «استیون وان-نیکولز»( Steven Vaughn-Nichols) ستون‌نویس فناوری در مقاله‌ای جدید هشدار می‌دهد که حتی تلاش‌ها برای جلوگیری از «فروپاشی مدل»(model collapse) نوع دیگری از کابوس است. این پدیده زمانی رخ می‌دهد که «مدل‌های زبانی بزرگ»(LLM) با داده‌های مصنوعی و تولید شده توسط «هوش مصنوعی» تغذیه می‌شوند و در نتیجه از مسیر درست خارج می‌شوند.
صنعت «هوش مصنوعی» به سمتی پیش رفته است که تمام داده‌های آموزشی معتبر موجود یعنی اطلاعاتی که توسط انسان‌ها تولید شده است را استفاده نمی‌کند. برای حل این مشکل، شرکت‌های صنعتی بزرگ مانند گوگل و «اوپن ای‌آی»(OpenAI) یا «آنتروپیک»(Anthropic) درگیر ابزاری موسوم به «تولید تقویت‌شده با بازیابی»(RAG) شده‌اند. این ابزار شامل اتصال «LLM ها» به اینترنت است تا بتوانند در صورت مواجهه با درخواست‌هایی که پاسخ آنها در داده‌های آموزشی‌شان نیست، به دنبال اطلاعات بگردند.
این مفهوم در ظاهر بسیار شهودی به نظر می‌رسد، اما یک مشکل وجود دارد، اینکه اینترنت اکنون پر از محتوای نامعتبر است که از «هوش مصنوعی» برای تولید پاسخ به سوالات رایج استفاده می‌کند و نتایج آن اغلب خنده‌دار، بد و نادرست است.
مطالعه‌ای جدید از بخش تحقیقاتی شرکت رسانه‌ای بزرگ «مایکل بلومبرگ»(Michael Bloomberg)، از ۱۱ مدل از جدیدترین «LLM ها» پاسخ‌های نادرست بسیار بیشتری نسبت به همتایان خود که فاقد ابزار «RAG» بودند، دریافت کرد.
همانطور که این مطالعه بیان می‌کند: این نگرانی‌های ایمنی می‌تواند شامل محتوای مضر، غیر قانونی، توهین‌آمیز و غیر اخلاقی مانند انتشار اطلاعات نادرست و به خطر انداختن امنیت و حریم خصوصی کاربر باشد.
«آماندا استنت»(Amanda Stent) سرپرست تحقیقات و استراتژی «هوش مصنوعی» در این شرکت توضیح داد: این یافته غیرمنتظره با توجه به اینکه «RAG» چقدر به طور گسترده در برنامه‌های «هوش مصنوعی مولد»(generative AI) مانند سامانه پرسش و پاسخ استفاده می‌شود، پیامدهای گسترده‌ای دارد. کاربر عادی اینترنت روزانه با سامانه‌های مبتنی بر «RAG» تعامل دارد. متخصصان «هوش مصنوعی» باید در مورد نحوه استفاده مسئولانه از این ابزار با دقت عمل کنند.
«وان-نیکولز» اشاره می‌کند: برخی افراد پیشنهاد کرده‌اند که محتوای معتبر و مصنوعی را با هم ترکیب کنند تا یک ترکیب قوی از داده‌های آموزشی خوب «هوش مصنوعی» تولید شود، اما این امر مستلزم آن است که انسان‌ها به تولید محتوای واقعی برای داده‌های آموزشی ادامه دهند. صنعت «هوش مصنوعی» به طور فعال ساختارهای انگیزشی آنها را برای ادامه کار تضعیف می‌کند. این مسئله در حالی است که کار آنها را بدون اجازه سرقت هم می‌کند.
وی افزود: ما بیشتر و بیشتر در «هوش مصنوعی» سرمایه‌گذاری خواهیم کرد تا جایی که پدیده «فروپاشی مدل» باعث شود پاسخ‌های این سامانه آنقدر بد شوند که حتی یک مدیر عامل کندذهن هم نتواند آن را نادیده بگیرد.
انتهای پیام
به گزارش ایسنا، در حالی که مدیران شرکت‌های فناوری برای سرمایه‌گذاری در «هوش مصنوعی» از یکدیگر پیشی می‌گیرند، یک مشکل بزرگ و رو به رشد وجود دارد، هر مدلی که بر روی داده‌های وب پس از ظهور «چت‌جی‌پی‌تی»(ChatGPT) در سال ۲۰۲۲ آموزش دیده باشد، در حال جذب داده‌های تولید شده توسط «هوش مصنوعی» است. این عمل ممکن است باعث افزایش مشکلات فنی شود و کل این صنعت را تهدید کند.
به نقل از فیوچریسم، «استیون وان-نیکولز»( Steven Vaughn-Nichols) ستون‌نویس فناوری در مقاله‌ای جدید هشدار می‌دهد که حتی تلاش‌ها برای جلوگیری از «فروپاشی مدل»(model collapse) نوع دیگری از کابوس است. این پدیده زمانی رخ می‌دهد که «مدل‌های زبانی بزرگ»(LLM) با داده‌های مصنوعی و تولید شده توسط «هوش مصنوعی» تغذیه می‌شوند و در نتیجه از مسیر درست خارج می‌شوند.
صنعت «هوش مصنوعی» به سمتی پیش رفته است که تمام داده‌های آموزشی معتبر موجود یعنی اطلاعاتی که توسط انسان‌ها تولید شده است را استفاده نمی‌کند. برای حل این مشکل، شرکت‌های صنعتی بزرگ مانند گوگل و «اوپن ای‌آی»(OpenAI) یا «آنتروپیک»(Anthropic) درگیر ابزاری موسوم به «تولید تقویت‌شده با بازیابی»(RAG) شده‌اند. این ابزار شامل اتصال «LLM ها» به اینترنت است تا بتوانند در صورت مواجهه با درخواست‌هایی که پاسخ آنها در داده‌های آموزشی‌شان نیست، به دنبال اطلاعات بگردند.
این مفهوم در ظاهر بسیار شهودی به نظر می‌رسد، اما یک مشکل وجود دارد، اینکه اینترنت اکنون پر از محتوای نامعتبر است که از «هوش مصنوعی» برای تولید پاسخ به سوالات رایج استفاده می‌کند و نتایج آن اغلب خنده‌دار، بد و نادرست است.
مطالعه‌ای جدید از بخش تحقیقاتی شرکت رسانه‌ای بزرگ «مایکل بلومبرگ»(Michael Bloomberg)، از ۱۱ مدل از جدیدترین «LLM ها» پاسخ‌های نادرست بسیار بیشتری نسبت به همتایان خود که فاقد ابزار «RAG» بودند، دریافت کرد.
همانطور که این مطالعه بیان می‌کند: این نگرانی‌های ایمنی می‌تواند شامل محتوای مضر، غیر قانونی، توهین‌آمیز و غیر اخلاقی مانند انتشار اطلاعات نادرست و به خطر انداختن امنیت و حریم خصوصی کاربر باشد.
«آماندا استنت»(Amanda Stent) سرپرست تحقیقات و استراتژی «هوش مصنوعی» در این شرکت توضیح داد: این یافته غیرمنتظره با توجه به اینکه «RAG» چقدر به طور گسترده در برنامه‌های «هوش مصنوعی مولد»(generative AI) مانند سامانه پرسش و پاسخ استفاده می‌شود، پیامدهای گسترده‌ای دارد. کاربر عادی اینترنت روزانه با سامانه‌های مبتنی بر «RAG» تعامل دارد. متخصصان «هوش مصنوعی» باید در مورد نحوه استفاده مسئولانه از این ابزار با دقت عمل کنند.
«وان-نیکولز» اشاره می‌کند: برخی افراد پیشنهاد کرده‌اند که محتوای معتبر و مصنوعی را با هم ترکیب کنند تا یک ترکیب قوی از داده‌های آموزشی خوب «هوش مصنوعی» تولید شود، اما این امر مستلزم آن است که انسان‌ها به تولید محتوای واقعی برای داده‌های آموزشی ادامه دهند. صنعت «هوش مصنوعی» به طور فعال ساختارهای انگیزشی آنها را برای ادامه کار تضعیف می‌کند. این مسئله در حالی است که کار آنها را بدون اجازه سرقت هم می‌کند.
وی افزود: ما بیشتر و بیشتر در «هوش مصنوعی» سرمایه‌گذاری خواهیم کرد تا جایی که پدیده «فروپاشی مدل» باعث شود پاسخ‌های این سامانه آنقدر بد شوند که حتی یک مدیر عامل کندذهن هم نتواند آن را نادیده بگیرد.
انتهای پیام
