تکنیک «ترکیب متخصصان» (MoE) به رویکردی محبوب برای افزایش مقیاس مدل‌های زبانی بزرگ بدون افزایش هزینه‌های محاسباتی تبدیل شده است. اکنون دیپ‌مایند گوگل با معرفی معماری PEER قصد دارد محدودیت‌های این تکنیک را برطرف کند تا عملکرد هوش مصنوعی را بهبود دهد و هزینه‌های توسعه آن را تعدیل کند.
در تکنیک MoE به‌جای استفاده از کل ظرفیت مدل برای هر ورودی، داده‌ها به ماژول‌های کوچکی موسوم به «متخصص» هدایت می‌شوند. بااین‌حال، تکنیک‌های فعلی MoE محدودیت‌هایی دارند که آن‌ها را منحصر به تعداد نسبتاً کمی از این متخصصان می‌کند. دیپ‌مایند گوگل در مقاله‌ای جدید، معماری PEER را معرفی کرده که می‌تواند مدل‌های MOE را به میلیون‌ها متخصص تقسیم کند و عملکرد محاسباتی مدل‌های زبانی بزرگ را بهبود بخشد.
چندین مدل هوش مصنوعی محبوب ازجمله Mistral ،Grok و GPT-4 از تکنیک MoE بهره می‌برند.
معماری جدید PEER دیپ‌مایند گوگل
براساس گزارش VentureBeat، معماری جدید محققان دیپ‌مایند این باور قدیمی را زیر سؤال می‌برد که مدل‌های MoE با تعداد محدودی از «متخصصان» به اوج بازدهی می‌رسند. PEER نشان می‌دهد با استفاده از مکانیسم‌های بازیابی و مسیریابی مناسب، می‌توان MoE را به میلیون‌ها «متخصص» تقسیم کرد. این رویکرد می‌تواند در کاهش بیشتر هزینه‌ها و پیچیدگی آموزش مؤثر باشد و به ارائه مدل‌های زبانی بسیار بزرگ کمک کند.
چند سال گذشته، مشخص شد افزایش مقیاس مدل‌های زبانی با افزایش تعداد پارامترهای آن‌ها عملکرد و قابلیت‌های جدید را بهبود می‌دهد. همچنین محققان دریافته‌اند که افزایش «دانه‌بندی» (Granularity) یک مدل MOE که به تعداد متخصصان آن اشاره دارد، می‌تواند منجر به افزایش عملکرد شود، به‌ویژه زمانی که همراه افزایش اندازه مدل و داده‌های آموزشی باشد.
همچنین MoE با دانه‌بندی بالا می‌تواند مدل‌ها را قادر سازد تا دانش جدید را مؤثرتر بیاموزند. بااین‌حال یکی از محدودیت‌های فعلی این است که این مدل‌ها معمولاً مسیریاب‌های ثابتی دارند که برای تعداد خاصی از متخصصان طراحی شده‌اند و با اضافه شدن متخصصان جدید نیاز به تنظیم مجدد دارند.
اکنون معماری PEER به مسائل و محدودیت‌های مقیاس‌بندی MoE می‌پردازد. برای هر ورودی، PEER ابتدا از محاسبات اولیه سریع ایجاد فهرست کوتاهی از گزینه‌های مختلف برای انتخاب و فعال‌کردن متخصصان مناسب استفاده می‌کند. این مکانیسم MoE را قادر می‌سازد تا تعداد بسیار زیادی از متخصصان را بدون کاهش سرعت مدیریت کند.
گوگل احتمالاً از معماری PEER در مدل‌های جمینای 1.5 استفاده خواهد کرد.
تکنیک «ترکیب متخصصان» (MoE) به رویکردی محبوب برای افزایش مقیاس مدل‌های زبانی بزرگ بدون افزایش هزینه‌های محاسباتی تبدیل شده است. اکنون دیپ‌مایند گوگل با معرفی معماری PEER قصد دارد محدودیت‌های این تکنیک را برطرف کند تا عملکرد هوش مصنوعی را بهبود دهد و هزینه‌های توسعه آن را تعدیل کند.
در تکنیک MoE به‌جای استفاده از کل ظرفیت مدل برای هر ورودی، داده‌ها به ماژول‌های کوچکی موسوم به «متخصص» هدایت می‌شوند. بااین‌حال، تکنیک‌های فعلی MoE محدودیت‌هایی دارند که آن‌ها را منحصر به تعداد نسبتاً کمی از این متخصصان می‌کند. دیپ‌مایند گوگل در مقاله‌ای جدید، معماری PEER را معرفی کرده که می‌تواند مدل‌های MOE را به میلیون‌ها متخصص تقسیم کند و عملکرد محاسباتی مدل‌های زبانی بزرگ را بهبود بخشد.
چندین مدل هوش مصنوعی محبوب ازجمله Mistral ،Grok و GPT-4 از تکنیک MoE بهره می‌برند.
معماری جدید PEER دیپ‌مایند گوگل
براساس گزارش VentureBeat، معماری جدید محققان دیپ‌مایند این باور قدیمی را زیر سؤال می‌برد که مدل‌های MoE با تعداد محدودی از «متخصصان» به اوج بازدهی می‌رسند. PEER نشان می‌دهد با استفاده از مکانیسم‌های بازیابی و مسیریابی مناسب، می‌توان MoE را به میلیون‌ها «متخصص» تقسیم کرد. این رویکرد می‌تواند در کاهش بیشتر هزینه‌ها و پیچیدگی آموزش مؤثر باشد و به ارائه مدل‌های زبانی بسیار بزرگ کمک کند.
چند سال گذشته، مشخص شد افزایش مقیاس مدل‌های زبانی با افزایش تعداد پارامترهای آن‌ها عملکرد و قابلیت‌های جدید را بهبود می‌دهد. همچنین محققان دریافته‌اند که افزایش «دانه‌بندی» (Granularity) یک مدل MOE که به تعداد متخصصان آن اشاره دارد، می‌تواند منجر به افزایش عملکرد شود، به‌ویژه زمانی که همراه افزایش اندازه مدل و داده‌های آموزشی باشد.
همچنین MoE با دانه‌بندی بالا می‌تواند مدل‌ها را قادر سازد تا دانش جدید را مؤثرتر بیاموزند. بااین‌حال یکی از محدودیت‌های فعلی این است که این مدل‌ها معمولاً مسیریاب‌های ثابتی دارند که برای تعداد خاصی از متخصصان طراحی شده‌اند و با اضافه شدن متخصصان جدید نیاز به تنظیم مجدد دارند.
اکنون معماری PEER به مسائل و محدودیت‌های مقیاس‌بندی MoE می‌پردازد. برای هر ورودی، PEER ابتدا از محاسبات اولیه سریع ایجاد فهرست کوتاهی از گزینه‌های مختلف برای انتخاب و فعال‌کردن متخصصان مناسب استفاده می‌کند. این مکانیسم MoE را قادر می‌سازد تا تعداد بسیار زیادی از متخصصان را بدون کاهش سرعت مدیریت کند.
گوگل احتمالاً از معماری PEER در مدل‌های جمینای 1.5 استفاده خواهد کرد.
تکنیک «ترکیب متخصصان» (MoE) به رویکردی محبوب برای افزایش مقیاس مدل‌های زبانی بزرگ بدون افزایش هزینه‌های محاسباتی تبدیل شده است. اکنون دیپ‌مایند گوگل با معرفی معماری PEER قصد دارد محدودیت‌های این تکنیک را برطرف کند تا عملکرد هوش مصنوعی را بهبود دهد و هزینه‌های توسعه آن را تعدیل کند.
در تکنیک MoE به‌جای استفاده از کل ظرفیت مدل برای هر ورودی، داده‌ها به ماژول‌های کوچکی موسوم به «متخصص» هدایت می‌شوند. بااین‌حال، تکنیک‌های فعلی MoE محدودیت‌هایی دارند که آن‌ها را منحصر به تعداد نسبتاً کمی از این متخصصان می‌کند. دیپ‌مایند گوگل در مقاله‌ای جدید، معماری PEER را معرفی کرده که می‌تواند مدل‌های MOE را به میلیون‌ها متخصص تقسیم کند و عملکرد محاسباتی مدل‌های زبانی بزرگ را بهبود بخشد.
چندین مدل هوش مصنوعی محبوب ازجمله Mistral ،Grok و GPT-4 از تکنیک MoE بهره می‌برند.
معماری جدید PEER دیپ‌مایند گوگل
براساس گزارش VentureBeat، معماری جدید محققان دیپ‌مایند این باور قدیمی را زیر سؤال می‌برد که مدل‌های MoE با تعداد محدودی از «متخصصان» به اوج بازدهی می‌رسند. PEER نشان می‌دهد با استفاده از مکانیسم‌های بازیابی و مسیریابی مناسب، می‌توان MoE را به میلیون‌ها «متخصص» تقسیم کرد. این رویکرد می‌تواند در کاهش بیشتر هزینه‌ها و پیچیدگی آموزش مؤثر باشد و به ارائه مدل‌های زبانی بسیار بزرگ کمک کند.
چند سال گذشته، مشخص شد افزایش مقیاس مدل‌های زبانی با افزایش تعداد پارامترهای آن‌ها عملکرد و قابلیت‌های جدید را بهبود می‌دهد. همچنین محققان دریافته‌اند که افزایش «دانه‌بندی» (Granularity) یک مدل MOE که به تعداد متخصصان آن اشاره دارد، می‌تواند منجر به افزایش عملکرد شود، به‌ویژه زمانی که همراه افزایش اندازه مدل و داده‌های آموزشی باشد.
همچنین MoE با دانه‌بندی بالا می‌تواند مدل‌ها را قادر سازد تا دانش جدید را مؤثرتر بیاموزند. بااین‌حال یکی از محدودیت‌های فعلی این است که این مدل‌ها معمولاً مسیریاب‌های ثابتی دارند که برای تعداد خاصی از متخصصان طراحی شده‌اند و با اضافه شدن متخصصان جدید نیاز به تنظیم مجدد دارند.
اکنون معماری PEER به مسائل و محدودیت‌های مقیاس‌بندی MoE می‌پردازد. برای هر ورودی، PEER ابتدا از محاسبات اولیه سریع ایجاد فهرست کوتاهی از گزینه‌های مختلف برای انتخاب و فعال‌کردن متخصصان مناسب استفاده می‌کند. این مکانیسم MoE را قادر می‌سازد تا تعداد بسیار زیادی از متخصصان را بدون کاهش سرعت مدیریت کند.
گوگل احتمالاً از معماری PEER در مدل‌های جمینای 1.5 استفاده خواهد کرد.
تکنیک «ترکیب متخصصان» (MoE) به رویکردی محبوب برای افزایش مقیاس مدل‌های زبانی بزرگ بدون افزایش هزینه‌های محاسباتی تبدیل شده است. اکنون دیپ‌مایند گوگل با معرفی معماری PEER قصد دارد محدودیت‌های این تکنیک را برطرف کند تا عملکرد هوش مصنوعی را بهبود دهد و هزینه‌های توسعه آن را تعدیل کند.
در تکنیک MoE به‌جای استفاده از کل ظرفیت مدل برای هر ورودی، داده‌ها به ماژول‌های کوچکی موسوم به «متخصص» هدایت می‌شوند. بااین‌حال، تکنیک‌های فعلی MoE محدودیت‌هایی دارند که آن‌ها را منحصر به تعداد نسبتاً کمی از این متخصصان می‌کند. دیپ‌مایند گوگل در مقاله‌ای جدید، معماری PEER را معرفی کرده که می‌تواند مدل‌های MOE را به میلیون‌ها متخصص تقسیم کند و عملکرد محاسباتی مدل‌های زبانی بزرگ را بهبود بخشد.
چندین مدل هوش مصنوعی محبوب ازجمله Mistral ،Grok و GPT-4 از تکنیک MoE بهره می‌برند.
معماری جدید PEER دیپ‌مایند گوگل
براساس گزارش VentureBeat، معماری جدید محققان دیپ‌مایند این باور قدیمی را زیر سؤال می‌برد که مدل‌های MoE با تعداد محدودی از «متخصصان» به اوج بازدهی می‌رسند. PEER نشان می‌دهد با استفاده از مکانیسم‌های بازیابی و مسیریابی مناسب، می‌توان MoE را به میلیون‌ها «متخصص» تقسیم کرد. این رویکرد می‌تواند در کاهش بیشتر هزینه‌ها و پیچیدگی آموزش مؤثر باشد و به ارائه مدل‌های زبانی بسیار بزرگ کمک کند.
چند سال گذشته، مشخص شد افزایش مقیاس مدل‌های زبانی با افزایش تعداد پارامترهای آن‌ها عملکرد و قابلیت‌های جدید را بهبود می‌دهد. همچنین محققان دریافته‌اند که افزایش «دانه‌بندی» (Granularity) یک مدل MOE که به تعداد متخصصان آن اشاره دارد، می‌تواند منجر به افزایش عملکرد شود، به‌ویژه زمانی که همراه افزایش اندازه مدل و داده‌های آموزشی باشد.
همچنین MoE با دانه‌بندی بالا می‌تواند مدل‌ها را قادر سازد تا دانش جدید را مؤثرتر بیاموزند. بااین‌حال یکی از محدودیت‌های فعلی این است که این مدل‌ها معمولاً مسیریاب‌های ثابتی دارند که برای تعداد خاصی از متخصصان طراحی شده‌اند و با اضافه شدن متخصصان جدید نیاز به تنظیم مجدد دارند.
اکنون معماری PEER به مسائل و محدودیت‌های مقیاس‌بندی MoE می‌پردازد. برای هر ورودی، PEER ابتدا از محاسبات اولیه سریع ایجاد فهرست کوتاهی از گزینه‌های مختلف برای انتخاب و فعال‌کردن متخصصان مناسب استفاده می‌کند. این مکانیسم MoE را قادر می‌سازد تا تعداد بسیار زیادی از متخصصان را بدون کاهش سرعت مدیریت کند.
گوگل احتمالاً از معماری PEER در مدل‌های جمینای 1.5 استفاده خواهد کرد.
