درحالیکه توجه علاقهمندان هوش مصنوعی اخیراً به مدل جدید و ارزان GPT-4o mini جلب شده، اپل تصمیم گرفته خانواده مدلهای کوچکش را گسترش دهد. بهتازگی محققان اپل چند مدل متنباز را تحت پروژهای موسوم به DCLM منتشر کردند.
براساس گزارش AppleInsider، خانواده هوش مصنوعی جدید اپل شامل دو مدل اصلی است: یکی با 7 میلیارد پارامتر و دیگری با 1.4 میلیارد پارامتر. هر دوی آنها در بنچمارکها عملکرد بسیار خوبی دارند، بهخصوص نمونه بزرگتر که بهتر از مدل Mistral-7B است و میتواند با سایر مدلهای متنباز پیشرو، مانند Llama 3 از متا و Gemma از گوگل رقابت کند.
مدلهای هوش مصنوعی متنباز جدید اپل
محققان اپل این مدلهای جدید را مدلهای متنباز با بهترین عملکرد توصیف کردهاند. نکته مهم این است که در این پروژه، با انتشار کد آموزشی و مجموعه دادههای دیگر، مدلها بهصورت متنباز در Hugging Face در دسترس هستند. همچنین هر دو مدل در بنچمارکهای MMLU امتیاز خوبی کسب کردند تا در برابر مدلهای تجاری دیگر رقابت کنند.
به گفته محققان اپل، مدل بزرگتر در مقایسه با MAP-Neo (پیشرفتهترین مدل متنباز قبلی اپل)، بهبود 6.6 درصدی در بنچمارکها داشته است؛ درحالیکه تا 40 درصد از محاسبات کمتری برای آموزش آن استفاده شده است. از سوی دیگر، درست مانند مدل بزرگتر DCLM-7B، نسخه کوچکتر 1.4B این مدل که روی 2.6 تریلیون توکن آموزش دیده است، عملکرد قابلتوجهی در تستهای MMLU ،Core و Extended دارد.
اردیبهشتماه نیز اپل از مدلهای متنباز OpenELM رونمایی کرد که در چهار مدل مختلف 270 میلیون پارامتری، 450 میلیون پارامتری، 1.1 میلیارد پارامتری و 3 میلیارد پارامتری منتشر شد. به گفته اپل، این مدلها در وظایف مربوط به پردازش متن ،مانند نوشتن ایمیل، عملکرد خوبی دارند.
مدلهایی که محققان اپل منتشر کردهاند، ظاهراً در هیچیک از محصولات آینده اپل به کار گرفته نمیشوند و بیشتر باید آنها را پروژههای تحقیقاتی متنباز در نظر گرفت.
