OpenAI بهتازگی صفحهای در وبسایت خود منتشر کرده که در آن نام مدل زبانی بزرگ جدیدی را میبینیم: GPT-4o Long Output. این مدل جدید با مدل GPT-4o که اردیبهشتماه رونمایی شد، در تعداد توکنهای خروجی تفاوت عمدهای دارد. این مدل در هر درخواست تا 64 هزار توکن خروجی به شما میدهد؛ در مقایسه، خروجی GPT-4o حداکثر 4 هزار توکن است.
براساس اعلام OpenAI، نسخه آزمایشی GPT-4o Long Output حداکثر 64 هزار توکن خروجی در هر درخواست ارائه میدهد. این افزایش 16 برابری نسبت به مدل اصلی GPT-4o، به کاربران و بهطور خاص به توسعهدهندگان شخص ثالث که از API این چتبات بهره میبرند، فرصت میدهد پاسخهای طولانیتر، بهاندازه رمانی 200 صفحهای، آماده کند.
توکنها در مدلهای زبانی بزرگ به نمایش عددی مفاهیم، ساختارهای دستوری همچنین معنای آنها اشاره دارند؛ برای مثال کلمه «Hello» یک توکن است، «Hi» نیز هرچند همان معنا را دارد، توکن دیگری محسوب میشود.
مدل آزمایشی GPT-4o Long Output
مدل اصلی GPT-4o حداکثر 128 هزار توکن در پنجره زمینه (Context Window) ارائه میکند؛ پنجره زمینه مقدار حاوی توکنهایی است که مدل میتواند در هر تعامل، ازجمله در توکنهای ورودی و خروجی، مدیریت کند. اکنون GPT-4o Long Output نیز همان 128 هزار توکن پنجره زمینه را ارائه میدهد؛ بنابراین چگونه OpenAI میتواند تعداد توکنهای خروجی را 16 برابر افزایش دهد و از 4000 به 64000 توکن برساند، درحالیکه پنجره زمینه کلی را روی 128000 نگه داشته است؟
پاسخ ساده است، GPT-4o اصلی اگرچه پنجره 128 هزار توکنی داشت، پیام خروجی آن محدود به 4000 توکن بود؛ یعنی شما در ازای 124 هزار پیام ورودی حداکثر 4000 توکن دریافت میکردید یا برای مثال، GPT-4o mini حداکثر 16 هزار توکن خروجی داشت. اکنون OpenAI، با حفظ همان پنجره زمینه، سقف خروجی را تا 64 هزار توکن بالا برده است.
یکی از سخنگویان OpenAI به VentureBeat گفته است: «ما بازخوردهایی را از مشتریان خود شنیدیم که میخواهند زمینه خروجی طولانیتری داشته باشند. ما همیشه درحالآزمایش راههای جدید هستیم تا میتوانیم به بهترین شکل به نیازهای مشتریان خود پاسخ دهیم.»
انتظار میرود مرحله آزمایش آلفا GPT-4o Long Output چند هفته طول بکشد و به OpenAI اجازه دهد دادههایی جمعآوری کند درباره اینکه چه میزان خروجی نیازهای کاربر را برآورده میکند. مدل GPT-4o با ارائه خروجیهای طولانیتر، میتواند پاسخهای جامعتر و دقیقتری ارائه دهد.
