متا از مدل هوش مصنوعی SAM 2 برای شناسایی بلادرنگ اشیا در ویدیوها رونمایی کرد [تماشا کنید]

متا سال گذشته مدل Segment Anything یا SAM را معرفی کرد که با یادگیری ماشینی می‌توانست در یک تصویر تقریباً همه‌چیز را شناسایی کند. اکنون متا از نسل بعدی آن، SAM 2، پرده برداشته است که می‌تواند حتی اشیای موجود در ویدیو را با دقت بالایی به‌صورت لحظه‌ای شناسایی کند.

اصطلاح فنی «تفکیک‌سازی» یا Segmentation بدین معناست که مدل بصری بتواند تصویری را ببیند و اجزای آن را شناسایی کند؛ برای مثال متوجه شود «این سگ است و این درخت است که پشت سگ قرار دارد.» البته این فناوری سال‌هاست که وجود دارد اما متا با مدل Segment Anything گام بزرگی به جلو برداشت.

اکنون متا از نسل بعدی مدل Segment Anything 2 رونمایی کرده که نسبت به نسل قبلی پیشرفت‌های قابل‌توجهی کرده است. یکی از مزیت‌های آن این است که فقط در تصاویر ثابت کارایی ندارد در ویدیوها نیز کاربرد دارد.

قابلیت‌های مدل SAM 2 متا

«مارک زاکربرگ» در گفتگو با «جنسن هوانگ»، مدیرعامل انویدیا، در کنفرانس SIGGRAPH گفت: «دانشمندان از این مدل برای پژوهش، مانند مطالعه صخره‌های مرجانی و زیستگاه‌های طبیعی استفاده می‌کنند. اما اینکه بتوانید این کار را در ویدیو به‌صورت Zero shot انجام دهید، بسیار جالب است.» زیرو شات یا یادگیری بدون نمونه به معنای این است که مدل می‌تواند محتواهایی را که پیش‌ازاین ندیده هم تشخیص دهد.

SAM 2 امکانات مختلفی برای محققان، تولیدکنندگان محتوا و علاقه‌مندان به هوش مصنوعی فراهم می‌کند و می‌توان از آن به‌عنوان جزئی از سیستم هوش مصنوعی بزرگ‌تر برای شناسایی اجزای تصاویر و ویدیوها بهره برد. این مدل در سیستم‌های خودروهای خودران، تدوین ویدیو یا حتی ردیابی حیوانات درحال‌انقراض در فیلم‌برداری با پهپادها کاربرد دارد.

طبیعتاً برای آموزش چنین مدلی به داده‌های زیادی نیاز است و متا فقط یک پایگاه داده بزرگ متشکل از 50 هزار ویدیو را که برای آموزش این مدل استفاده شده، منتشر کرده است. البته در مقاله‌ SA2 نوشته شده که پایگاه داده دیگری متشکل از بیش از 100 هزار ویدیوی «در دسترس داخلی» نیز برای آموزش استفاده شده است ولی این مورد برای عموم منتشر نشده. احتمال دارد متا از محتواهای عمومی اینستاگرام و فیسبوک برای آموزش این مدل استفاده کرده باشد.

مدل جدید SAM 2، مانند مدل اول، متن‌باز و رایگان است و شما می‌توانید از نسخه آزمایشی رایگان آن استفاده کنید.