انسان از طریق اطلاعات حسی جهان را تجربه کرده و با آن در تعامل است. این می تواند به معنای یادگیری متناظر بین صدای جیر جیر پرندگان و کلمه "رابین" باشد، یا بتوانید به صورت بصری دوست خود "سارا" را در انبوهی از مردم شناسایی کرده و دنبال کنید. در بسیاری از موارد، افراد میتوانند از دانش نهفته «چند وجهی» خود استفاده کنند - اطلاعاتی در مورد انواع دادههای مختلف، از صدا گرفته تا ویدیو گرفته تا متن یا کلمه گفتاری - برای انجام این وظایف بدون مثالهای فراوان یا حتی گاهی اوقات.
مدلهای پایه چندوجهی هوش مصنوعی به طور فزایندهای قابلیتهایی را به دست میآورند که این را تقلید میکنند. با این حال، تسلط ظاهری چندوجهی آنها اغلب درک واقعی آنها را رد می کند. یک تیم آزمایشگاه تحقیقات محاسباتی MIT-IBM، به سرپرستی جیم گلس، دانشمند تحقیقاتی ارشد در آزمایشگاه علوم کامپیوتر و هوش مصنوعی MIT، در حال بررسی خرابیهای مهم مدلهای چندوجهی پیشرفته و توسعه معیارها و روشهای کارآمد داده برای غلبه بر این شکافهای عملکردی با نظارت محدود است. او در گفت و گوی زیر از این اثر می گوید.
س: اهداف شما برای این پروژه چه بود، و چرا ترجیح میدهید نقاط ضعف مدلهای هوش مصنوعی را نسبت به مقیاسبندی به مدلهای بزرگتر برطرف کنید؟
پاسخ: این پروژه سالهاست که تقریباً با همان تیم متخصص گفتار و بینایی MIT-IBM در حال انجام است. ما میخواستیم رابطه بین ادراک (چیزهایی که میبینید و میشنوید) و زبان را تا حد زیادی بررسی کنیم: ما همه این دانش و مهارتهای زبانی را که مبتنی بر متن هستند، در قالب یک مدل زبان بزرگ داریم، بنابراین میخواستیم بدانیم چگونه میتوانید آنها را بدون استفاده از یک دسته کامل از دادههای آموزشی مشروح به هم مرتبط کنید. گاهی اوقات مدلها پدیدههای خاصی را دیدهاند، بازنمایی نهفته از چیزی که در درون خود دارند، اما ممکن است به دلیل تنظیم دقیق بعدی یا چیزی دیگر، این پدیده ناپدید شود، بنابراین، توسعه تکنیکهایی برای تلاش برای ظهور مجدد این قابلیت چیز مفیدی است.
همانطور که این مدلهای در دسترس عموم را مطالعه میکنید، حتی در مدلهای بزرگ نیز میتوانید نقاط ضعف را مشاهده کنید، بنابراین فکر میکنم تلاش برای رفع این محدودیتها مهم است. اگر بودجه نامحدودی داشتید، میتوانید بیرون بروید و حاشیهنویسیهای مورد نیاز خود را ایجاد کنید، اما همچنین خوب است که بتوانید سعی کنید این مدلها را به تنهایی بیشتر بیاموزید. ما این کار را با ایجاد معیارهای جدیدی انجام دادهایم که بتوانیم آنها را ارزیابی کنیم، سپس تکنیکهایی را توسعه دادهایم که در این معیارها عملکرد بهتری داشته باشند و این مدلها را به تنهایی یاد بگیرند. در طول همکاری تحقیقاتی خود - و این همکاری بسیار قوی بین MIT و IBM بوده است - ما همچنان به انتشار معیارهای عمومی برای استفاده مردم ادامه داده ایم و این یک مصنوع ماندگار است.