چکیده

فهم زبان‌های طبیعی کاربردهای گسترده ای دارد. برای نمونه می‌توان به استخراج اطلاعات و تولید جملات از متون (استلزام متنی)، پاسخ به سوالات، ارزیابی تشابه معنایی و دسته‌بندی اسناد اشاره کرد. اما چالش‌هایی در خصوص داده‌های برچسب‌دار در این حوزه، وجود دارد. داده‌های برچسب‌دار (برخلاف داده‌های بدون برچسب) بسیار کمیاب هستند و همین عامل یک چالش بزرگ برای آموزش مدل‌هایی است که به صورت خاص برای یک کاربرد طراحی شده‌اند. در سال 2018، OpenAI با معرفی GPT نشان داد که پیش آموزش مولد^[3] بر روی یک مدل زبانی، و سپس تنظیم دقیق آن به صورت جداگانه برای هر وظیفه، باعث بهبود فوق العاده‌ای در عملکرد مدل می‌شود. در این مقاله، نشان داده شده است که، با استفاده از تبدیل‌های آگاه به وظیفه^[4] در فرآیند تنظیم دقیق^[5] و تغییرات مدل، می‌توان عملکرد مدل‌های فهم زبان طبیعی را بهبود بخشید. این رویکرد با آموزش مدل‌ها به صورت جداگانه برای هر وظیفه، نسبت به مدل‌های قدیمی‌تر، عملکرد بهتری را به ارمغان می‌آورد. در ادامه جد قدیمی GPT3.5 را با توجه به مقاله‌ی اصلی که برای 2018 است توضیح می‌دهیم تا درک بهتری نسبت به مدل‌های فعلی پیدا کنیم.

مقدمه

در علم پردازش زبان‌های طبیعی، یادگیری موثر از متن‌های خام به منظور کاهش وابستگی به یادگیری نظارتی ضروری است. بیشتر رویکردهای مبتنی بر یادگیری عمیق به حجم انبوهی از داده‌های برچسب‌گذاری شده برای آموزش شبکه عصبی خود نیاز دارند. همین دلیل، استفاده از این مدل‌ها در مواقعی که کمبود داده‌های برچسب‌گذاری شده وجود دارد، محدود می‌شود. در چنین موقعیت‌هایی، مدل‌هایی که توانایی استخراج اطلاعات زبانی را از داده‌ی خام دارند، جایگزین بسیار ارزشمندی برای عملیات پرهزینه و وقت‌گیر برچسب‌گذاری هستند. علاوه بر این، حتی در مواردی که داده‌های نظارتی قابل توجهی در دسترس هستند، یادگیری بازنمایی‌^[6]های خوب به شیوه‌ای بدون نظارت می‌تواند به طرز قابل توجهی عملکرد مدل را بهبود بخشد. بهترین شاهد برای این موضوع استفاده گسترده از تعبیه‌های از پیش آموزش‌دیده کلمات است. این تعبیه‌ها می‌توانند عملکرد در یک طیف وسیع از کاربردهای پردازش زبان طبیعی را بهتر کنند. در عین حال، به کاربردن اطلاعات استخراج شده از داده‌های بدون برچسب، در سطحی فراتر از سطح کلمات، دو دلیل چالش برانگیز دارد. چالش اول این است که هنوز مشخص نیست که کدام نوع بهینه‌سازی در یادگیری بازنمایی‌های متنی برای انتقال بین وظایف، مؤثرتر است. تحقیقات بسیاری تا قبل از این، به معیارهای بهینه‌سازی مختلف در زمینه یادگیری بازنمایی متنی اختصاص یافته است. این تحقیقات، مدل‌سازی زبان، ترجمه ماشینی و انسجام گفتمان^[8] را پوشش می‌دهد. نتایج این تحقیقات نشان می‌دهد که هر روش، در وظایف مختلف، از روش‌های دیگر بهتر عمل می‌کند. این به این معنی است که هیچ یک از معیارها به طور قطعی بهترین روش را در همه وظایف فراهم نمی‌کند و بسته به نیازها و محدودیت‌های مربوطه، انتخاب روش مناسب صورت می‌گیرد. چالش دوم هم این است که هنوز اتفاق نظر مشخصی در مورد روش موثرتر برای انتقال این بازنمایی‌های آموخته شده به وظیفه هدف وجود ندارد. تکنیک‌های موجود شامل ترکیبی از ایجاد تغییرات در معماری مدل برحسب کاربرد، استفاده از طرح‌های پیچیده یادگیری و همچنین افزودن اهداف یادگیری کمکی است.

GPT یک رویکرد نیمه نظارتی را برای درک زبان ارائه داد که از ترکیب پیش‌آموزش بدون نظارت و تنظیم دقیق نظارتی استفاده می‌کرد. هدف مدل یادگیری یک بازنمایی جهانی و سراسری است که با اندکی تغییر میان طیف وسیعی از وظایف مشترک است. این فرض وجود دارد که مجموعه‌ی بزرگی از متن‌های بدون برچسب و چندین مجموعه داده با نمونه‌های آموزشی برچسب‌گذاری شده‌ی دستی (وظایف هدف) در دسترس می‌باشد. نیاز نیست که این وظایف هدف با مجموعه‌ی بدون برچسب درباره‌ی یک حوزه باشند. GPT از یک روش آموزشی دو مرحله‌ای استفاده کرد. ابتدا یک معیار مدل‌سازی زبان را بر روی داده‌های بدون برچسب به کار برد تا پارامترهای اولیه یک مدل شبکه عصبی را آموزش دهد. سپس این پارامترها با استفاده از معیار نظارتی مربوط به وظیفه هدف، با آن وظیفه تطبیق داده‌شد.

معماری مدل GPT بر پایه ترنسفورمر^[10] بنا شده است که در کارهای مختلفی مانند ترجمه ماشینی، تولید سند و تجزیه نحوی^[11] عملکردی قوی دارد. این انتخاب مدل، حافظه منسجم‌تری برای مدیریت وابستگی‌های طولانی ‌مدت در متن، در مقایسه با روش‌های دیگر مانند شبکه‌های بازگشتی^[12] دارد و قادر به پیش‌بینی و استدلال بهتر در میان وظایف مختلف می‌باشد. ترنسفورمر باعث می‌شود که عملکرد مدل در انتقال دانش و اطلاعات بین وظایف مختلف بهبود یابد. ترنسفورمر هنگام انتقال (ترجمه یا تحلیل) داده‌ها، برای هر وظیفه مشخص ورودی‌های خاصی استفاده می‌کند. این ورودی‌ها بر اساس رویکردهای سبک پیمایش^[13]، تعیین می‌گردد^[14]. به این ترتیب، الگوریتم ترنسفورمر قادر است با توجه به وظیفه‌ی مورد نظر، ورودی‌ها را به صورت مناسب و تخصصی اعمال کند و متن ورودی به‌عنوان یک دنباله پیوسته از توکن‌ها^[15] پردازش ‌شود. همانطور که در ادامه در آزمایش‌ها نشان داده می‌شود، این شیوه می‌تواند با حداقل تغییرات در معماری مدل پیش‌آموزش‌دیده، به‌طور مؤثر آن را برای انجام وظایف گوناگون تنظیم کند.

مدل GPT در چهار وظیفه درک زبان یعنی استنتاج زبان طبیعی^[16]، پرسش و پاسخ^[17]، شباهت معنایی^[18] و دسته بندی متن^[19] ارزیابی شد که بهتر از مدل‌های پیشین خود عمل می‌کرد. البته فراموش نکنیم که در همین سال مدل برت هم از گوگل معرفی شد و در یک پست دیگر راجع‌به آن صحبت می‌کنیم.

کارهای انجام شده‌ی قبل GPT

یادگیری نیمه نظارتی در NLP: GPT یک شیوه یادگیری نیمه نظارتی برای یادگیری در زبان‌های طبیعی به شمار می‌رود. یادگیری نیمه نظارتی در کاربردهایی مثل برچسب‌گذاری دنباله‌ها و یا دسته‌بندی متون، توجه زیادی را به خودش جلب کرد. اولین رویکردها در این حوزه، داده‌های بدون برچسب را برای محاسبه آماری در سطح کلمه و یا عبارت به کار می‌بردند. سپس از ویژگی‌های استخراج شده در یک مدل نظارتی استفاده می‌کردند. در چند سال گذشته، پژوهشگران نشان دادند که استفاده از تعبیه‌های کلمه می‌تواند بهبود قابل توجهی در عملکرد طیف وسیعی از وظایف داشته باشد، حتی بر روی داده‌های بدون برچسب که برای آموزش استفاده می‌شوند. با این حال، این رویکردها عمدتاً اطلاعات سطح کلمه را منتقل می‌کنند و هدف ما استخراج معنای سطوح بالاتر است. در سال‌های اخیر، استفاده از تعبیه‌های سطح عبارت یا جمله رواج یافته است. این تعبیه‌ها می‌توانند با استفاده از پیکره‌های بدون برچسب آموزش دیده شوند و مناسب برای کدگذاری متن در بازنمایی‌های برداری مختلف در وظایف متنوعی هستند.

پیش آموزش بدون نظارت: یک روش خاص از یادگیری نیمه‌نظارتی، پیش‌آموزش بدون نظارت نام دارد. در یادگیری با نظارت، هدف اصلی ما این است که با داشتن داده‌های برچسب‌دار و هدفی مشخص، مدل را بهبود ببخشیم. اما در پیش‌آموزش بدون نظارت، هدف ما متفاوت است. به جای تلاش برای بهبود مدل با داده‌های برچسب‌دار، قصد داریم با ارائه داده‌های بدون برچسب، مدل درک بهتری از ساختار و الگوهای داده‌ها به دست آورد. یعنی مدل، با استفاده از داده‌های بدون برچسب، یک نقطه اولیه یا یک شروع موثر برای فرآیند یادگیری پیدا می‌کند. این نقطه اولیه می‌تواند مبنای خوبی برای ادامه یادگیری با داده‌های برچسب‌دار باشد و منجر به عملکرد بهتر مدل در وظایف مختلف شود. رویکردهای اولیه، از این تکنیک در دسته‌بندی تصاویر و رگرسیون استفاده کردند. تحقیقات بعدی نشان داد که پیش‌آموزش امکان تعمیم بهتر در شبکه های عصبی عمیق را فراهم می‌کند. به این گونه مدل‌، مدل‌های پیش‌آموزش‌دیده^[20] می‌گویند.

در روش‌های مدل‌های پیش‌آموزش‌دیده ، اطلاعات زبانی در مرحله پیش آموزش جمع‌آوری شده است، اما استفاده از شبکه حافظه طولانی کوتاه مدت^[21] توسط آنها منجر به محدود شدن دامنه پیش‌بینی به بازه کوتاهی می‌شود. در مقابل، انتخاب شبکه‌های ترنسفورمر اجازه می‌دهد تا ساختار زبانی با برد بلندتری ثبت بشوند.

یک رویکرد دیگر این است که از بازنمایی‌های پنهان به دست آمده از یک مدل پیش‌آموزش‌دیده به عنوان ویژگی‌های کمکی استفاده می‌کنند و یک مدل نظارتی را بر روی وظیفه هدف آموزش می‌دهند. این شیوه شامل مقدار قابل توجهی از پارامترهای جدید برای هر وظیفه هدف جداگانه است، در حالی که به حداقل تغییرات در معماری مدل خود در طول انتقال بین وظایف نیاز داریم.

چارچوب مدل GPT

روند آموزشی GPT شامل دو مرحله است. مرحله اول یادگیری یک مدل زبانی با ظرفیت بالا روی مجموعه بزرگی از متون است. سپس عملیات تنظیم دقیق اعمال می شود که در آن پارامترهای مدل توسط داده‌های برچسب‌گذاری شده با یک وظیفه خاص تطبیق می‌یابند. در ادامه هر یک از این مراحل را همراه با جزئیات شرح می دهیم.

پیش‌آموزش غیرنظارتی

فرض کنید مجموعه‌ای از توکن‌های غیرنظارتی وجود دارد. می‌خواهیم احتمال توکن موردنظر برای بهینه‌سازی مدل حداکثر شود و از فرمول زیر استفاده می‌کنیم:

که در آن اندازه پنجره متن است و توزیع احتمال شرطی از روی شبکه عصبی با پارامترهای به دست می‌آید. این پارامترها با به کارگیری شیوه کاهش گرادیان تصادفی^[22] به دست می‌آیند.

GPT، از یک کدگشای ترنسفورمر چند لایه^[23] برای مدل کردن استفاده می‌کند که یک عملیات خودتوجهی^[24] چند سر^[25] را بر روی توکن‌های زمینه ورودی اعمال می‌کند و به دنبال آن لایه‌های روبه جلو^[26] و آگاه به موقعیت را برای تولید یک توزیع خروجی روی توکن‌های هدف قرار می دهد (اگر با معماری ترنسفورمر آشنایی ندارید حتما به پست ترنسفورمر رجوع کنید):

که در آن بردار زمینه‌ی توکن‌ها، تعداد لایه‌ها، ماتریس تعبیه‌های توکن‌ها و ماتریس تعبیه‌های مکانی است.

تنظیم دقیق نظارتی

بعد از آموزش مدل با معیار قسمت قبل، پارامترها را با هدف نظارتی مرتبط با وظیفه تطبیق می دهیم. فرض می‌کنیم مجموعه داده برچسب دار را در اختیار داریم که شامل نمونه‌های متشکل از دنباله‌ای از توکن‌های ورودی به همراه برچسب می‌باشد. این ورودی‌ها از مدل پیش آموزش دیده گذر می‌کنند تا مقادیر نهایی حاصل از شبکه ترنسفورمر به دست آیند. سپس، این مقادیر وارد یک لایه خروجی خطی با پارامترهای می شوند تا مقدار پیش بینی شود:

در نتیجه، معیار زیر باید بیشینه شود:

این مقاله نشان می‌دهد مدل کردن زبان به وسیله معیارهای کمکی برای تنظیم دقیق پارامترها، به یادگیری کمک می‌کند تا هم عمومیت مدل نظارتی بیشتر شود و هم همگرایی سرعت گیرد. در نهایت ما باید معیار زیر را با در نظر گرفتن وزن بهینه کنیم:

=

تنها پارامترهای اضافه شده برای تنظیم دقیق، مقادیر و تعبیه‌های توکن‌های جداکننده می‌باشند که در قسمت بعد توضیح داده می‌شوند.

انتقال‌های ورودی ویژه هر وظیفه

برای برخی کارها، مانند دسته‌بندی متن، می‌توانیم مستقیماً مدل خود را همان طور که در بالا توضیح داده‌شد، تنظیم کنیم. برخی وظایف دیگر، مانند پاسخگویی به سؤالات و یا استلزام متنی، دارای ورودی‌های ساختاریافته مانند جفت جملات، و یا پرسش و پاسخ هستند. از آنجایی که مدل از پیش آموزش‌دیده بر روی دنباله‌های متنی به هم پیوسته آموزش داده شده‌است، برای اعمال آن به وظایف فوق نیاز به تغییراتی داریم. کارهای پیشین پیشنهاد می‌کردند که معماری‌های جدیدی به طور خاص برای هر وظیفه به مدل اضافه شود، که این امر نیازمند اضافه شدن حجم انبوهی از عملیات ویرایش برای هر وظیفه است، و عملا از یادگیری انتقالی میان اجزای اضافه شده به معماری مدل استفاده ای نمی‌شود.

در مقابل، این مقاله از یک رویکرد به سبک پیمایش [8] استفاده کرده است که ورودی‌های ساخت‌یافته را به دنباله‌ای مرتب تبدیل می‌کند که مدل از پیش آموزش‌دیده بتواند آن را پردازش کند. این تبدیل‌های ورودی این امکان را می‌دهند که نیازمند ایجاد تغییرات گسترده در معماری مدل برای انجام وظایف گوناگون نباشیم.

در ادامه به طور خلاصه این رویکرد را با توجه به شکل 1 توضیح می دهیم. همه تبدیل‌ها شامل اضافه کردن توکن های شروع و پایان به طور تصادفی می باشند.

استلزام متنی: در این حالت، دنباله توکن‌های فرضیه ورودی^[30] () و فرضیه خروجی () به وسیله توکن جداکننده به هم متصل می‌شوند.

شباهت: در این حالت، هیچ ترتیب ذاتی برای دو جمله‌ای که مقایسه می‌شوند وجود ندارد. برای انعکاس این موضوع، دنباله ورودی را طوری تغییر پیدا می‌کند که شامل هر دو ترتیب جملات ممکن باشد (با یک جداکننده در میان آنها) و هر کدام را به‌طور مستقل پردازش می‌شوند. در نتیجه، دو نمایش دنباله‌ای تولید می‌گردند که قبل از وارد شدن به لایه خروجی خطی، عنصر به عنصر اضافه می‌شوند.

شکل 1: معماری مدل GPT(سمت چپ) و انتقالهای ورودی برای تنظیم دقیق مدل طبق وظایف مختلف (سمت راست). در مدل GPT، تمام ورودی‌های ساخت‌یافته به دنباله‌های توکن تبدیل می‌شوند تا با مدل از پیش آموزش‌دیده‌ پردازش شوند. به دنبال آن یک لایه خطی به همراه softmax قرار میگیرد.

پرسش و پاسخ: در این دو حالت، یک سند زمینه ای و یک پرسش و تعدادی پاسخ احتمالی وجود دارند. هر متن زمینه‌ای و پرسش به هر یک از پاسخ‌ها به همراه یک توکن جداکننده میان آن‌ها متصل می‌شوند تا دنباله به دست آید. هر دنباله به صورت مستقل توسط مدل بررسی می‌شود. سپس یک لایه softmax برای نرمال‌سازی و تولید توزیع احتمالی خروجی بر روی مجموعه پاسخ‌ها به کار می‌رود.

نتایج عملی

تنظیمات

پیش آموزش غیرنظارتی: از مجموعه داده BooksCorpus [9] برای آموزش مدل زبانی GPT استفاده شد. این مجموعه شامل بیش از 7000 کتاب منتشر نشده از ژانرهای مختلف از جمله ماجراجویی، فانتزی، و عاشقانه است. علاوه بر آن، این مجموعه شامل متن‌های پیوسته طولانی است، که به مدل مولد اجازه می‌دهد تا وظایف را بر اساس اطلاعات دوربرد یاد بگیرد. مجموعه داده مشابه دیگری به نام 1B Word Benchmark وجود دارد که در کارهای پیشین مورد استفاده قرار گرفته است. تعداد نمونه‌های این مجموعه مشابه مجموعه BooksCorpus است، اما این نمونه‌ها در سطح جمله ارائه شده‌اند که ساختار بلند مورد نیاز را تامین نمی‌کند.

تنظیم مدل: مدل GPT تقریبا از ساختار اصلی ترنسفورمر تبعیت می‌کند. این مدل شامل شبکه‌ی 12 لایه‌ای از دیکودرها به همراه سرهای خود-توجه است. از الگوریتم بهینه سازی آدام^[32] به همراه نرخ یادگیری افزایش یابنده خطی برای آموزش مدل در 100 دور استفاده شده و در هر دور تعداد 64 نمونه تصادفی پردازش می‌شوند. واژگان توسط روش کدگذاری جفت-بایت^[34](BPE) کدگذاری شده‌اند و تابع فعال‌سازی خطی خطای گاوسی^[35] را برای شبکه در نظر گرفته‌شده‌است. همچنین از کتابخانه ftfy برای استانداردسازی مجموعه داده و روش spaCy برای توکن‌گذاری استفاده شده‌است.

جزئیات تنظیم دقیق: در این قسمت از همان ابرپارامترهای تعریف شده برای قسمت پیش آموزش استفاده می شود. آموزش مدل در این مرحله با سرعت زیادی انجام می‌گیرد و سه دور آموزش برای آن کافی است.

تنظیم دقیق

مدل GPT آزمایش‌هایی را روی انواع وظایف نظارت شده از جمله استنتاج زبان طبیعی، پاسخ به سؤالات، تشخیص شباهت معنایی و دسته‌بندی متن انجام داد. برخی از این وظایف در مجموعه چند وظیفه‌ای GLUE که [5] موجود است. جدول 1 یک نمای کلی از تمام وظایف و مجموعه داده‌های مورد استفاده در آزمایشات را ارائه می ‌دهد.

استنتاج از زبان طبیعی: استنتاج زبان طبیعی^[39] که به عنوان استلزام متنی نیز شناخته می‌شود، شامل خواندن دو جمله و کشف رابطه بین آنها از میان حالات دلالت، تضاد و یا خنثی است. گرچه تحقیقات بسیار زیادی در این زمینه انجام شده است، اما به دلیل متعدد مانند دلالت، همبستگی و ابهام واژگانی، این زمینه همچنان چالش برانگیز است. جدول 2 نتایج آزمایش های انجام شده روی مدل را در مقایسه با کارهای پیشین نشان می‌دهد. مدل GPT در چهار مورد از پنج مجموعه مورد استفاده بهتر از دیگران عمل کرده‌است.

پرسش و پاسخ: این حالت، نیاز به استنتاج از یک یا چند جمله دارد. در مجموعه داده‌های انتخاب شده برای GPT، متن‎های طولانی به کار رفته‌است و مدل پیشنهادی نسبت به کارهای قبل خود به طور قابل توجهی عملکرد بهتری داشته است. نتایج در جدول 3 قابل مشاهده است.

شباهت معنایی: شباهت معنایی یا تشخیص بازنویسی به معنای پیش بینی آن است که دو جمله هم معنی هستند یا خیر. چالش های این موضوع در شناخت بازنویسی مفاهیم، درک نفی در جملات، و همچنین مدیریت ابهام نهفته در متن است. نتایج این وظیفه نیز در جدول 4 قابل مشاهده است.

دسته بندی متون: در این قسمت نیز یک دسته‌بندی روی دو مجموعه داده انجام می‌گیرد که دقت مدل پیشنهادی در هر دو نسبت به کارهای پیشین جهش بزرگی داشته‌است.

جدول 1: وظایف و مجموعه داده های مورد استفاده در آزمایش های تجربی

وظیفه	مجموعه داده های مورد استفاده
استنتاج زبان طبیعی	SNLI, MultiNLI, Question NLI, RTE, SciTail
پاسخ به سؤالات	RACE, Story Cloze
تشخیص شباهت معنایی	MSR Paraphrase Corpus, Quora Question Pairs, STS Benchmark
دسته‌بندی متن	Stanford Sentiment Treebank-2, CoLA

جدول 2: میزان دقت به دست آمده توسط مدل پیشنهادی و مدل های پیشین روی پنج مجموعه داده متعلق به وظیفه استنتاج از زبان طبیعی.

جدول 3: میزان دقت به دست آمده توسط مدل پیشنهادی و مدل های پیشین روی چهار مجموعه داده متعلق به وظیفه پرسش و پاسخ.

جدول 4: میزان دقت به دست آمده توسط مدل پیشنهادی و مدل های پیشین روی پنج مجموعه داده متعلق به وظایف تشخیص شباهت و دسته بندی متن.

در مجموع وظایف، مدل GPT در 9 مورد از 12 مجموعه داده با اندازه‌های متفاوت، عملکرد بهتری را نشان داد. این مجموعه‌ها از 5 هزار تا 550 هزار نمونه آموزشی را شامل می‌شوند.

تحلیل

در این بخش، تاثیر تعداد لایه‌های قسمت پیش آموزش که پارامترهای آموزش دیده آنها به قسمت وظایف هدف انتقال می‌یابد، بررسی می‌شود. شکل 2 (سمت چپ) عملکرد مدل را در دو مجموعه داده MultiNLI و RACE به عنوان تابعی از تعداد لایه‌های منتقل شده نشان می‌دهد. با توجه به این نمودار، می توان نتیجه گرفت انتقال تعبیه‌ها عملکرد را برای حل وظایف هدف بهبود می‌بخشد. در نتیجه، هر لایه از مدل پیش آموزش یافته دربردارنده اطلاعات مفیدی برای کمک به حل مسائل هدف است.

رفتار مدل بدون تنظیم دقیق(استفاده از مدل برای تعبیه): در این قسمت برای بررسی بیشتر دلیل اهمیت پیش آموزش آزمایش‌های بیشتری نشان داده می‌شود. فرضیه این است که مدل مولد، زیربنایی یاد می‌گیرد که بسیاری از وظایف را می‌تواند انجام دهد، و اینکه حافظه ساختار یافته‌تر مبتنی بر توجه در ترنسفورمر در مقایسه با حافظه بلند کوتاه مدت(LSTM) به انتقال کمک می‌کند.

شکل 2 (راست) ارزیابی مدل GPT در مقایسه با مدل بدون پیش آموزش نشان داده شده‌است. این موضوع نشان می‌دهد که پیش‌آموزش مولد باعث بهبود یادگیری در طیف گسترده‌ای از وظایف می‌شود. همچنین مشاهده می‌کنیم که LSTM واریانس بالاتری در عملکرد خود نشان می‌دهد.

شکل 2: تاثیر تعداد لایه های انتقال یافته از مدل پیش آموزش یافته به شبکه هدف در دو مجموعه داده مجزا (سمت چپ) و تاثیر عملکرد مدل روی وظایف متنوع، به عنوان تابعی از تعداد دفعات بروزرسانی پیش آموزش مدل (سمت راست). عملکرد برای هر وظیفه با میانگین یک حدس اولیه تصادفی و یک مدل بدون پیش آموزش نرمال سازی شده است.

در مجموعه داده CoLA به منظور سنجش مقبولیت زبانی، نمونه‌ها با معیار میانگین لگاریتم احتمال توکنی که مدل مولد تخصیص می‎دهد، امتیازدهی می‌شوند و تخمین نهایی بر اساس آستانه‌گذاری روی امتیازات انجام می‌پذیرد. در مجموعه داده SST-2 به منظور تحلیل نحوی، توکن‌ها به هر نمونه چسبانده می‌شوند و توزیع خروجی مدل تنها به دو حالت مثبت و منفی محدود می‌شود. در مجموعه داده RACE با هدف پاسخ دادن به سوالات، پاسخی توسط مدل انتخاب می‌شود که بالاترین میانگین لگاریتم احتمال را با توجه به متن و سوال داشته باشد. در مجموعه داده DPRD، هر ضمیر با دو مرجع ممکن جایگزین می‌گردد. سپس، مرجعی انتخاب می‌شود که پس از جایگذاری، میانگین لگاریتم احتمال بیشتری را با توجه به بقیه جمله توسط مدل کسب کند.

تحلیل مدل با حذف برخی مولفه ها: جدول 5 عملکرد مدل را در مقایسه با سه حالت دیگر نشان می‌دهد. در حالت اول، مدل مستقیماً بر روی وظایف هدف نظارتی آموزش می بیند و پیش آموزش انجام نمی شود. مشاهده می‌کنیم که حذف پیش‌آموزش به عملکرد در تمامی وظایف آسیب می‌زند و عملکرد در مقایسه با مدل کامل، 14.8 درصد کاهش می‌یابد. حالت دوم، به کار نبردن مدل خطی کمکی هنگام تنظیم دقیق است. مشاهده می‌شود که عملکرد روی مجموعه داده های بزرگ در این حالت بهبود می‌یابد. حالت سوم، جایگزین کردن ترنسفورمر با یک لایه حافظه طولانی کوتاه مدت دارای 2048 واحد است. مشاهده می‌شود که پس از این جایگزینی، میانگین امتیاز کسب شده 5.6 واحد کاهش می یابد و عملکرد تنها در یک مجموعه داده بهبود می یابد.

جدول 5: تحلیل مدل روی مجموعه داده های مختلف پس از حذف برخی مولفه های آن. در این جدول، mc مخفف همبستگی Mathews، acc مخفف دقت، و pc مخفف هبستگی Pearson است.

نتیجه گیری

در این مقاله، برای دستیابی به یک درک قوی از زبان طبیعی، یک مدل مبتنی بر پیش آموزش مولد و تنظیم دقیق یا همان GPT ارائه شد که آن را توضیح دادیم . مدل با پیش‌آموزش بر روی مجموعه‌ای متنوع از متن‌های طولانی به هم پیوسته، توانایی قابل‌توجهی برای پردازش وابستگی‌های دوربرد به دست می‌آورد. GPT با موفقیت به انجام وظایف متمایز مانند پاسخ‌گویی به سؤالات، ارزیابی شباهت معنایی، استلزام متنی، و دسته بندی متون می‌پردازد و قادر است در 9 مورد از 12 مجموعه داده مورد مطالعه عملکرد را بهبود بخشد. GPT نشان داد که با این رویکرد، دستیابی به عملکردی قابل توجه واقعاً امکان‌پذیر است، و نکاتی را ارائه می‌کند که مدل‌ها و مجموعه‌های داده (متن هایی با وابستگی‌های دوربرد) با تبعیت از آنها، بهترین کارکرد را خواهند داشت. در حال حاضر GPT1 دیگر استفاده نمی‌شود و مدل‌های پیشرفته‌تری از GPT ارائه شده که در آینده به آن‌ها خواهیم پرداخت.

مراجع

[1] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, Ł. Kaiser, and I. Polosukhin.
Attention is all you need. In Advances in Neural Information Processing Systems, pages 6000–6010, 2017.

[2] N. Mostafazadeh, M. Roth, A. Louis, N. Chambers, and J. Allen. Lsdsem 2017 shared task: The story cloze
test. In Proceedings of the 2nd Workshop on Linking Models of Lexical, Sentential and Discourse-level
Semantics, pages 46–51, 2017.

[3] G. Lai, Q. Xie, H. Liu, Y. Yang, and E. Hovy. Race: Large-scale reading comprehension dataset from
examinations. EMNLP, 2017.

[4] A. Williams, N. Nangia, and S. R. Bowman. A broad-coverage challenge corpus for sentence understanding
through inference. NAACL, 2018.

[5] A. Wang, A. Singh, J. Michael, F. Hill, O. Levy, and S. R. Bowman. Glue: A multi-task benchmark and
analysis platform for natural language understanding. arXiv preprint arXiv:1804.07461, 2018.

[6] A. M. Dai and Q. V. Le. Semi-supervised sequence learning. In Advances in Neural Information Processing
Systems, pages 3079–3087, 2015.

[7] J. Howard and S. Ruder. Universal language model fine-tuning for text classification. Association for
Computational Linguistics (ACL), 2018.

[8] T. Rocktäschel, E. Grefenstette, K. M. Hermann, T. Kocisk ˇ y, and P. Blunsom. Reasoning about entailment `
with neural attention. arXiv preprint arXiv:1509.06664, 2015.

[9] Y. Zhu, R. Kiros, R. Zemel, R. Salakhutdinov, R. Urtasun, A. Torralba, and S. Fidler. Aligning books and
movies: Towards story-like visual explanations by watching movies and reading books. In Proceedings of
the IEEE international conference on computer vision, pages 19–27, 2015.