Поліпшення розуміння мови за допомогою безконтрольного навчання

Ми отримали найсучасніші результати щодо набору різноманітних мовних завдань із масштабованою системою агностики завдань, яку ми також випускаємо. Наш підхід - це поєднання двох існуючих ідей: трансформаторів та попередньої підготовки без нагляду. Ці результати слугують переконливим прикладом того, що поєднання контрольованих методів навчання з неконтрольованою попередньою підготовкою працює дуже добре; це ідея, яку багато хто досліджував у минулому, і ми сподіваємось, що наш результат мотивує подальші дослідження щодо застосування цієї ідеї на більших та різноманітніших наборах даних.

Прочитайте код PaperView Завдання набору даних SOTA Наше
SNLI Текстове вкладання 89.3 89,9
MNLI Відповідні Текстове вкладання 80,6 82.1
MNLI Невідповідність Текстове вкладання 80.1 81.4
SciTail Текстове вкладання 83.3 88.3
QNLI Текстове вкладання 82.3 88.1
RTE Текстове вкладання 61.7 56,0
STS-B Семантична подібність 81,0 82,0
QQP Семантична подібність 66.1 70.3
MRPC Семантична подібність 86,0 82.3
ГОНКА Розуміння прочитаного 53.3 59,0
ROCStories Міркування здорового глузду 77,6 86,5
КОПА Міркування здорового глузду 71.2 78,6
SST-2 Аналіз настрою 93.2 91.3
CoLA Мовна прийнятність 35,0 45.4
КЛЕЙ Базовий орієнтир 68,9 72,8

Наша система працює у два етапи; спочатку ми тренуємо модель трансформатора на дуже великому обсязі даних без нагляду - з використанням мовного моделювання як навчального сигналу - потім ми тонко налаштовуємо цю модель на значно менші контрольовані набори даних, щоб допомогти їй вирішити конкретні завдання. Ми розробили цей підхід, слідуючи нашій роботі з нейронами настрою, в якій ми відзначили, що некеровані методи навчання можуть дати дивовижно дискримінаційні особливості, коли навчаються на достатній кількості даних. Тут ми хотіли додатково дослідити цю ідею: чи можемо ми розробити одну модель, навчити її без нагляду на великому обсязі даних, а потім відрегулювати модель, щоб досягти хорошої продуктивності у багатьох різних завданнях? Наші результати показують, що такий підхід працює напрочуд добре; одна і та ж основна модель може бути точно налаштована для дуже різних завдань з мінімальною адаптацією.

Ця робота ґрунтується на підході, впровадженому в Навчаному послідовному навчанні, який показав, як покращити ефективність класифікації документів, використовуючи попередню підготовку LSTM без нагляду з подальшим контрольованим налаштуванням. Він також розширює ULMFiT, дослідження, яке показує, як єдину мовну модель LSTM, що агностикує набір даних, можна точно відрегулювати, щоб отримати найсучасніші результати роботи з різними наборами даних класифікації документів; наша робота показує, як модель, заснована на трансформаторі, може бути використана в цьому підході для досягнення успіху в більш широкому діапазоні завдань, що перевищують класифікацію документів, таких як міркування здорового глузду, семантична подібність та розуміння читання. Це також схоже на, але більш агностичне завдання, ніж ELMo, яке включає попередню підготовку, але використовує архітектури, призначені для завдання, для отримання найсучасніших результатів із широкого набору завдань.

Для досягнення наших результатів було використано дуже мало налаштувань. Усі набори даних використовують єдину пряму мовну модель, без будь-яких ансамблювань, і більшість повідомлених результатів використовують точно такі ж налаштування гіперпараметра.

Результатом, який нас особливо хвилює, є результативність нашого підходу на трьох наборах даних - COPA, RACE і ROCStories - призначених для перевірки здорового глузду та розуміння читання. Наша модель отримує нові найсучасніші результати щодо цих наборів даних із широким відривом. Вважається, що для набору цих наборів даних потрібні міркування з кількома реченнями та значні світові знання, які дозволять припустити, що наша модель вдосконалює ці навички переважно за допомогою безконтрольного навчання. Це говорить про те, що є надія на розвиток можливостей складного розуміння мови за допомогою некерованих методів.

Чому навчання без нагляду?

Навчання під контролем є основою більшості останніх успіхів машинного навчання. Однак для створення наборів даних для належної роботи може знадобитися великий, ретельно очищений і дорогий. Навчання без нагляду приваблює своїм потенціалом усунути ці недоліки. Оскільки навчання без нагляду усуває вузьке місце явного маркування людей, воно також добре масштабується відповідно до сучасних тенденцій збільшення обчислень та доступності необроблених даних. Навчання без нагляду - це дуже активна область досліджень, але його практичне використання часто все ще обмежене.

Нещодавно відбувся поштовх до спроби вдосконалити мовні можливості, використовуючи безконтрольне навчання, щоб збільшити системи з великими обсягами немаркованих даних; подання слів, навчених за допомогою неконтрольованих методів, можуть використовувати великі масиви даних, що складаються з терабайт інформації, і, інтегруючись із контрольованим навчанням, покращують ефективність виконання широкого кола завдань НЛП. До недавнього часу в цих неконтрольованих техніках для НЛП (наприклад, GLoVe та word2vec) використовувались прості моделі (вектори слів) та навчальні сигнали (місцева спільна поява слів). Вектори пропуску думки - це помітна рання демонстрація потенційних поліпшень, які можуть реалізувати більш складні підходи. Але зараз використовуються нові методи, які ще більше підвищують ефективність. Сюди входить використання заздалегідь навчених моделей репрезентації речень, контекстуалізованих векторів слів (зокрема ELMo та CoVE) та підходів, які використовують власні архітектури, щоб поєднати попередню підготовку без нагляду з контрольованим точним налаштуванням, як наша власна.

навчання

Ми також помітили, що можемо використовувати базову мовну модель, щоб почати виконувати завдання, не тренуючись над ними. Наприклад, ефективність виконання таких завдань, як вибір правильної відповіді на питання з множинним вибором, постійно зростає у міру вдосконалення базової мовної моделі. Хоча абсолютна ефективність цих методів все ще досить низька в порівнянні з контрольованим ультрасучасним рівнем (для відповіді на запитання, яке все ще перевершує просту базову лінію з розсувним вікном), обнадійливо, що ця поведінка є надійною в широкому наборі завдань. Випадково ініціалізовані мережі, що не містять інформації про завдання та світ, працюють не краще, ніж випадкові, використовуючи ці евристики. Це дає деяке розуміння того, чому генеративна попередня підготовка може покращити ефективність виконання подальших завдань.

Ми також можемо використовувати існуючу мовну функціональність у моделі для проведення аналізу настроїв. Для набору даних Stanford Sentiment Treebank, який складається із речень з позитивних та негативних рецензій на фільми, ми можемо використовувати мовну модель, щоб здогадатися, чи є рецензія позитивною чи негативною, ввівши після речення слово "дуже" і побачивши, чи модель передбачає слово "позитивний" або "негативний" як більш вірогідний. Цей підхід, взагалі не пристосовуючи модель до завдання, виконується нарівні з класичними вихідними показниками

Наша робота також є підтвердженням надійності та корисності архітектури трансформатора, вказуючи на те, що вона є досить гнучкою для досягнення найсучасніших результатів у широкому діапазоні завдань, не вимагаючи складної настройки конкретного завдання чи налаштування гіперпараметрів.

Недоліки

Цей проект має кілька видатних питань, на які варто звернути увагу:

Майбутнє

  • Масштабування підходу: Ми спостерігали, що покращення продуктивності мовної моделі добре співвідноситься із покращенням подальших завдань. В даний час ми використовуємо товарне обладнання (одна машина на 8 графічних процесорів) та навчальний набір даних лише з декількох тисяч книг (

5 ГБ тексту). Це свідчить про те, що є значний простір для вдосконалення, використовуючи добре перевірений підхід більшої кількості обчислень та даних.

  • Покращена тонка настройка: Зараз наш підхід дуже простий. Цілком імовірно, що можна зробити істотні вдосконалення, використовуючи більш складні методи адаптації та передачі, такі як ті, що досліджуються в ULMFiT.
  • Краще розуміння того, чому допомагає генеративна попередня підготовка: Хоча ми вже обговорили деякі ідеї, до яких ми тут прихильні, більш цілеспрямовані експерименти та дослідження допоможуть розрізнити конкуруючі пояснення. Наприклад, скільки переваг, які ми спостерігаємо, зумовлені покращеною здатністю обробляти ширший контекст порівняно із вдосконаленими світовими знаннями?

    • Додаток: Приклади набору даних

    Дівчина повернула лист поштарці, бо:

    Обчислити

    Ми дедалі більше зацікавлені в розумінні взаємозв'язку між обчисленнями, які ми витрачаємо на навчальні моделі, і результатом, що виходить. Загальна кількість обчислень, використана для навчання цієї моделі, становила 0,96 петафлоп-дня (pfs-дні).