Перегляд вихідного коду сторінки Модель мови

{{short description|Статистична модель структури мови}}
Статистична '''моде́ль мо́ви''' ({{lang-en|language model}})&nbsp;— це [[розподіл імовірності]] над послідовностями слів. Заданій такій послідовності, скажімо, довжини {{mvar|m}}, вона призначує ймовірність <math>P(w_1,\ldots,w_m)</math> усієї цієї послідовності.

Модель мови забезпечує [[контекст]] для розрізнювання слів та фраз, які звучать схоже. Наприклад, в [[Американська англійська|американській англійській]] фрази «''recognize speech''» (розпізнавати мовлення) та «''wreck a nice beach''» (вбити гарний пляж) звучать схоже, але означають різні речі.

У побудові моделей мов основною проблемою є розрідженість даних. Більшість можливих послідовностей слів під час тренування не спостерігаються. Одним з розв'язків цієї проблеми є припустити, що ймовірність слова залежить лише від попередніх ''n'' слів. Це є відомим як [[N-грам|''n''-грамна]] модель, або уніграмна модель, коли ''n''&nbsp;=&nbsp;1. Уніграмна модель є також відомою як [[модель «торба слів»]].

Оцінювання [[Відносна правдоподібність|відносної правдоподібності]] різних фраз є корисним у багатьох застосуваннях [[Обробка природної мови|обробки природної мови]], особливо в тих, що породжують текст як вихід. Моделювання мов використовують у [[Розпізнавання мовлення|розпізнаванні мовлення]],<ref>Kuhn, Roland, and Renato De Mori. "[https://www.researchgate.net/profile/Roland_Kuhn2/publication/3191800_Cache-based_natural_language_model_for_speech_recognition/links/004635184ee5b2c24f000000.pdf A cache-based natural language model for speech recognition]." IEEE transactions on pattern analysis and machine intelligence 12.6 (1990): 570-583. {{ref-en}}</ref> [[Машинний переклад|машиннім перекладі]],<ref name="Semantic parsing as machine translation"/> [[Розмічування частин мови|розмічуванні частин мови]], [[Синтаксичний аналіз|синтаксичнім аналізі]],<ref name="Semantic parsing as machine translation">Andreas, Jacob, Andreas Vlachos, and Stephen Clark. "[https://www.aclweb.org/anthology/P13-2009 Semantic parsing as machine translation] {{Webarchive|url=https://web.archive.org/web/20200815080932/https://www.aclweb.org/anthology/P13-2009/ |date=15 серпня 2020 }}." Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers). 2013. {{ref-en}}</ref> [[Оптичне розпізнавання символів|оптичнім розпізнаванні символів]], [[Розпізнавання рукописного введення|розпізнаванні рукописного введення]],<ref>Pham, Vu, et al. "[https://arxiv.org/abs/1312.4569 Dropout improves recurrent neural networks for handwriting recognition] {{Webarchive|url=https://web.archive.org/web/20201111170554/https://arxiv.org/abs/1312.4569 |date=11 листопада 2020 }}." 2014 14th International Conference on Frontiers in Handwriting Recognition. IEEE, 2014. {{ref-en}}</ref> [[Інформаційний пошук|інформаційнім пошуку]] та інших застосуваннях.

У розпізнаванні мовлення звуки зіставляють з послідовностями слів. Неоднозначності розв'язувати легше, коли свідчення від моделі мови поєднують з моделлю вимови та {{нп|Акустична модель|акустичною моделлю||Acoustic model}}.

Моделі мови використовують в інформаційнім пошуку в {{нп|Модель правдоподібності запитів|моделі правдоподібності запитів||Query likelihood model}}. Там окрему модель мови пов'язують з кожним [[документ]]ом сукупності. Документи ранжують на основі ймовірності запиту ''Q'' в моделі мови документа <math>M_d</math>: <math>P(Q\mid M_d)</math>. Для цього зазвичай використовують [[уніграм]]ну модель.

== Типи моделей ==

=== Уніграмна ===

Уніграмну модель ({{lang-en|unigram model}}) можливо розглядати як комбінацію декількох одностанових [[Скінченний автомат|скінченних автоматів]]<ref>Christopher D. Manning, Prabhakar Raghavan, Hinrich Schütze: An Introduction to Information Retrieval, pages 237–240. Cambridge University Press, 2009 {{ref-en}}</ref>. Вона розділює ймовірності різних лексем ({{lang-en|term}}) у контексті, наприклад, з

: <math>P(t_1t_2t_3)=P(t_1)P(t_2\mid t_1)P(t_3\mid t_1t_2)</math>

до

: <math>P_\text{uni}(t_1t_2t_3)=P(t_1)P(t_2)P(t_3).</math>

У цій моделі ймовірність кожного зі слів залежить лише від ймовірності цього слова в документі, тож як вузли ми маємо лише одностановий скінченний автомат. Сам цей автомат має розподіл імовірності над усім словником цієї моделі, що підсумовується до 1. Далі наведено ілюстрацію уніграмної моделі документа.

{| class="wikitable"
|-
! Лексеми !! Ймовірність у документі
|-
| ''a'' || 0.1
|-
| ''world'' || 0.2
|-
| ''likes'' || 0.05
|-
| ''we'' || 0.05
|-
| ''share'' || 0.3
|-
| … || …
|}

: <math>\sum_{\text{term in doc}} P(\text{term}) = 1</math>

Ймовірність, яку формують для конкретного запиту ({{lang-en|query}}), обчислюють як

: <math>P(\text{query}) = \prod_{\text{term in query}} P(\text{term})</math>

Різні документи мають уніграмні моделі з різними ймовірностями влучання для слів у них. Розподіли ймовірностей з різних документів використовують для формування ймовірностей влучання для кожного запиту. Документи може бути ранжовано для запиту відповідно до цих імовірностей. Приклад уніграмних моделей двох документів:

{| class="wikitable"
|-
! Лексеми !! Ймовірність у документі 1 !! Ймовірність у документі 2
|-
| ''a'' || 0.1 || 0.3
|-
| ''world'' || 0.2 || 0.1
|-
| ''likes'' || 0.05 || 0.03
|-
| ''we'' || 0.05 || 0.02
|-
| ''share'' || 0.3 || 0.2
|-
| … || … || …
|}

У контексті інформаційного пошуку уніграмні моделі мови часто згладжують, щоби уникати випадків, коли ''P''(лексема)&nbsp;=&nbsp;0. Одним з поширених підходів є формувати модель максимальної правдоподібності для всієї сукупності, й [[Лінійна інтерполяція|лінійно інтерполювати]] цю модель сукупності з моделлю максимальної правдоподібності для кожного з документів, щоби згладити її<ref>Buttcher, Clarke, and Cormack. Information Retrieval: Implementing and Evaluating Search Engines. pg. 289–291. MIT Press. {{ref-en}}</ref>.

=== ''n''-грамна ===
{{Main|n-грам}}

У ''n''-грамній моделі ({{lang-en|n-gram model}}) ймовірність <math>P(w_1,\ldots,w_m)</math> спостерігання речення <math>w_1,\ldots,w_m</math> наближують як

: <math>P(w_1,\ldots,w_m) = \prod^m_{i=1} P(w_i\mid w_1,\ldots,w_{i-1})\approx \prod^m_{i=1} P(w_i\mid w_{i-(n-1)},\ldots,w_{i-1})</math>

Виходять з того, що ймовірність спостерігання ''i''-того слова ''w<sub>i</sub>'' в контексті історії попередніх ''i''&nbsp;&minus;&nbsp;1 слів може бути наближено ймовірністю спостерігання його у скороченій історії контексту з попередніх ''n''&nbsp;−&nbsp;1 слів ([[марковська властивість]] ''n''-того порядку).

Цю умовну ймовірність можливо обчислювати з частотних кількостей ''n''-грамної моделі:

: <math>P(w_i\mid w_{i-(n-1)},\ldots,w_{i-1}) = \frac{\mathrm{count}(w_{i-(n-1)},\ldots,w_{i-1},w_i)}{\mathrm{count}(w_{i-(n-1)},\ldots,w_{i-1})}</math>

Терміни '''бігра́мна''' ({{lang-en|bigram}}) та '''тригра́мна''' ({{lang-en|trigram}}) мовні моделі позначують ''n''-грамні моделі з ''n''&nbsp;=&nbsp;2 та ''n''&nbsp;=&nbsp;3 відповідно<ref>Craig Trim, [http://trimc-nlp.blogspot.com/2013/04/language-modeling.html ''What is Language Modeling?''] {{Webarchive|url=https://web.archive.org/web/20201205054905/http://trimc-nlp.blogspot.com/2013/04/language-modeling.html |date=5 грудня 2020 }}, April 26th, 2013. {{ref-en}}</ref>.

Як правило, ймовірності ''n''-грамних моделей не виводять із частотних кількостей напряму, оскільки моделі, що виводять таким чином, мають серйозні проблеми, коли вони стикаються з будь-якими не баченими раніше явно ''n''-грамами. Натомість необхідним є згладжування якогось вигляду, що призначує якусь частину загальної маси ймовірності небаченим словам або ''n''-грамам. Використовують різні методи, від згладжування «плюс один» (призначування небаченим ''n''-грамам кількості 1, як [[Неінформативне апріорне|неінформативного апріорного]]), і до витонченіших моделей, таких як {{нп|дисконтування Ґуда — Тюрігна|||Good-Turing discounting}} та {{нп|Модель відступання Каца|моделі відступання||Katz's back-off model}}.

==== Двоспрямована ====

Двоспрямовані представлення ({{lang-en|bidirectional representations}}) обумовлюються як попереднім, так і наступним контекстом (наприклад, словами) в усіх шарах<ref name=":0" />.

==== Приклад ====

У біграмній (''n''&nbsp;=&nbsp;2) моделі мови ймовірність речення «''I saw the red house''» наближують як

: <math>P(\text{I, saw, the, red, house}) \approx P(\text{I}\mid\langle s\rangle) P(\text{saw}\mid \text{I}) P(\text{the}\mid\text{saw}) P(\text{red}\mid\text{the}) P(\text{house}\mid\text{red}) P(\langle /s\rangle\mid \text{house})</math>

тоді як у триграмній (''n''&nbsp;=&nbsp;3) моделі мови цим наближенням є

: <math>P(\text{I, saw, the, red, house}) \approx P(\text{I}\mid \langle s\rangle,\langle s\rangle) P(\text{saw}\mid\langle s\rangle,I) P(\text{the}\mid\text{I, saw}) P(\text{red}\mid\text{saw, the}) P(\text{house}\mid\text{the, red}) P(\langle /s\rangle\mid\text{red, house})</math>

Зауважте, що контекст перших ''n''&nbsp;–&nbsp;1 ''n''-грамів заповнено маркерами початку речення, які зазвичай позначують через <nowiki><</nowiki>''s''<nowiki>></nowiki>.

Крім того, без маркера кінця речення ймовірність неграматичної послідовності «''*I saw the''» буде завжди вищою за ймовірність довшого речення «''I saw the red house''».

=== Експоненційна ===

{{нп|Принцип максимуму ентропії|Максимально-ентропійні||Principle of maximum entropy}} моделі мови ({{lang-en|maximum entropy language models}}) кодують взаємозв'язок між словом та ''n''-грамною історією із застосуванням функцій ознак. Цим рівнянням є

: <math> P(w_m | w_1,\ldots,w_{m-1}) = \frac{1}{Z(w_1,\ldots,w_{m-1})} \exp (a^T f(w_1,\ldots,w_m))</math>,

де <math>Z(w_1,\ldots,w_{m-1})</math> є {{нп|Статистична сума (математика)|статистичною сумою||Partition function (mathematics)}}, <math>a</math> є вектором параметрів, а <math>f(w_1,\ldots,w_m)</math> є функцією ознак. У найпростішому випадку функція ознак є просто індикатором наявності певного ''n''-граму. Корисно використовувати апріорне на <math>a</math>, або регуляризацію якогось вигляду.

Іншим прикладом експоненційної моделі мови є логарифмічно-білінійна модель.

=== Нейромережна ===

Нейромережні моделі мов ({{lang-en|neural language models}}, або неперервно-просторові моделі мови, {{lang-en|continuous space language models}}) щоби робити свої передбачування використовують неперервні представлення або [[вкладення слів]]<ref>{{cite web |last1=Karpathy |first1=Andrej |title=The Unreasonable Effectiveness of Recurrent Neural Networks |url=https://karpathy.github.io/2015/05/21/rnn-effectiveness/ |accessdate=1 листопада 2020 |archive-date=1 листопада 2020 |archive-url=https://web.archive.org/web/20201101215448/http://karpathy.github.io/2015/05/21/rnn-effectiveness/ }} {{ref-en}}</ref>. Ці моделі використовують [[Штучна нейронна мережа|нейронні мережі]].

Неперервно-просторові вкладення допомагають пом'якшувати [[прокляття розмірності]] в моделюванні мов: що на більших і більших текстах тренуються моделі мов, то дедалі більшим стає число унікальних слів (словник).{{efn|Див. [[Закон Гіпса]].}} Число можливих послідовностей слів зростає [[Експонентне зростання|експоненційно]] з розміром словника, спричинюючи проблему розрідженості даних через експоненційно велику кількість послідовностей. Таким чином, для належного оцінювання ймовірностей потрібні [[Статистика (математика)|статистики]]. Нейронні мережі уникають цієї проблеми, представляючи слова [[Розподілене представлення|розподіленим]] чином, як нелінійні комбінації ваг у нейронній мережі<ref name="bengio">{{cite encyclopedia|title=Neural net language models|first=Yoshua|last=Bengio|year=2008|encyclopedia=[[Scholarpedia]]|volume=3|issue=1|page=3881|url=http://www.scholarpedia.org/article/Neural_net_language_models|doi=10.4249/scholarpedia.3881|bibcode=2008SchpJ...3.3881B|doi-access=free|accessdate=1 листопада 2020|archivedate=26 жовтня 2020|archiveurl=https://web.archive.org/web/20201026161505/http://www.scholarpedia.org/article/Neural_net_language_models}} {{ref-en}}</ref>. Альтернативним описом є те, що нейронна мережа наближує функцію мови. Нейронна мережа може мати архітектуру [[Нейронна мережа прямого поширення|прямого поширення]] або [[Рекурентна нейронна мережа|рекурентну]], і тоді як перша є простішою, остання є поширенішою.{{examples|date=листопад 2020}}{{citation needed|date=листопад 2020}}

Як правило, нейромережні моделі мов будують та тренують як [[Ймовірнісна класифікація|імовірнісні класифікатори]], що вчаться передбачувати розподіл імовірності

: <math>P(w_t | \mathrm{context}) \, \forall t \in V</math>.

Тобто, мережа тренується передбачувати розподіл імовірності над словником за якогось заданого лінгвістичного контексту. Це здійснюють застосуванням стандартних алгоритмів тренування нейронних мереж, таких як [[стохастичний градієнтний спуск]] зі [[Зворотне поширення|зворотним поширенням]].{{r|bengio}} Контекст може бути вікном попередніх слів фіксованої ширини, так, що мережа передбачує

: <math>P(w_t | w_{t-k}, \dots, w_{t-1})</math>

з [[Вектор ознак|вектору ознак]], що представляє попередні {{mvar|k}} слів.{{r|bengio}} Іншим варіантом є використовувати як ознаки «майбутні» слова, так само як і «минулі», так, що оцінюваною ймовірністю є

: <math>P(w_t | w_{t-k}, \dots, w_{t-1}, w_{t+1}, \dots, w_{t+k})</math>.

Це називають моделлю [[Торба слів|торби слів]]. Коли [[Вектор ознак|вектори ознак]] для слів контексту поєднують неперервною операцією, цю модель називають архітектурою неперервної торби слів (НТС, {{lang-en|continuous bag-of-words, CBOW}})<ref name="mikolov">{{cite arXiv |first1=Tomas |last1=Mikolov |first2=Kai |last2=Chen |first3=Greg |last3=Corrado |first4=Jeffrey |last4=Dean |eprint=1301.3781 |title=Efficient estimation of word representations in vector space |year=2013|class=cs.CL }} {{ref-en}}</ref>.

Третім варіантом, який тренується повільніше за НТС, але працює дещо краще, є обернути попередню задачу, і зробити так, щоби нейронна мережа вчилася контексту за заданого слова.{{r|mikolov}} Формальніше, за заданої послідовності слів <math>w_1, w_2, w_3, \dots, w_T</math> максимізують усереднену логарифмічну ймовірність

: <math>\frac{1}{T}\sum_{t=1}^T \sum_{-k \leq j \leq k, j \neq 0} \log P(w_{t+j} | w_t)</math>,

де {{mvar|k}}, розмір тренованого контексту, може бути функцією від центрального слова <math>w_t</math>. Це називають [[пропуск-грам]]ною ({{lang-en|skip-gram}}) моделлю мови<ref name="compositionality">{{cite conference |title=Distributed Representations of Words and Phrases and their Compositionality |last1=Mikolov |first1=Tomas |last2=Sutskever |first2=Ilya |last3=Chen |first3=Kai |last4=Corrado irst4=Greg S. |last5=Dean |first5=Jeff |conference={{нп|Досягнення в нейронних системах обробки інформації|Advances in Neural Information Processing Systems||Advances in Neural Information Processing Systems}} |pages=3111–3119 |year=2013 |url=http://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf |accessdate=1 листопада 2020 |archive-date=29 жовтня 2020 |archive-url=https://web.archive.org/web/20201029083132/https://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf }} {{ref-en}}</ref>. Моделі торби слів та пропуск-грамна є основою програми ''[[word2vec]]''<ref>{{cite web|url=https://gigaom.com/2013/08/16/were-on-the-cusp-of-deep-learning-for-the-masses-you-can-thank-google-later/|title=We're on the cusp of deep learning for the masses. You can thank Google later|last=Harris|first=Derrick|date=16 серпня 2013|website=Gigaom|accessdate=1 листопада 2020|archive-date=11 листопада 2020|archive-url=https://web.archive.org/web/20201111211737/https://gigaom.com/2013/08/16/were-on-the-cusp-of-deep-learning-for-the-masses-you-can-thank-google-later/}} {{ref-en}}</ref>.

Замість використовувати нейромережні моделі мови, щоби виробляти фактичні ймовірності, поширеним є натомість використання розподіленого представлення, закодованого в «прихованих» шарах мережі, як представлення слів. Тоді кожне слово відображують в {{mvar|n}}-вимірний дійсний вектор, званий [[Вкладення слова|вкладенням слова]], де {{mvar|n}} є розміром шару безпосередньо перед шаром виходу. Представлення в пропуск-грамних моделях мають таку виразну характеристику, що вони моделюють семантичні відношення між словами як [[Лінійна комбінація|лінійні комбінації]], вловлюючи свого роду {{нп|композиційність|||Compositionality}}. Наприклад, у деяких таких моделях, якщо {{mvar|v}} є функцією, що відображує слово {{mvar|w}} до його {{mvar|n}}-вимірного векторного представлення, то

: <math>v(\mathrm{king}) - v(\mathrm{male}) + v(\mathrm{female}) \approx v(\mathrm{queen})</math>,

де ≈ роблять точним, ставлячи умову, що його права частина мусить бути [[Пошук найближчого сусіда|найближчим сусідом]] значення лівої частини.{{r|mikolov}}{{r|compositionality}}

=== Інші ===

Позиційна модель мови ({{lang-en|positional language model}})<ref>{{cite conference |first1=Yuanhua |last1=Lv |first2=ChengXiang |last2=Zhai |url=http://times.cs.uiuc.edu/czhai/pub/sigir09-PLM.pdf |title=Positional Language Models for Information Retrieval in |booktitle=Proceedings |conference=32nd international ACM SIGIR conference on Research and development in information retrieval (SIGIR) |year=2009 |accessdate=1 листопада 2020 |archive-date=24 листопада 2020 |archive-url=https://web.archive.org/web/20201124011432/http://times.cs.uiuc.edu/czhai/pub/sigir09-PLM.pdf }} {{ref-en}}</ref> оцінює ймовірність трапляння заданих слів близько в тексті одне до одного, не обов'язково безпосередньо суміжними. Подібним чином, моделі концепції торби слів<ref>{{Cite book|url={{google books |plainurl=y |id=NrtcLwEACAAJ}}|title=Sentic Computing: Techniques, Tools, and Applications|last=Cambria|first=Erik|last2=Hussain|first2=Amir|date=2012-07-28|publisher=Springer Netherlands|isbn=978-94-007-5069-2|language=en}} {{ref-en}}</ref> використовують семантику, пов'язану з багатослівними виразами, такими як «''buy_christmas_present''», навіть якщо вони використовуються в інформаційно насичених реченнях на кшталт «''today I bought a lot of very nice Christmas presents''».

Незважаючи на обмежений успіх використання нейронних мереж<ref>{{cite journal |last1=Mocialov |first1=Boris |last2=Hastie |first2=Helen |last3=Turner |first3=Graham |title=Transfer Learning for British Sign Language Modelling |journal=Proceedings of the Fifth Workshop on NLP for Similar Languages, Varieties and Dialects (VarDial 2018) |date=August 2018 |url=https://www.aclweb.org/anthology/W18-3911/ |accessdate=14 березня 2020 |archive-date=5 грудня 2020 |archive-url=https://web.archive.org/web/20201205140143/https://www.aclweb.org/anthology/W18-3911/ }} {{ref-en}}</ref>, автори визнають необхідність інших методів при моделюванні мов жестів.

== Еталони ==

Для оцінювання систем обробки мови було розроблено різноманітні наборі даних<ref name=":0">{{cite arxiv|last=Devlin|first=Jacob|last2=Chang|first2=Ming-Wei|last3=Lee|first3=Kenton|last4=Toutanova|first4=Kristina|date=2018-10-10|title=BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding|eprint=1810.04805|class=cs.CL}} {{ref-en}}</ref>. До них належать:

* ''Corpus of Linguistic Acceptability''<ref>{{Cite web|url=https://nyu-mll.github.io/CoLA/|title=The Corpus of Linguistic Acceptability (CoLA)|website=nyu-mll.github.io|access-date=2019-02-25|archive-date=7 грудня 2020|archive-url=https://web.archive.org/web/20201207081834/https://nyu-mll.github.io/CoLA/}} {{ref-en}}</ref>
* ''GLUE benchmark''<ref>{{Cite web|url=https://gluebenchmark.com/|title=GLUE Benchmark|website=gluebenchmark.com|language=en|access-date=2019-02-25|archive-date=4 листопада 2020|archive-url=https://web.archive.org/web/20201104161928/https://gluebenchmark.com/}} {{ref-en}}</ref>
* ''Microsoft Research Paraphrase Corpus''<ref>{{Cite web|url=https://www.microsoft.com/en-us/download/details.aspx?id=52398|title=Microsoft Research Paraphrase Corpus|website=Microsoft Download Center|language=en-us|access-date=2019-02-25|archive-date=25 жовтня 2020|archive-url=https://web.archive.org/web/20201025121243/https://www.microsoft.com/en-us/download/details.aspx?id=52398}} {{ref-en}}</ref>
* ''Multi-Genre Natural Language Inference''
* ''Question Natural Language Inference''
* ''Quora Question Pairs''<ref>{{Citation|last=Aghaebrahimian|first=Ahmad|chapter=Quora Question Answer Dataset|date=2017|pages=66–73|publisher=Springer International Publishing|isbn=9783319642055|doi=10.1007/978-3-319-64206-2_8|title=Text, Speech, and Dialogue|volume=10415|series=Lecture Notes in Computer Science}} {{ref-en}}</ref>
* ''Recognizing Textual Entailment''<ref>{{Cite web|url=http://l2r.cs.uiuc.edu/~danr/Teaching/CS546-12/TeChapter.pdf|title=Recognizing Textual Entailment|last=Sammons, V.G.Vinod Vydiswaran, Dan Roth|first=Mark|last2=Vydiswaran|first2=V.G.|access-date=24 лютого 2019|last3=Roth|first3=Dan|archive-date=9 серпня 2017|archive-url=https://web.archive.org/web/20170809113438/http://l2r.cs.uiuc.edu/~danr/Teaching/CS546-12/TeChapter.pdf}} {{ref-en}}</ref>
* ''Semantic Textual Similarity Benchmark''
* ''SQuAD question answering Test''<ref>{{Cite web|url=https://rajpurkar.github.io/SQuAD-explorer/|title=The Stanford Question Answering Dataset|website=rajpurkar.github.io|access-date=2019-02-25|archive-date=30 жовтня 2020|archive-url=https://web.archive.org/web/20201030072130/https://rajpurkar.github.io/SQuAD-explorer/}} {{ref-en}}</ref>
* ''Stanford Sentiment {{нп|Банк дерев|Treebank||Treebank}}''<ref>{{Cite web|url=https://nlp.stanford.edu/sentiment/treebank.html|title=Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank|website=nlp.stanford.edu|access-date=2019-02-25|archive-date=27 жовтня 2020|archive-url=https://web.archive.org/web/20201027125825/https://nlp.stanford.edu/sentiment/treebank.html}} {{ref-en}}</ref>
* ''Winograd NLI''

== Див. також ==
{{div col|colwidth=18em}}
* [[Статистична модель]]
* {{нп|Факторизована модель мови|||Factored language model}}
* {{нп|Кешувальна модель мови|||Cache language model}}
* {{нп|Модель відступання Каца|||Katz's back-off model}}
* [[Трансформер (архітектура глибокого навчання)|Трансформер]]
* ''[[BERT (модель мови)|BERT]]''
* ''[[GPT (модель мови)|GPT]]''
* [[GPT-3|''GPT''-3]]
{{div col end}}

== Виноски ==
{{notelist}}

== Примітки ==
{{Примітки}}

== Джерела ==
{{refbegin}}
* {{cite conference | authors = J M Ponte and W B Croft | citeseerx=10.1.1.117.4237 | title = A Language Modeling Approach to Information Retrieval | booktitle=Research and Development in Information Retrieval | year=1998 | pages=275–281 }} {{ref-en}}
* {{cite conference | authors = F Song and W B Croft | citeseerx=10.1.1.21.6467 |title=A General Language Model for Information Retrieval | booktitle=Research and Development in Information Retrieval |year=1999 | pages=279–280 }} {{ref-en}}
* {{cite techreport |first=Stanley |last=Chen |author2=Joshua Goodman |title=An Empirical Study of Smoothing Techniques for Language Modeling |institution=Harvard University |year=1998  |citeseerx=10.1.1.131.5458 }} {{ref-en}}
{{refend}}

== Посилання ==

=== Програмне забезпечення ===

* {{GitHub|google-research/bert|BERT|link=hidden}}&nbsp;— ''Bidirectional Encoder Representations from Transformers''
* [https://web.archive.org/web/20190112092141/http://www-lium.univ-lemans.fr/cslm/ CSLM]&nbsp;— вільний інструментарій для моделей мови на нейронних мережах [[Нейронна мережа прямого поширення|прямого поширення]]
* {{GitHub|jnory/DALM|DALM|link=hidden}}&nbsp;— швидке вільне програмне забезпечення для запитів до моделей мови
* [https://blog.openai.com/language-unsupervised/ Generative Pre-trained Transformer] {{Webarchive|url=https://web.archive.org/web/20190301032752/https://blog.openai.com/language-unsupervised/ |date=1 березня 2019 }}
* [http://sourceforge.net/projects/irstlm IRSTLM] {{Webarchive|url=https://web.archive.org/web/20220119234647/http://sourceforge.net/projects/irstlm/ |date=19 січня 2022 }}&nbsp;— вільне програмне забезпечення для моделювання мов
* [http://www.phontron.com/kylm Kylm] {{Webarchive|url=https://web.archive.org/web/20201129222207/http://phontron.com/kylm/ |date=29 листопада 2020 }} (''Kyoto Language Modeling Toolkit'')&nbsp;— вільний інструментарій моделювання мов мовою Java
* [http://kheafield.com/code/kenlm KenLM] {{Webarchive|url=https://web.archive.org/web/20201110074000/https://kheafield.com/code/kenlm/ |date=10 листопада 2020 }}&nbsp;— швидке вільне програмне забезпечення для моделювання мов
* {{GitHub|zhongkaifu/LMSharp|LMSharp|link=hidden}}&nbsp;— вільний інструментарій моделювання мов для ''n''-грамних моделей зі {{нп|Згладжування Кнесера — Нея|згладжуванням Кнесера — Нея||Kneser–Ney smoothing}} та [[Рекурентна нейронна мережа|рекурентно-нейромережних]] моделей
* {{GitHub|mitlm/mitlm|MITLM|link=hidden}}&nbsp;— інструментарій моделювання мов МТІ. Вільне програмне забезпечення
* [http://nlg.isi.edu/software/nplm NPLM] {{Webarchive|url=https://web.archive.org/web/20210306022357/https://nlg.isi.edu/software/nplm/ |date=6 березня 2021 }}&nbsp;— вільний інструментарій для моделей мови на нейронних мережах [[Нейронна мережа прямого поширення|прямого поширення]]
* [http://www.opengrm.org/twiki/bin/view/GRM/NGramLibrary OpenGrm NGram library] {{Webarchive|url=https://web.archive.org/web/20201031074612/http://www.opengrm.org/twiki/bin/view/GRM/NGramLibrary |date=31 жовтня 2020 }}&nbsp;— вільне програмне забезпечення для моделювання мов. Побудовано на ''OpenFst''.
* {{GitHub|pauldb89/OxLM|OxLM|link=hidden}}&nbsp;— вільний інструментарій для моделей мови на нейронних мережах [[Нейронна мережа прямого поширення|прямого поширення]]
* [http://sifaka.cs.uiuc.edu/~ylv2/pub/plm/plm.htm Positional Language Model] {{Webarchive|url=https://web.archive.org/web/20190708010527/http://sifaka.cs.uiuc.edu/~ylv2/pub/plm/plm.htm |date=8 липня 2019 }}
* [http://sourceforge.net/projects/randlm RandLM] {{Webarchive|url=https://web.archive.org/web/20220120105854/http://sourceforge.net/projects/randlm/ |date=20 січня 2022 }}&nbsp;— вільне програмне забезпечення для увипадковленого моделювання мов
* [https://web.archive.org/web/20140425033736/http://rnnlm.org/ RNNLM]&nbsp;— вільний інструментарій для [[Рекурентна нейронна мережа|рекурентно-нейромережних]] моделей мови
* [http://www.speech.sri.com/projects/srilm/ SRILM] {{Webarchive|url=https://web.archive.org/web/20201221181722/http://www.speech.sri.com/projects/srilm/ |date=21 грудня 2020 }}&nbsp;— власницьке програмне забезпечення для моделювання мов
* [https://vsiivola.github.io/variKN VariKN] {{Webarchive|url=https://web.archive.org/web/20201023181918/https://vsiivola.github.io/variKN/ |date=23 жовтня 2020 }}&nbsp;— вільне програмне забезпечення для створювання, вирощування та обрізання ''n''-грамних моделей зі згладжуванням Кнесера&nbsp;— Нея
* [http://www.keithv.com/software/csr/ Моделі мови, натреновані на даних ''newswire''] {{Webarchive|url=https://web.archive.org/web/20210518223952/https://keithv.com/software/csr/ |date=18 травня 2021 }}

[[Категорія:Моделювання мов|*]]
[[Категорія:Статистична обробка природної мови]]
[[Категорія:Марковські моделі]]