Илья Сегалович и лингвистика в Яндексе Михаил Маслов, Алексей Зобнин
жүктеу/скачать 0,74 Mb. Pdf көрінісі
|
- Бұл бет үшін навигация:
- Обучение
- Применение
- [r e n au lt ] => [р е н о * ] (язык fr)
| 1 2 Илья Сегалович
и лингвистика в Яндексе Михаил Маслов, Алексей Зобнин
3 Лингвистические проекты Ильи
Участие Яндекса в проекте НКРЯ
Морфологический анализ и синтез для неизвестных слов Снятие морфологической омонимии
Практическая транскрипция имен собственных Расстановка ударений и определение размера стиха
4 Морфологический анализ и синтез для неизвестных слов
5 Морфологический анализ и синтез
1995-
96: поисковая система и конкорданс для ЭНИ «Грибоедов», «Информ - Норматив» Обработка несловарных слов
– Поиск в словаре слова с максимальной длиной совпавшего «хвоста»
– Генерация гипотез моделей словоизменения – Попытка выбрать лучшую модель по статистике корпуса ЭНИ
(И. Сегалович, М. Маслов. Диалог -1998)
6 Морфологический анализ и синтез
1995-
96: поисковая система и конкорданс для ЭНИ «Грибоедов», «Информ - Норматив» Обработка несловарных слов
– Поиск в словаре слова с максимальной длиной совпавшего «хвоста»
– Генерация гипотез моделей словоизменения – Попытка выбрать лучшую модель по статистике корпуса ЭНИ
(И. Сегалович, М. Маслов. Диалог -1998)
7 Морфологический анализ и синтез
{глокать? глокий?} куздра {куздра?} штеко {штекий? штеко?} будланула {будланул? будланула? будлануть?} бокра {бокр? бокра? бокрый?} и
{и} кудрячит {кудрячит? кудрячита? кудрячитый? кудрячить?} бокренка {бокренк? бокренка? бокренок?}
8 Национальный корпус русского языка
9 Создание НКРЯ
10 Размер НКРЯ
2004 год: – корпус со снятой омонимией: ≈700 тыс. словоуп.
– основной корпус: ≈11 млн словоуп. Сейчас:
– корпус со снятой омонимией : ≈6 млн. словоуп.
– основной корпус: ≈250 млн. словоуп. – всего ≈ 500 млн. словоуп. 11 Снятие
морфологической
омонимии
12 Снятие омонимии : постановка задачи
Цели
– поисковый конкорданс (для поиска по Вебу не нужен) – увеличение точности поиска
– уменьшение объема индекса
Задача – построить алгоритм выбора правильного текста леммы с высокой точностью и высокой производительностью
(10 3
– 10 4
слов в секунду)
13 Снятие омонимии : подходы
Детерминированные методы (ЭТАП, Диалинг)
– Недостаточная точность – Небольшая производительность
– Нужен размеченный корпус
14 Идеи метода
На входе: результат морфоразбора (mystem) начала {начинать=V,пе=прош,ед,изъяв,жен,сов} {начало=S,сред,неод,(им,мн|род,ед|вин,мн)}
Базовая единица словаря контекстов: <омоним, элемент_контекста, лемма>
Вариант «очевидного» представления контекста V,пе,…|S,сред,неод,… <.>+2 начало
p1 V,пе,…|S,сред,неод,… <.>+2 начинать p2
(Ю. Зеленков, И. Сегалович, В. Титов, Диалог -2005)
15 Ключевая идея метода
начала => ала(1о|3инать)
Не только начала , но и
гнала знала ужинала вспоминала окунала …
(Ю. Зеленков, И. Сегалович, В. Титов, Диалог -2005)
(Ю. Зеленков, И. Сегалович, В. Титов, Диалог -2005) 16 Пример из словаря контекстов
ала(1о|3инать) <.>+2 1о 0.67 ала(1о|3инать) <.>+2 3инать 0.33
(Ю. Зеленков, И. Сегалович, В. Титов, Диалог -2005) 17 Используемые корпуса
Корпус со снятой омонимией НКРЯ -2004 700 тыс. словоуп.
Веб
- корпус «трудных омонимов»
2 млн. словоуп.
(Ю. Зеленков, И. Сегалович, В. Титов, Диалог -2005)
19 Практическая
транскрипция собственной лексики
20 Постановка задачи
Личные имена, географические названия, названия групп, брендов и т. д.
Применение в 200 9 – запросы к «большому» поиску
– запросы Я.Музыке и т.п.
– поиск по адресной книге книге
в Я.Почте 21 Постановка задачи
– Построить универсальный вероятностный метод автоматической транскрипции
Данные – 100 тыс. билингв (из Википедии и т.п.) для 17 языков
22 Методы практической транскрипции (Ю. Зеленков)
Триграммы Марковские модели
Байесовский подход
» Сегмент – группа рядом стоящих гласных или рядом стоящих согласных букв
И т.п. (всего методов – штук 8)
23 Методы практической транскрипции (выбор Ильи)
Триграммы Марковские модели
Байесовский подход Метод сегментов!
» Сегмент – группа рядом стоящих гласных или рядом стоящих согласных букв
И т.п. (всего методов – штук 8)
24 Практическая транскрипция: метод сегментов
Обучение – Выравниваем билингвы по сегментам
– Строим список пар - переводов сегментов : 1.
2. Вычисляем вероятности
Из всех вариантов переводов выбирается вариант с наибольшей суммой вероятностей
25 Выравнивание сегментов
Выравниванием побуквенно:
с т е й т - м е н т
26 Выравнивание сегментов
Собираем сегменты, убираем пропуски в оригинале:
cт ей т - м е нт
27 Выравнивание сегментов
cт ей тм е нт
28 Метод сегментов : пример
[ r e n au lt] => [ р е н о *] (язык fr) r => р(0.95) *(0.03) рь(0.01) ж(0.01) (^)r => р(0.99) ж(0.01)
r(e) => р(0.98) ж(0.02)
r(e n) => р(0.95) ж(0.05)
29 Метод сегментов : пример
[r e n au lt] => [р е н о *] (язык fr)
e => е(0.49)*0.40 э(0.07) а(0.02) и(0.02)
(r)e => е(0.69)*0.25 э(0.03) а(0.02) и(0.01)
e(n) => е(0.90) э(0.06) а(0.02)*0.02 (^ r)e =>
э(0.04) ё(0.02) ей(0.01) e(n au) =>
30 Метод сегментов : пример
[r e n au lt] => [р е н о *] (язык fr) n => н(0.95)
нь(0.04)*0.01 (e)n => н(0.95)
нь(0.03)*0.02 n(au) => н(1.00) (r e)n => н(0.92)
нь(0.07)*0.01 n(au lt) - отсутствует в выборке 31 Метод сегментов : пример
[r e n au lt] => [р е н о *] (язык fr) au => о(0.54) ау(0.40) а(0.03) яу(0.02) оу(0.01) (n)au => ау(0.54) о(0.38) ай(0.08) au(lt) => о(0.96)
ай(0.04) (e n)au => ау(0.50) о(0.50) au(lt $) => о(0.96) ай(0.04)
32 Метод сегментов : пример
[r e n au lt ] => [р е н о * ] (язык fr) lt => льт(0.43) лт(0.39)*0.16 лть(0.01) ль(0.01) (au)lt => λ(0.85)
ть(0.06) л(0.03) лт(0.03) льт(0.03) lt($) => λ(0.48) льт(0.33) лт(0.16) л(0.02) ль(0.01) (n au)lt => λ(0.80) л(0.20) 33 Обратная транскрипция
на русский язык
Проблема – Метод с вероятностями переводов работает плохо, точность ≈0.5
Решение : яндексология – Яндексология всех вариатов работает тоже плохо
– Выбираем 2 - 3 самых вероятных варианта
– Применяем к ним яндексологию – Точность ≈ 0.9-0.95
34 Обратная транскрипция: примеры
марион котияр => Marion Cotillard марион котийяр => Marion Cotillard марион котийар => Marion Cotillard марион котилар => Marion Cotilard
Эйяфьятлайокудль => Eyjafjallajokull Эйяфьядлайёкюдль => Eyjafjyadlajokull Эйяфьядлайёкудль => Eyjafjyadlajokull
35 Новое применение 2012 -13 –
карты всего мира по - русски (В. Титов) 36 Расстановка ударений
и определение размера стиха
37 Постановка задачи
Автоматическая расстановка ударений и определение размера стиха в проекте «Стихолюб» (2009)
Решение: Автоматическая расстановка ударений, фонетическая транскрипция
Определение схемы стиха: – размер (6 силлабо - тонических и 3 тонических размера) – клаузула
Анализ строфы в целом на основе внутренней симметрии, т.е. выбор схемы с наименьшей энтропией
38 Постановка задачи
Автоматическая расстановка ударений и определение размера стиха в проекте «Стихолюб» (2009)
Решение: Автоматическая расстановка ударений, фонетическая транскрипция
Определение схемы стиха: – размер (6 силлабо - тонических и 3 тонических размера) – клаузула
Анализ строфы в целом на основе внутренней симметрии, т.е. выбор схемы с наименьшей энтропией
39 Определение размера стиха
(AAbb)
Шв е́ д, р у́ сск и й — к
о́ л е т, р у́ б и т, р
е́ ж е т.
⌣՛−́⌣−́⌣−́⌣−́⌣
Я4ж Б о й б а р а б а́ нн ы й, кл и́ к и , скр е́ ж е т,
⌣−⌣−́⌣−́⌣−́⌣
Гр о м п у́ ш е к, т
о́ п о т, рж а́ нь е , ст
о́ н,
⌣−́⌣−́⌣−́⌣−́
И см е́ рть,
и
а́ д с о вс е́ х ст
о р о́ н.
⌣−́⌣−́⌣−́⌣−́
Я4м
ВАРИАНТ 2 (AAbb)
Шв е́ д, р у́ сск и й — к
о́ л е т, р у́ б и т, р
е́ ж е т.
(0)−0−1−1−1−(1)
Дл5 Б о й б а р а б а́ нн ы й, кл и́ к и , скр е́ ж е т,
⌣−⌣−́⌣−́⌣−́⌣
Гр о м п у́ ш е к, т
о́ п о т, рж а́ нь е , ст
о́ н,
⌣−́⌣−́⌣−́⌣−́
И см е́ рть,
и
а́ д с о вс е́ х ст
о р о́ н.
⌣−́⌣−́⌣−́⌣−́
Я4м
40 Определение размера стиха: новые применения
Найдено 60 тыс. ошибок в поэтическом корпусе НКРЯ
Автопоэт
–
составление стихов из поисковых запросов, твитов, заголовков новостей и т.п.
41 Пример творчества Автопоэта
курить бамбук что это значит зачем коту усы и хвост
егэ по химии задачи тамбов мужчина средний рост
иван тургенев накануне
чикаго платье с бахромой кальян купить курить домой
сломался кухонный комбайн
малифисента фильм онлайн значенье имени хавронья
зачем топтать мою любовь
http://autopoet.yandex.ru 42 Mystem 3.0
43 Программа MyStem: новая версия
—
свободно распространяемый морфологический анализатор для русского языка
http://api.yandex.ru/mystem/ Первая версия программы была написана Ильёй Сегаловичем в 1997 году
Мы представляем версию MyStem 3.0 Её основные отличия:
– ранжирование разборов, – поддержка фикслистов,
– разные форматы вывода . 44 Ранжирование разборов
Задача №1 — ранжировать разборы без учета контекста:
есть
есть = V,
несов,
пе
есть = INTJ
быть = V, нп
45 Ранжирование разборов
Задача №1 — ранжировать разборы без учета контекста:
есть
есть = V,
несов,
пе
есть = INTJ
быть = V, нп
айпад ?= ADV =
айпад ?= S, муж, од = вин, мн | род, мн
айпада ?= S, жен, неод = род, мн
46 Ранжирование разборов
Должно получиться примерно так:
есть
2. есть = V,
несов,
пе = инф
3.
есть = INTJ = 1. быть
= V, нп = (...)
?= S, муж,
од = ( вин,
мн | род,
мн ) айпад
?= ADV= 1.
айпад ?= S,
муж,
неод = ( вин,
ед | им,
ед )
айпада ?= S, жен,
неод
= род,
мн
47 Частоты для ранжирования
Берем из корпуса со снятой омонимией (НКРЯ) Учитываем частоты слов из веба
словоформы расточительно.
Поэтому мы «факторизуем» эти частоты, настраивая их отдельно для
‒ окончаний каждой схемы, ‒ основ каждой схемы,
‒ самих морфологических схем. 48 Более формально
Пусть зафиксирована схема морфологического разбора s, и в слове w выделены основа stem и окончание flex.
Считаем, что события «встретить основу слова» и «встретить окончание слова» в рамках этой схемы независимы .
.
P scheme P scheme | flex P scheme | stem P = = word P scheme P scheme | word P = = word | scheme P 49 Оценка качества
Тестировали на подкорпусе НКРЯ со снятой омонимией , выбирая самый вероятную лемму из предложенных.
‒ первая лемма: 90%; ‒ первая по алфавиту лемма: 89%; ‒ самая вероятная лемма в новой модели: 95,5%!
50 Снятие омонимии
Опция –d включает переранжирование разборов с учётом контекста.
Модель обучена с помощью технологии MatrixNet.
В качестве факторов используются в том числе «нормализующие подстановки» из модели Ю. Зеленкова, И. Сегаловича и В. Титова (Диалог -2005).
Точность первого разбора (по тексту леммы) составляет 97,8%.
51 Дополнительные опции
Опция --generate-all строит все гипотезы для неизвестных слов, а не только те, где совпадение с образцом максимально
Опция --filter-gram разрешает строить только разборы с указанными грамматическими тегами
mystem --filter-gram V батарея
{ батареть
?= V, ipf, intr = Inpraes, ger }
52 Спасибо за внимание! жүктеу/скачать 0,74 Mb. Достарыңызбен бөлісу:
|