«ҚОҒАМДЫ АҚПАРАТТАНДЫРУ» IV ХАЛЫҚАРАЛЫҚ ҒЫЛЫМИ-ПРАКТИКАЛЫҚ КОНФЕРЕНЦИЯ
73
қолдануға қолайлы. Осындай жүйелердің венгер-ағылшын машиналық аударуға арналғаны
бар[6]. Көптеген ғалымдар машиналық аударудың[7-8] статистикалық әдістерін зерттейді
және қолданады, неміс, испан, француз және ағылшын машиналық аудару жұмысында [9]
фразалар-аналогтарға негізделген N-gram-based models co-exist with theirphrase-based
counterparts as an alternative SMT framework N-граммды модель жүйесі қолданылды.
Жұмыстардың біразында ережелер мен статистикалық әдістерге негізделген әдістерді
қолданатын гибридті әдістер қолданылады[10]. Сонымен қатар мәтіннің семантикасына
тәуелділікке негізделген әдістер бар. Мысалы, [11] жұмысында текст құрылымын құруды
семантикалық гиперграф қолданылады, ал [12] жұмысында тіл семантикалық түрде тілдің
сембанкте (семантикалық банкте), яғни семантикалық құрылым болып табылатын ағылшын
тіліндегі мыңдаған сөйлемдер сақталады .
Формалдауға жеткілікті жеңіл түркі тілдері үшін, себебі морфология жағынан оларда
аффикстерді қосу тәртібі қатаң анықталған, ал синтаксис жағынан сөйлемдегі сөздер тәртібі
анықталған, грамматикалық ережелер негізіндегі жүйелер жақсы нәтижелер бере алады.
Статистикалық жүйелер үлкен мәтіндік корпустар бар жағдайларда жақсы нәтиже береді.
Бірақ ең жоғары машиналық аудару тиімділікті мәтін семантикасын ескерумен гибридті
жүйелер береді.
Туыстас тілдерге арналған аудару жүйесі лингвистикалық моделдерді әзірлеудің
прагматикалық-бағытталған тәсіліне негізделген[13].
Прагматикалық-бағытталған тәсіл өңделетін жүйенің мақсатты бағытталуына
байланысты белгілі тілдік деңгейдің жобасын барынша айқын өңдеуге және лингвистикалық
есептердің белгілі шеңберін шешуге арналған құралдардың минималды жиынтығын
анықтауға мүмкіндік береді. Осы әдіс негізінде жасалатын аудару жүйесінің тиімділігі бір
тілдік топқа жататын тілдердің құрылымдық және типтік сипаттамаларының жақындығын
ескере отырып, әр түрлі деңгейдегі лингвистикалық моделдердің қалыптасу деңгейінде
қамтамасыз етілуі мүмкін.
Түрік тілдер тобына жататын татар, қазақ және түрік тілдері барлық тілдік деңгейде
үлкен ұқсастыққа ие. Сондықтан, мынадай гипотеза жасалған екен: аудару жүйесін жасау
барысында түркі тілдеріне жататын тілдерде аударудың негізгі бөлігін морфологиялық және
морфо-синтаксистік деңгейдің лингвистикалық моделі қамтамасыз етеді. Осы гипотезаға
негізделген және прагматикалық-бағытталған әдіске сәйкес машиналық аудару жүйесінің
жалпы архитектурасы 1 суретте көрсетілген[14].
1 - Сурет. Туыстас тілдерге арналған машиналық аудару
жүйесінің жалпы архитектурасының жұмысы
«ҚОҒАМДЫ АҚПАРАТТАНДЫРУ» IV ХАЛЫҚАРАЛЫҚ ҒЫЛЫМИ-ПРАКТИКАЛЫҚ КОНФЕРЕНЦИЯ
74
МА моделдеу үшін оның ішкі тапсырмаларын моделдеу, осы алгоритмдердің
жұмысына арналған алгоритмдер мен компьютерлік бағдарламаларды әзірлеу қажет. Егер
МА-ның осы тапсырмаларын тереңірек қарacтырсақ, онда олардың жеке және күрделі
тапсырмалардан тұратынын, қолданбалы лингвистикаға бағытталғанын көреміз. Машиналық
аударманың, ғылыми бағыт ретіндегі тарихында, мұндай типтегі жүйелерді моделдеудің үш
тәсілі ерекше аталып өтіледі:
а) МА «түзу» жүйелері сөз бойынша аударманы (сөзбе-сөз) береді;
б) мағыналық тіл-делдал аудармаларды әзірлеу мақсатын көздейтін «интерлингтер»
немесе «мәтін–мағына–мәтін» жүйелері; Бірінші тәсіл өз мүмкіндіктері бойынша шектелген,
интерлингтер-моделі үшін, әзірге ғылыми баға мен тиімді әзірленімдер жеткіліксіз.
в) «мәтін–трансфер-мәтін». Аударма, тілдер жұбына сәйкес аудармалар деңгейінде
жүзеге асырылады. Аударма бірлігі ретінде лексикалық бірлікпен (сөз тіркестері, сөз) тығыз
байланысы бар аудармалар сәйкестігі қолданылады. Бұл моделде аралық кезең – трансфер
бар, оның көмегімен аударма сәйкестіктері (тіл бірліктерінің үйлесімдігі) анықталады.
Трансфер деңгейінде аударма жұмысы басталады, тілдік бірліктерді сөздік бойынша
салыстыру жүзеге асады, трансфердің арнайы формалды программалары ережелері арқылы
түрлендіріледі. Синтез деңгейінің мақсаты – анализ нәтижесі негізінде алынған ақпар
көмегімен дұрыс сөйлем құру.
Енді эвристикалық әдіс негізінде тұрғызылған алгоритмге [15] сәйкес қазақ, түрік
тілінен бірнеше жұп сөйлемдерді мысалға ала отырып екі үлгі арасындағы сәйкестіктерді
талдап көрсетейік. Егер шығу тіліндегі сөйлемде біршама ұқсастық табылса, онда шығу
тіліндегі сәйкес сөйлемдер ұқсас бөлімдерден тұру керек және олар бастапқы тіл
сөйлемдерінің ұқсас бөлімдерінің аудармасы болуы қажет. Алайда, егер сөйлем ұқсас
элементтерді таппаса, онда ешқандай ұқсастық болжамдалмайды. Осы мысалда ұқсас
бөлімдерінің асты сызылған.
Қазақша
Түрікше
Мен орман+ҒА бар+ДЫ+м
Ben orman+yA git+TI+m
Мен ақша+ҒА бар+ДЫ+м
Ben para+yA git+TI+m
Мен оқу+ҒА бар+ДЫ+м
Ben okumak +yA git+TI+m
Сөйлемдердің қалған бөлімдерінде айырмашылықтар бар. Біз қазақ тіліндегі [Мен
X
Қаз
+ҒА бар+ДЫ+м] және түрік тіліндегі [Ben X
Түр
+yA git+TI+m] ұқсас бөлімдерді ұсынып
отырмыз. Әдіс бойынша бұл ұқсас бөлімдер бір-біріне сәйкес келу керек. Мұнда, X
Қаз
элементі қазақ тілінің қандай да бір сәйкес келетін құрылымымен алмастырылуы тиіс және
де X
Түр
аудармасы түрік тілі аудармасына сәйкес келеді. Қазақ тіліндегі ‘орман’ және ‘ақша’,
‘оқу’ мен түрік тіліндегі ‘orman’ және ‘para’, ‘okumak’ айырмашылық абстракциясын
көрсетеді. Әрі қарай біз ‘орман’ сөзі ‘orman’ , ал ‘ақша’ деген ‘para’, ‘оқу’ ‘okumak’ дегенге
сәйкес келеді деп болжам жасаймыз. Сөйтіп, аударылған үлгілердің блогы берілген.
Аударуды оқыту моделі (АОМ) үлгі түріндегі бастапқы және шығу тілінің арасында
ұқсастықты болжамдайды. Бұл үлгілер екі бағыттағы аударма үшін қолданыла алады.
Жоғарыда аударылған жұптар үшін АОМ келесідей болады:
[Мен X
Қаз
+ҒА бар+ДЫ+м] <==> [Ben X
Түр
+yA git+ТІ+m], егер
[X
Қаз
] <==> [X
Түр
]
Біз бұл жұмыста базалық ұғымдар мен заманауи машиналық аудармалар
технологиясына қысқаша тоқталып өттік, бірақ бұл бағыт үнемі дамып отырады, аударма
қызметін оңтайландыру мен автоматтандыру тәсілдері, әр түрлі гибридті технологиялар
пайда болады. Мысалы, Traduwiki [16] сынды ұжымдық аударма қызметін жүзеге асыратын
«бұлттық технологиялар» (cloud-based translation) т.б. жаңа технологиялар.
ӘДЕБИЕТТЕР ТІЗІМІ
«ҚОҒАМДЫ АҚПАРАТТАНДЫРУ» IV ХАЛЫҚАРАЛЫҚ ҒЫЛЫМИ-ПРАКТИКАЛЫҚ КОНФЕРЕНЦИЯ
75
1. http://www.promt.ru/company/technology/machine_translation/glosbe.com
2.
http://www.primavista.ru
3.
http://sozdik.kz
4.
http://www.soylem.kz
5. Attila Novák, László Tihanyi, Gábor Prószéky. The MetaMorpho translation system. Proceedings of
the Third Workshop on Statistical Machine Translation at ACL 2008. Columbus, Ohio. 2008. – рр. 111–114,
6. Final Report of the 2006 Language Engineering Workshop Open Source Toolkit for Statistical
Machine Translation: Factored Translation Modelsand Confusion Network Decoding
7. Barry Haddow. Applying Pairwise Ranked Optimisation to Improve the Interpolation of Translation
Models. Proceedings of NAACL-HLT, Atlanta, Georgia, 2013. – pр. 342–347.
8. Nadir Durrani, Alexander Fraser, Helmut Schmid. Model With Minimal Translation Units, But
Decode With Phrases. Proceedings of NAACL-HLT, Atlanta, Georgia, 2013. – рр.1–11.
9. Andreas Eisele and etc. Using Moses to Integrate Multiple Rule-Based Machine Translation
Engines into a Hybrid System. Proceedings of the Third Workshop on Statistical Machine Translation,
Columbus, Ohio, USA, 2008. – рр.179–182.
10. Kenneth Heafield,Philipp Koehn, Alon Lavie. Grouping Language Model Boundary Words to
Speed K–Best Extraction from Hypergraphs. Proceedings of NAACL-HLT 2013, Atlanta, Georgia, 2013. –
рр. 958–968.
11. Laura Banarescu and etc. Abstract Meaning Representation for Sembanking// Proceedings of the
7th Linguistic Annotation Workshop & Interoperability with Discourse, Sofia, Bulgaria, 2013 – рр.178–186.
12. Сулейманов Д.Ш. Обработка ЕЯ-текстов на основе прагматически-ориентированных
лингвистических моделей // Обработка текста и когнитивные технологии. Вып.3., 1998. С.205-212.
13. Сулейманов Д.Ш., Гатиатуллин А.Р., Гильмуллин Р.А., Аюпов М.М. К разработке татарско-
турецкого машинного переводчика // Компьютерная обработка тюркских языков: труды 1-ой
международной конференции.– Астана, 2013– С.271–277.
14. Гильмуллин Р.А. К разработке татарско-турецкого машинного переводчика // Труды
Казанской школы-семинара по компьютерной и когнитивной лингвистике TEL-2001. Выпуск 6. –
Казань: Из-во “Отечество”, 2001, – С. 12-18.
15.
http://traduwiki.org
УДК: 004.522
ЖУМАБАЕВ Б.М.
ПОСТАНОВКА ПРОБЛЕМЫ СОЗДАНИЯ КАЗАХСКОГО ГОЛОСОВОГО
МОДУЛЯ ДЛЯ СИСТЕМ СИНТЕЗА РЕЧИ
(Казахский Агротехнический Университет им. С. Сейфуллина, г. Астана, Казахстан)
Краткая аннотация. В статье ставится задача рассмотреть современные подходы,
предназначенные для использования в создании голосового модуля. В результате анализа
автор показывает сравнительные данные для каждого из подходов, применяемых для
голосовых модулей. У каждого из них имеются свои недостатки и достоинства. При учете
всех аспектов планируется создание собственного программного продукта.
Ключевые слова: искусственная речь, синтез речи, программный продукт, голосовой
модуль.
Проблемой синтеза речи задавались еще в XII веке, когда были предприняты попытки
сделать механическую говорящую голову. На сегодняшний день, достижения в этой области
достаточно велики. На первый взгляд, может даже показаться, что проблема синтезирования
речи уже полностью решена. И действительно, нам очень часто приходится общаться с
роботами-секретарями, бытовые приборы обращаются к нам на разных языка. Однако, это не
так. Ведь говорящие машины используют заранее предопределенный набор фраз и не могут
сказать ничего, кроме того, что записано в их памяти. Настоящие синтезаторы речи
«ҚОҒАМДЫ АҚПАРАТТАНДЫРУ» IV ХАЛЫҚАРАЛЫҚ ҒЫЛЫМИ-ПРАКТИКАЛЫҚ КОНФЕРЕНЦИЯ
76
разрабатываются еще с 80х годов ХХ века. Существуют как программные, так и аппаратные
реализации, однако все они имеют серьезные недостатки и, как правило, представляют собой
пародию на человеческую речь - "железный" акцент и отрывистость позволяют только
догадываться о смысле текста, да и то, не всегда. Поэтому разработка синтезатора речи,
"произношение" которого не возможно было бы отличить от человеческой представляется
актуальной задачей [1].
Целью
работы
является
создание
уникального
программного
продукта,
преобразующего печатный казахский текст в звуковую форму.
Предметом исследования является система синтеза речи. Объектом исследования
является казахский язык.
На данный момент в Казахстане нет завершенной системы синтеза речи казахского
языка. Существуют только прототипы далеко не являющимися близкими к идеальным
системам синтеза речи. Данная работа позволит облегчить людям с ограниченными
возможностями взаимодействовать с компьютерными системами.
Научная новизна планируемых в работе исследований предполагается в следующем:
1) на стадии разработки программное обеспечение, позволяющее проводить выделение
фонем из слитной речи и последующий их анализ;
2) выявление лингвистических особенностей казахского языка;
3) нахождение новых способов эмоциональной закраски речи;
4) формирование новых модификаций гибридного алгоритма синтеза.
В сфере синтеза речи, на сегодняшний день, существует достаточно много
направлений. Вот основные из них:
1) компиляционный синтез;
2) синтез по правилам;
3) параметрический синтез речи.
Каждый из подходов обладает своими достоинствами и недостатками. Наиболее
простым представляется компиляционный синтез, который базируется на соединении
"кусков" в слитную речь. Несмотря на кажущуюся простоту, метод сложен в реализации, так
как в местах склейки слышны разрывы, а применение крупных кусков (слов и
словосочетаний вместо слогов) в качестве фонетической базы невозможно в силу системных
ограничений. К тому же, передача интонации при таком подходе очень затруднительна. При
использовании параметрического синтеза, варьируя характеристики, можно осуществлять
моделирование эмоциональной загрузки текста, однако избавиться от металлической
окраски речи проблематично. Параметрический синтез является более гибким, в силу
параметризации на основе мелких фонетических единиц (аллофонов, дифонов, слогов и т.д.).
Однако результаты, показываемые этим методом, пока далеки от совершенства во всех
отношениях [2].
На основе анализа основных методов, можно сделать выводы о существующих
проблемах в области синтезирования речи [3]:
1) искусственность речи;
2) отсутствие эмоциональной нагрузки;
3) низкая помехоустойчивость синтезированной речи.
Проблема искусственности речи заключается в том, что, несмотря на кажущееся
качество произношения речевых синтезаторов, такая речь воспринимается человеком с
трудом. В основе технологии синтеза речи используется заранее записанная фонетическая
база и слова формируются с помощью статистического расчёта по принципу максимального
правдоподобия фонетической сочетаемости, а пробелы и недочеты заполняет человеческий
мозг. Т.е. Достаточно качественный синтезатор с хорошо подобранной фонетической базой
будет прекрасно восприниматься на слух в течение 15 - 20 минут, но потом абсолютное
большинство людей перестаёт воспринимать смысл того, что произносится. Происходит это
из-за того, что для прослушивания синтезированной речи используются дополнительные
«ҚОҒАМДЫ АҚПАРАТТАНДЫРУ» IV ХАЛЫҚАРАЛЫҚ ҒЫЛЫМИ-ПРАКТИКАЛЫҚ КОНФЕРЕНЦИЯ
77
центры обработки головного мозга, и мозг просто устает. Таким образом, головной мозг не
воспринимает синтезированную речь как естественную, которая сразу обрабатывается в
речевом центре. Подобный эффект многие испытывали на себе, изучая иностранный язык.
Следующей проблемой является отсутствие эмоциональной нагрузки - личного
восприятия произносимого текста читателем. Когда текст читает человек, он поневоле
пропускает смысл воспроизводимого через себя, и в интонациях и нюансах чувствуется его
отношение к воспроизводимому. Современные программы этого не могут, но самые
передовые из них пытаются имитировать интонацию путем модуляции тембра, длительности
фонем и пауз. Но это тоже всего лишь подражание, поэтому мозг быстро устает исправлять
огрехи воспроизведения, и слушатель теряет нить повествования. Очевидно, для решения
этой задачи требуются методы из области теории искусственного интеллекта для
"извлечения смысла" из воспроизводимого текста. Поэтому такие синтезаторы должны
строиться с учётом результатов междисциплинарных исследований.
Третья проблема - низкая помехоустойчивость синтезированной речи. Как показали и
показывают эксперименты, достаточно лишь небольшого шума, чтобы слушатель перестал
воспринимать смысл текста, произносимого синтезатором.
Объяснение этому также находится в области нейрофизиологии. Для обработки
синтезированной речи головной мозг использует дополнительные центры, то при наличии
постороннего шума, разговора или необходимости выполнения слушателем какой-то работы,
мозг просто не справляется ("перегружается"), и человек перестает понимать смысл
произносимого. Эффект помех существенно ограничивает возможности применения
синтезатора в реальных условиях техногенных и природных шумов [4].
На основе проведенных исследований и экспериментов можно сделать некоторые
выводы. Самые перспективные решения в области синтеза речи сегодня базируются на
статистических моделях, параметры которых просчитываются по аннотированной тексто-
фонетической базе данных. Идеальным вариантом для учета многофакторной природы этого
просодического феномена, является такая база данных, которая содержит информацию,
статистически значимую по объему, а список учитываемых параметров по возможности
расширен и включает все значимые факторы (смысловой, синтаксический, фонетический,
пунктуационный). Как основа дальнейшей разработки, был выбран подход, основанный на
сочетании методов компилятивного синтеза и формантного синтеза по правилам, который
будет положен в основу построения системы синтеза речи по тексту с контекстно-зависимой
грамматикой как части канала голосового управления.
Список использованных источников
1. Dutoit t., Аn introduction to text-to-speech synthesis. - Boston-London, 1997. - 269 p.
2. D.Kraft, Speech perception. J.Phonetics, 1979. , p.279-312.
3. P.K.Kuhl, P.Inverson Linguistic experience and the "perceptual magnet effect". In W.Strange (Ed).
Speech perception and linguistic experience, 1995. p. 121-154.
4. Галунов В.И., Помехоустойчивость как системообразующий фактор речи. Проблемы и
методы экспериментально-фонетических исследований. - СПБ, 2002. - 327 с.
«ҚОҒАМДЫ АҚПАРАТТАНДЫРУ» IV ХАЛЫҚАРАЛЫҚ ҒЫЛЫМИ-ПРАКТИКАЛЫҚ КОНФЕРЕНЦИЯ
78
УДК 19.711.3, 510.5, 004.43
ЖУМАНОВ Ж.М.
МАШИННЫЙ ПЕРЕВОД С АНГЛИЙСКОГО ЯЗЫКА НА КАЗАХСКИЙ ЯЗЫК С
ИСПОЛЬЗОВАНИЕМ СЕМАНТИЧЕСКИХ СИТУАЦИЙ
(Казахский национальный университет им. аль-Фараби, г. Алматы, Республика
Казахстан)
Текст на любом естественном языке может быть представлен как набор предложений,
связанных между собой и несущий определенный смысл. Каждое предложение, в свою
очередь, состоит из более мелких смысловых конструкций — словосочетаний и слов. В
каждой из этих конструкций можно выделить 2 составляющие: смысл и форму.
Рассмотрим предложение «I have to take my books» («Я должен взять мои книги»)
можно разбить на 4 части: «I», «have to take», «my», «books». Слова «I» и «my» стоят в
словарной форме и могут быть переведены напрямую без затруднений. Сочетание «have to
take» - более сложный случай. Все выражение означает что субъект должен что-то
выполнить. На это указывает используемая в выражении форма - «have to». Что именно он
должен выполнить указывает смысловая часть - «take» («взять»). Слово «books» -
представляет собой множественное число слова «book» («книга»). На это указывает
использование окончания «-s», которое и является в данному случае признаком формы.
Смысл этой конструкции передает само слово.
Смысловые конструкции, в отличие от слова в словарной форме, переводятся в 2 этапа.
Сначала необходимо перевести смысловую часть, затем изменить форму перевода так, чтобы
она соответствовала той форме которая использована в исходном предложении.
Подобные
смысловые
конструкции
предлагается
называть
«семантическими
ситуациями» (для краткости — просто «ситуациями»). Так как их использование зависит от
ситуации в которой употребляется переводимое предложение. Таким образом получаем
следующее: Предложения состоят из семантических ситуаций. Ситуациями могут являться:
словарные слова (самый элементарный случай), грамматические формы слов (падежные
формы, различные числа, лица и т.п.), устойчивые сочетания слов.
Формально текст на естественном языке можно описать следующим образом:
<текст> ::= <предложение> | <текст><предложение>
<предложение> ::= <сочетание слов> | <предложение><сочетание слов>
<сочетание
слов>
::=
<грамматическая
форма
слова>
|
<сочетание
слов><грамматическая форма слова>
<сочетание слов> ::= <слово> | <сочетание слов><слово>
<грамматическая форма слова> ::= <слово><грамматические признаки>
<грамматическая форма слова> ::= <грамматические признаки><слово>
<грамматические признаки> ::= <аффикс> | <предлог> | <...>
<слово> ::= <существительное> | <прилагательное> | <...>
А семантические ситуации определяются в этом случает как:
«ҚОҒАМДЫ АҚПАРАТТАНДЫРУ» IV ХАЛЫҚАРАЛЫҚ ҒЫЛЫМИ-ПРАКТИКАЛЫҚ КОНФЕРЕНЦИЯ
79
<предложение> ::= <семантическая ситуация> | <предложение><семантическая
ситуация>
<семантическая ситуация> ::= <слово> | <грамматическая форма слова> | <сочетание
слов>
Перевод текста с использованием данной модели сводится к переводу предложений, из
которых он состоит. А перевод предложений — к переводу составляющих его
семантических ситуаций.
Алгоритм перевода перевода предложений английского языка на казахский язык с
использованием семантических ситуаций представлен на рисунке 1 поиск семантических
ситуаций в предложении осуществляется слева направо.
Рисунок 1 — Алгоритм перевода с использованием семантических ситуаций
«ҚОҒАМДЫ АҚПАРАТТАНДЫРУ» IV ХАЛЫҚАРАЛЫҚ ҒЫЛЫМИ-ПРАКТИКАЛЫҚ КОНФЕРЕНЦИЯ
80
Сначала ищутся ситуации, состоящие из двух и более слов. В случае если таковых нет,
тот же самый сегмент предложения проверяется на наличие более коротких ситуаций. Когда
поиск доходит до однословных ситуаций, возможно 3 варианта: находится ситуация —
грамматическая форма некого известного слова, находится словарная форма известного
слова, находится неизвестное слово (слово отсутствующее в словаре). В любом случае поиск
ситуаций и перевод будет продолжен. Неизвестное слово будет выведено в результате
перевода в своем исходном виде.
Программа перевода, работающая по указанному алгоритму в процессе своей работы
проходит через последовательность состояний представленных на рисунке 2. Как можно
видеть, эта последовательность повторяет алгоритм перевода. Вся последовательность
переходов между состояниями повторяется для каждого переводимого предложения.
Рисунок 2 — Диаграмма состояний программы перевода
УДК 519.768.4
Достарыңызбен бөлісу: |