Сборник материалов IV международной научно-практической конференции «Роль физико-математических наук в современном образовательном пространстве»

244
 
 
Reference 
1. Jacobson R., Fang G., Hale M. // Internet. Google.com.nur.kz 
2. Donnelly, R. (2004a) “ Online Learning in Teacher Education : Enhanced with a Problem – based Learning Approach.“ 
AACEJ, Issue 3. 
3. Donnelly, R. (2004a) “ The Effectiveness of Teaching ‘ Online Learning’ in a Problem  
4.   Encyclopedia of international Computer – based Learning, 1 – 9. 
5.  Gagne, R. (1985) The Conditions of Learning. 4
th
 ed. New York: Holt, Rinehart & Winston. 
 
 
УДК 681.03 
ОСНОВНЫЕ ПРОБЛЕМЫ СОЗДАНИЯ МАШИННОГО ПЕРЕВОДЧИКА ДЛЯ  
БЛИЗКОРОДСТВЕННЫХ ЯЗЫКОВ И ПУТИ ИХ РЕШЕНИЯ 
 
Назиров Ш. А., Рахманов К.С., Махмудов А.З. 
 
Ташкентский университет информационных технологий, Ташкент, raxmanov@gmail.com 
 
В  настоящие  время,  в  связи  с  углублением  процесса  глобализации  в  мировом  сообществе,  происходит 
взаимопроникновение культур разных народов. В связи с этим необходимы знания разных языков для того, чтобы 
изучать культуру, литературу, экономику, технологии и достижения в науке того народа. Для быстрого изучения 
языка требуется создание электронного переводчика, предназначенного для перевода с одного языка на другой. 
Конечно  перевод  -  это  творческий  процесс,  так  как  один  и  тот  же  текст  разные  переводчики  переводят  по-
разному.  Но,  в  последнее  время,  положение  резко  изменилось.  С  появлением  развитых  средств,  методов  и 
подходов компьютерной лингвистики процесс перевода можно формализовать [1-8]. Если задачу сузить, только 
рассматривать близкородственные языки, то задача облегчается больше [9]. 
Например, рассмотрим тюркские языки. На сегодняшней день существует 30 тюркских языков, из них 23 
считаются  действующими  (узбекский,  турецкий,  азербайджанский, туркменский, гагаузский,  крымско-татарский, 
карачаево-балкарский,  кумыкский,  ногайский,  караимский,  татарский,  башкирский,  ойротский,  шорский, 
хакасский  (с  диалектами  согайским,  бельтирским,  качинским,  койбальским,  кызыльским,  шорским),  тувинский, 
якутский,  долганский,  казахский,  киргизский,  каракалпакский,  уйгурский  (новоуйгурский),  чувашский  (потомок 
языка  камских  булгар)),  а  7  мертвых  языков  (орхонский,  печенежский,  половецкий,  древнеуйгурский, 
чагатайский,  булгарский, хазарский).  Отсюда следует, что  тюркские  языки составляют  большую  группу  языков, 
на  которых  говорят  многомиллионные  тюркские  народы,  из  истории  известно,  что  велика  роль  в  мировой 
истории тюркских династий, что тюркские народы имеют самобытную культуру, литературу, науку и др. Поэтому 
создание  электронного  переводчика  для  тюркских  языков  является  одним  из  важнейших  задач  современности. 
Задачи перевода можно поставить по-разному суть, которых описана ниже. 
1.  Перевод с узбекского языка на другие тюркские языки. Эту задачу можно представить в виде схемы: 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
Рис. 1. Схема перевода с узбекского языка на другие тюркские языки  
 
Для  создания  машинного  переводчика,  сначала  нужно  определить  словари:  узбекско-уйгурский, 
узбекско-каракалпакский,  узбекско-казахский,  …  ,  узбекско-чувашский.  На  сегодняшний  день  таких  словарей 
отсутствуют,  поэтому  для  решения  поставленной  задачи  можно  использовать  словари,  переводящие  с  русского 
на тюркские языки.  
Кроме  того,  здесь  огромную  роль  играет  алфавит. Например,  в  турецком,  узбекском,  азербайджанском 
языках принят латинский алфавит. А остальные тюркские языки бывшего союза  используют кириллицу (хотя на 
сегодняшний день рассматривается вопрос перехода на латыни казахского, татарского, башкирского и др. языков 
Чувашский   
Башкирский   
Татарский   
Киргизский   
Турецкий   
Туркменский   
Азербайджанский   
Казахский   
Уйгурский   
Каракалпакский  
Узбекский   
......................... 

245
 
 
[9]). Более того, узбекский и азербайджанский языки до приобретения независимости использовали кириллицу. В 
уйгурском языке используется арабский алфавит. Для решения задачи 1 необходимо учесть вышесказанное.  
2. Нужно ставить следующую задачу:  
узбекский→уйгурский→каракалпакский→казахский→татарский→ 
киргизский→башкирский→туркменский→азербайджанский→турецкий→…→чувашский→ узбекский.  
Результат по такой схеме машинного перевода нельзя предсказать, так как при переводе с одного языка 
на другой смысл теряется.  
2. 
Необходимо ставить задачу переводите с любого тюркского языка на любой другой тюркский язык. Для 
решения  данной  задачи  необходимо  назначить  один  из  тюркских  языков  базовым  и  через  него  осуществлять 
перевод (рис. 2). 
 
 
Рис.2. Схема перевода с одного тюркского языка на другой 
 
Здесь  нужно  учесть,  что  существуют  двуязычные  машинные  переводчики,  как:  узбекско-уйгурский 
(уйгурско-узбекский),  узбекско-каракалпакский  (каракалпакско-узбекский),  ...  ,  узбекско-чувашский  (чувашско-
узбекский).  Например,  если  требуется  перевод  с  татарского  на  каракалпакский,  то  согласно  рис.  2,  схема 
трансляции перевода можно представить в виде: 
татарский→узбекский→каракалпакский 
Система  перевода  между  близкородственными  языками  строится  на  основе    прагматически-
ориентированного  подхода  к  разработке лингвистических  моделей [9]. Прагматически-ориентированный  подход 
позволяет  более  детально  прорабатывать  модели  определенного  языкового  уровня  в  зависимости  от  целевой 
ориентированности  разрабатываемой    cистемы  и  определять  минимальный  набор  средств  для  решения 
определенного  круга  лингвистических  задач.  Эффективность  системы  перевода,  разрабатываемая  на  основе 
такого  подхода,  может  быть  обеспечена  на  уровне  формирования  лингвистических  моделей  разного  уровня  за 
счет учета близости структурных и типовых характеристик языков внутри одной языковой группы.   
Языки  внутри  одной  тюркской  языковой  группы,  в  число  которых  входят  узбекский,  уйгурский, 
каракалпакский, азербайджанский, татарский, казахский и турецкий языки, обладают большим сходством на всех 
языковых  уровнях.  Поэтому  в  работе[9]  выдвинута  гипотеза,  что  при  разработке  систем  перевода  внутри 
тюркских  языков  основную  часть  перевода  будут  обеспечивать  лингвистические  модели  морфологического  и 
морфосинтаксического  уровней.  Исходя  из  этой  гипотезы  и  в  соответствии  с  прагматически-ориентированным 
подходом,  в  работе  [9]  предложена  общая  архитектура  системы  машинного  перевода  (СМП)  которая 
представлена на рис.3.   
 
 
Рис.3. Общая архитектура работы СМП для близкородственных языков 
 

246
 
 
Как  правило,  благодаря  практической  идентичности    синтаксической  структуры  предложений  (отсюда 
следует,  что  для  близкородственных  языков  нет  необходимости  синтаксического  анализа  предложений),  при 
переводе  между  близкородственными  языками  имеющиеся  неоднозначности  в  исходном  тексте  в  том  же  виде 
переходят  в  переводной  текст  на  другом  языке.  Такая  же  ситуация  со  словоформами,  в  которых  имеет  место 
совпадение многозначности в корневых и аффиксальных морфемах. 
На рис. 3 под компонентом графематического анализа понимается выделения слов, цифр, формул и т.д., а 
под  компонентом  морфологического  анализа  –  построение  морфологической  интерпретации  слов  входного 
языка,  под  компонентом  морфонология (от греч.  morphe  – форма + phoni –  звук + logos  –  учение)  понимается 
раздел языкознания,  изучающий связи  морфологии  и фонетики (выражение  морфологических  изменений  путем 
использования фонологических средств, выявление фонемного состава морфем и слов и т. д.).  
Следующей проблемой является создание лингвистических ресурсов для близкородственных языков. 
Для  решения  задачи  создания  переводчика  требуется  большое  количество  лингвистических  ресурсов, 
соответственно, необходимо  произвести анализ имеющегося на сегодня материала, готового для использования 
в  проекте.  Анализ  показал, что  для   использования  в  задачах  перевода  между узбекским  и  другими тюркскими 
языками    в  настоящее  время  реально  доступны  только  турецкий-азарбайджанский-башкирдский-казахский-
киргизский-узбекский-татарский-туркменский-уйгурский-русский  словари  с  объемом  около  10  000  словарных 
статей[10].  Вместе  с  тем,  даже  эти  словари,  изданные  в  бумажном  виде,  не  представлены  в  Интернете  в 
электронном виде. Из этого следует, что необходимо активизировать работу по созданию многоязычного словаря 
тюркских языков.  
Авторами  работы  [9]  предложена  структура  многоязычного  словаря,  в  соответствии  с  которой  словарь 
должен содержать в себе не только лексическую, но и морфологическую информацию (рис.4).   
 
 
 
Рис.4. Архитектура базы данных с многоязычным словарем 
 
Согласно  этой  модели  база  данных  состоит  из  N  взаимосвязанных  компонент  для  каждого  из 
используемых  языков.  Каждая  из  компонент  имеет  независимую  структуру,  обусловленную  языковой 
спецификой.  Компоненты  связаны  между  собой  на  уровне  лексических  эквивалентов  семантического  кода  и 
морфологических категорий.   
Компонент  для  каждого  языка  содержит  как  лексическую,  так  и  морфологическую  информацию.  Это 
сделано  с  целью  оптимизации  поиска  в  базе  данных,  чтобы  в  одном  словаре  базы  данных  производить  поиск 
требуемого компонента только один раз, одновременно вытаскивая из него как морфологическую информацию, 
так и информацию о лексических эквивалентах найденной лексемы.  
Следующим  лингвистическим  ресурсом  являются  словари  окончаний  для  каждого  из  этих  языков. 
Процесс создания словарей окончаний состоит из двух этапов:  
 
Сравнительный  анализ  аффиксальных  морфем  (от  греч.  morphe  –  форма,  т.е.  значимая  часть  слова,  далее 
неделимая), используемых тюркских языков;  
 
Определение морфонологических типов.  
Сравнительный анализ морфологических категорий узбекского, каракалпакского, татарского, казахского 
и турецкого и др. тюрских  языков показал, что для именных конструкций системы морфологических категорий 
во всех этих языках очень близки и основная масса морфологических категорий и выражающих их аффиксальных 
морфем  полностью  совпадают.  Между  ними  существует  только  морфонологическая  разница,  как,  например, 
количество  алломорфов  (от  греч.  allos  –  другой  +  morphe  –  форма,  т.е.  тоже,  что  вариант  морфемы) 
аффиксальных морфем. Есть только небольшие различия, как, например, наличие инструментального падежа в 

247
 
 
казахском  и  турецком  языках,  выражаемого  с  помощью  аффикса,  а  в  татарском  языке  аналогичная  категория 
выражается с помощью послелогов.  
Основное  различие  между  морфологическими  категориями  узбекского,  уйгурского,  каракалпакского, 
татарского,  казахского,  турецкого  и  других  тюркских  языков  заключается  в  глагольных  категориях,  которые 
следует тщательно анализировать.  
Отметим, что тюркские языки, в свою очередь, делятся на 4 группы: карлукские (узбекский, уйгурский), 
огузский  (турецкий,  азербайджанский,  туркменский,  гагаузский  и  др.),  кипчакские  (казахский,  киргизский, 
татарский, башкирский, ногайский, каракалпакский, балкарский и др.), чувашский. Отметим, что при переводе с 
одного  языка  на  другой  внутри  групп,  качество  перевода  намного  улучшается,  так  как  существующие  здесь 
проблемы  перевода  с  одного  языка  на  другой,  начиная  с  лингвистических  ресурсов  и  заканчивая  проблемой 
синонимов,  автоматически  разрешаются. Например,  рассмотрим  карлукскую  группу  тюркских  языков.  Известно, 
что к этой группе основном относятся узбекский и уйгурский языки. Эти языки так близки, только они отличаются 
с точки зрения фонетики. Остальные конструкции этих языков почти идентичны, поэтому точность электронного 
перевода с узбекского на уйгурский (аналогично с уйгурского на узбекский) будет достаточно высокой. 
Выше  указанная  проблема  относится  и  к  другим  близкородственным  языкам,  например,  славянским, 
германским, романским, иранским и др. языкам. 
Теперь обобщим выше описанные проблемы путем формализации.  
4. Для близкородственных языков здесь следует ставить следующую задачу: перевод с одного 
близкородственного языка на остальные (рис.5.).   
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
Рис.5. Формализация схемы перевода с одного близкородственного языков на другие близкородственные языки 
где i= 
1, n
,
i
k
L
- языки, относящиеся к группе близкородственных языков. 
Здесь также, как и в задаче 1, необходимо изучить проблемы алфавита, словари, синонимы, омонимы, проблемы 
лингвистических ресурсов и так далее. Данную задачу можно представить в виде: 
1
2
...........
i
i
i
n
k
k
k
k
k
k
L
L
L
L
L
L
                                                               (1) 
Схема(1) отражает двуязычные электронные переводчики. 
5. Задачу 2 можно обобщить в виде  
1
2
...
i
n
i
k
k
k
k
k
L
L
L
L
L





                                        (2) 
Здесь 
i
k
 может принимать одно из значений 
1
2
1
1
{ ,
,
,
,...,
}
i
i
n
k k k
k
k


 
Реализовать    схему  (2),  достаточно  сложно.  Ясно,  что  при  таком  подходе  точность  перевода  намного 
уменьшается.  
6. Задачу 3, можно обобщить по следующей схеме: 
 
L
i
k
L
 
1
k
L
 
2
k
L
 
3
k
L
 
. 
. 
n
k
L
 

248
 
 
i
k
L
1
k
L
2
k
L
3
k
L
j
k
L
s
k
L
n
k
L
 
 
Рис.5. Формальная схема перевода с одного близкородственного языка на другой. 
Близкородственные языки могут делиться на подгруппы (наподобие тюркских языков). Поэтому  


1
2
1
2
,
,...,
s
B
B
B
B
s
L
L
L
L

 
где  


1
2
,
,...,
i
i
i
B
B
B
B
i
i
i
ik
L
L
L
L

 
Наподобие  тюркских  языков,  точность  перевода  внутри  каждого 
B
i
L
  будет  высокой.  Пусть 
i
A
  и
j
B
 
языки, относящиеся к одному из языков внутри подгрупп  близкородственных языков, тогда  
 
:
1
i
j
i
j
A
A
A
B



   (3) 
 
Это означает, что внутри подгрупп  близкородственных языков, с точки зрения грамматики, словоформ и 
омонимов, синонимов, морфологических основ и окончаний и т.д. друг другу достаточно близки. 
Конечно,  внутри  близкородственных  (не  внутри  подгрупп  близкородственных  языков)  получить  оценку 
типа  (3)  задача  сложная.  В  этом  случае  правая  часть  соотношения  (3)  может  не  принимать  значения  равные 
единице,  а  0.9,  0.8,  0.7  ,  тогда  при  машинном  переводе  детально  анализировать  все  морфокатегории.  Если 
перевод  с  одного  языка  на  другой  будет  не близкородственным, тогда  значения  правой  части  соотношения  (3) 
будет  гораздо  меньше  чем  единица,  например:  0.05,  0.06,  3.,  0.1,  0.2  и  т.д.  Тогда,  на  основе  математической 
модели этих языков процесс перевода необходимо осуществить по следующей схеме: 
графематический анализ →морфологический анализ → синтаксический анализ→ семантический анализ. 
Кроме того, здесь существует много проблем: проблема омонимов, синонимов, полнота лингвистических 
ресурсов  и  т.д.  Далее  следует  отметить  следующее:  Допустим  между  двумя  достаточно  дальнородственными 
языками  существует  (разработан)  машинный  переводчик  и  пусть  результат  машинного  перевода  будет 
достаточно высоким. Например, между английским и узбекским языками разработан подобный переводчик. Тогда 
этот  результат  надо  использовать  при  переводе  с  английского  языка  и  для  других  тюркских  языков.  Так,  если 
требуется перевод с каракалпакского языка на английский, то следует использовать следующую схему перевода.       
каракалпакский → узбекский→ английский.  
Так  как  внутри  близкородственных  языков  точность  перевода  будет  достаточно  высокой,  то  мы 
сэкономим время и средства, необходимые для перевода. 
В  настоящее  время  по  схеме  рис.  (2)  и (4)-(5)  нами разработаны следующие  двуязычные   электронные 
словари:  узбекско-уйгурский,  узбекско-азербайджанский,  узбекско-туркменский,  узбекско-казахский,  узбекско-
татарский.  Разработан  двуязычный  узбекско-каракалпакский  (каракалпакско-узбекский)  машинный  переводчик. 
Следующей задачей является создание электронного переводчика для всех тюркских языков. 

жүктеу/скачать 12,19 Mb.

Достарыңызбен бөлісу: