Лингвистикалық статистикасы көрсеткіштерін қалыптастырудағы тәжірибелер

Қолданбалы лингвистиканың бір саласы болып табылатын Корпустық лингвистикабір жағынан тілді, екінші жағынан компьютерде тілдермен қалай жұмыс істеу керектігін зерттейтін ғылым. Ол ХХ ғасырдың 60-жылдарында пайда болды да, адамдардың техникаға деген көзқарастарын түгелдей өзгертті: программистер машинадан үлкен мүмкіндіктер күтті. Ең алдымен, автоматты аудармашы жасау мақсат болатын, алайда кейіннен бұның қиын әрі сол кезде дамып келе жатқан жасанды интеллектіні қамтитын күрделі жұмыс екенін ұқты.

Корпустық лингвистикапрограммистер мен лингвистердің бірігіп жұмыс жасауын қажет етеді. Сөздердің септелу, жіктелу, тәуелдеуіне қарай топтастырылуы, көп мағыналы және омоним сөздердің болуы, сөйлем мүшелерінің байланысуы – барлығын лингвист ереже ретінде үлгісін көрсетеді де, программист сол мысалдар бойынша қағидаларды алгоритмдеп синтаксистік құрылым қалыптастырады. Бағдарланған сөйлем үлгілері қалыптасқан компьютер келесіде сөздерді енгізілген заңдылықтарға сәйкес талдауға, топтастыруға қабілетті болады.

Екі ғана сатыдан тұратын оңай жұмыс болып көрінгенімен, процесс барысында туындайтын қиындықтар көп. Солардың бірі – омонимдер. Мысалы, «Арман гүлдеп тұрған алма бағын түгелдей аралады». Осы жерде «аралады» сөзі – «кесті» мағынасында ма, әлде «көріп шықты» ма? Осы секілді сөйлемдер, яки сөздер көп кедергі келтіреді, алайда бұл операцияларды сәтті орындаған жағдайда үлкен мүмкіндіктерге қол жеткіземіз.

ХХІ ғасыр ақпараттық технологиялардың ғасыры екені баршамызға мәлім. Интернеттің пайда болуымен адамзат индустриалды кезеңді артқа тастап, ақпараттық немесе сандық деп аталатын мүлдем жаңа дәуірге қадам басты. Жаңа дәуірдің өзіне сай заңдылықтары, мүмкіндіктері және қауіп-қатерлері бар. Біздің замандастарымыз ескі заман мен жаңа заманның тоғысқан шағының куәгерлері болғандықтан, қоғамдағы өзгерістерді, трансформацияны айқын сезеді.

Қолданысымыздағы жаңа сөздер, пайда болып жатқан жаңа қызметтік лауазымдар аталмыш трансформацияның жаршысы істпетті. Әрбір мекемеде IT-ға, яғни ақпараттық технологияға жауапты бөлім немесе кемінде бір маман бар. 2009 жылы АҚШ Президенті Барак Обама Chief Technology Officer – жаңа технологиялар жөніндегі кеңесші лауазымын бекіткен болатын. Технологиялар жөніндегі кеңесшінің міндеті – АҚШ Президентіне жаңа технологиялардың қоғам, мемлекет қауіпсіздігі және тағы басқа салаларға әсері жайында ақпарат беріп отыру. Сондай-ақ көптеген мемлекеттік және коммерциялық компания­ларда аналогтан сандық техноло­гияларға көшуге көмектесетін Chief Digital Officer жаңа лауазымы пайда болды. Ал бұл жаңа технологиялардың мемлекеттік басқаруда, бизнесте, ғылымда маңызды рөл атқаратынын және оның жыл өткен сайын тек арта түсетінін көрсетсе керек. Ақпараттық технологиялар мен интернеттің қарқынды дамуы адамдар арасындағы коммуникациялық қарым-қатынасты арттыруда. Бұл өз кезегінде үлкен көлем­дегі сандық ақпараттың жинақ­талуына алып келді. Ақпарат алмасу тек технологиялық қарым-қатынас қана емес, сонымен қатар лингвистикалық құбылыс. Адамдардың тілді пайдалануы, сөз бен сөз тіркестерін қолдануы, мәліметтердің контекстуалдық ортасын түсінуі сынды мәселелер тіл білімінің маңыз­ды саласына айналып, компьютерлік ғылым мен лингвистиканың тоғысқан жерінде Корпустық лингвистикасаласы пайда болды. Аталған сала XX ғасырдың 50-60 жылдары қалыптаса бастағанымен, қарқынды дамуы 2000 жылдардан бастау алады. Корпустық лингвистикадегеніміз – тілді пайдалану мен түсіндіру мақсатында тілдік нормаларды математикалық және компьютерлік модельдеу. Түп мақсаты – жасанды интеллект құрастыру.