Научный журнал

Научное обозрение. Технические науки

ISSN 2500-0799

ПИ №ФС77-57440

• Авторы
• Резюме
• Файлы
• Ключевые слова
• Литература

Козина А.В. 1 Черепков Е.А. 1 Белов Ю.С. 1

---

1 Калужский филиал ФГБОУ ВО «Московский государственный технический университет имени Н.Э. Баумана (национальный исследовательский университет)»

В настоящее время одним из наиболее эффективных подходов в области разработки систем машинного перевода (МП) является подход на основе выравнивания фраз. Методы на основе такого подхода используют непрерывные последовательности слов в качестве единиц перевода. Выравнивание потенциально может улучшить качество систем машинного перевода, поскольку учитывает общие отношения, порядок, контекст между словами. В данной статье предлагается подход к оценке качества машинного перевода с использованием фразового выравнивания. Вводятся функции выравнивания в пределах фразы и за её границами, а также функция покрытия, функция корреляции между частотами исходных и целевых фраз. На основе предложенных функций строится итоговая модель оценки машинного перевода. Проводится тестирование разработанной модели. Определяется наиболее подходящая размерность N-грамм – N последовательных слов для каждой фразы выравнивания. Проводится сравнение данного подхода с традиционными метриками оценки качества перевода, такими как BLEU, GTM, TER и METEOR. Результаты показывают, что предлагаемый подход имеет наилучшую производительность, а также для набора данных WMT 2013 обеспечивает повышение точности не менее 13,92?% по сравнению с традиционными метриками.

Статья в формате PDF

600 KB

оценка качества машинного перевода

выравнивание в машинном переводе

выравнивание на основе слов

выравнивание на основе фраз

BLEU

GTM

TER

METEOR

1. Козина А.В., Черепков Е.А., Белов Ю.С. Обзор подходов к машинному переводу // Международный студенческий научный вестник. 2018. № 6. [Электронный ресурс]. URL: https://www.eduherald.ru/ru/article/view?id=19408 (дата обращения: 25.12.2019).

2. Koehn P. Statistical Machine Translation, 1st ed. New York, NY, USA: Cambridge University Press, 2010. P. 488.

3. Ond?rej Bojar, Rajen Chatterjee, Christian Federmann, Barry Haddow, Matthias Huck, Chris Hokamp, Philipp Koehn, Varvara Logacheva, Christof Monz, Matteo Negri, Matt Post, Carolina Scarton, Lucia Specia, and Marco Turchi. Findings of the 2015 workshop on statistical machine translation. In Proceedings of the Tenth Workshop on Statistical Machine Translation. Lisbon, Portugal // Association for Computational Linguistics. 2015. vol. Proceedings of the Tenth Workshop on Statistical Machine Translation. P. 1–46. [Electronic resource]. URL: https://www.aclweb.org/anthology/W15-3001 (date of access: 25.12.2019).

4. Phillips B. Cunei: Open-Source Machine Translation with Relevance-Based Models of Each Translation Instance // Machine Translation. 2011. vol. 25. no. 2. P. 161–177. DOI: 10.1007/s10590-011-9109-6.

5. Козина А.В., Черепков Е.А., Белов Ю.С. Автоматические метрики оценки качества машинного перевода // Системный администратор. 2019. № 11 (204).

6. Chen B., Cherry C. A systematic comparison of smoothing techniques for sentence-level BLEU // Association for Computational Linguistics. 2014, vol. Proceedings of the Ninth Workshop on Statistical Machine Translation. P. 362–367. [Electronic resource]. URL: https://www.aclweb.org/anthology/W14-3346 (date of access: 25.12.2019).

7. Liu C., Dahlmeier D., H.T. Ng. Better evaluation metrics lead to better machine translation. // Association for Computational Linguistics. 2011, vol. Proceedings of the 2011 Conference on Empirical Methods in Natural Language Processing. P. 375–384. [Electronic resource]. URL: https://www.aclweb.org/anthology/D11-1035 (date of access:25.12.2019).

Этап выравнивания является важной частью машинного перевода, который заключается в определении соответствия между словами/фразами имеющими одинаковое значение на одном языке со словами/фразами на другом языке. Результатом выравнивания является параллельный текст, который используется для инициализации систем машинного перевода [1]. Улучшение выравнивания позволяет увеличить точность создаваемого системой перевода и кроме того способно внести значительный вклад при оценке качества такого перевода. Целью исследования является разработка подхода к оценке качества машинного перевода с использованием фразового выравнивания.

Механизм выравнивания на основе слов

Рассмотрим механизм выравнивания на примере [2]. Одним из способов визуализации задачи выравнивания является матрица (рис. 1).

Здесь соответствующие выравнивания между словами представлены точками в матрице выравнивания. Выравнивания слов не обязательно должны иметь однозначное соответствие. Слова могут иметь несколько точек выравнивания или не иметь их вовсе. Так, на рис. 1 английское слово assumes соответствует трем немецким словам geht davon aus. Однако не всегда легко установить корректное выравнивание слов. Основная проблема заключается в том, что некоторые слова не имеют четкого эквивалента на другом языке.

Рис. 1. Пример матрицы выравнивания слов: Слова на английском языке (строки) выровнены по словами на немецком языке (столбцы), как указано точками в матрице

Для учета выравнивания по нескольким словам можно применить модель выравнивания в двух направлениях: от источника к цели и от цели к источнику. Полученные в результате выравнивания слова могут быть объединены, например, путем объединения точек пересечения или объединения всех точек выравнивания. Этот процесс обычно называют симметризацией выравнивания [2].

Механизм выравнивания на основе фраз

Как уже было указано ранее, иногда одно слово на исходном языке переводится как два или более слова на целевом языке. Процесс симметризации не всегда помогает исправить подобную ситуацию [3]. Один из вариантов решения данной проблемы – использовать более крупные единицы перевода, например фразы. Процесс выравнивания на основе фраз включает в себя два шага:

– создание выравнивания на основе слов между каждой парой предложений параллельного корпуса;

– извлечение фразовых пар, которые соответствуют полученному выравниванию слов.

Для рассматриваемого примера пошаговый процесс извлечения выровненных фраз отражен в таблице.

Оценка выравнивания для каждой пары фраз строится поверх оценок выравнивания слов следующим образом:

(1)

(2)

Функция внешнего выравнивания

Выравнивание подразумевает не только то, что слова в пределах исходной фразы выровнены со словами в пределах целевой фразы, но также что оставшаяся часть исходного предложения, выровнена с подобной частью целевого предложения. Предположим, что набор фраз в исходном предложении – S, в целевом – T. Функция внешнего выравнивания будет выглядеть следующим образом:

(3)

(4)

sout и tout – набор фраз за пределами соответствия между и .

Функция покрытия

Кроме того, полезно учесть, какую часть переводимого текста покрывает рассматриваемая фраза. Пусть и представляют исходную и целевую фразы, S и T представляют исходное и целевое предложения. Отношения и отражают покрытие текста каждой выровненной фразой (1 – предложение охвачено полностью, 0 – отсутствие покрытия). Соответствующие функции выглядят следующим образом:

(5)

(6)

Корреляция между частотами исходных и целевых фраз

С целью сохранить количество предложений в корпусе, в которых встречается конкретная выровненная фраза, вводится дополнительная функция. Пусть – число вхождений фразы в корпус. Аналогичным образом, – число вхождений фразы в корпус. Функция частот будет выглядеть следующим образом:

(7)

Функция итоговой оценки

Учитывая пару фраз и выровненное соответствие , определяется функция для обеспечения единого представления функций, описанных ранее:

(8)

Используем метод аппроксимации логарифмической модели для оценки единиц машинного перевода [4]. Общая функция оценки для пары фраз будет выглядеть следующим образом:

(9)

Результаты работы метода

Для оценки предложенного подхода использовался набор данных WMT 2013. Данные сопровождаются широким спектром языковых пар. В данной работе рассматривались две пары параллельных корпусов: французско-английский и испанско-английский. Параллельные корпуса сопровождаются ручными и автоматическими оценками перевода [5]. Для оценки эффективности данного подхода результаты сравнивались с традиционными метриками оценки МП, такими как BLEU [6], GTM, TER и METEOR [7].

Для определения корреляции с человеческими суждениями использовался коэффициент корреляции баллов Спирмана.

(10)

где dij – евклидово расстояние, вычисляемое как разница между данной метрикой оценки и оценкой суждения человека, n – число переводов.

В предлагаемом подходе необходимо было выбрать наиболее подходящую размерность N-грамм. N-грамма состоит из N последовательных слов для каждой фразы выравнивания. Рис. 2, 3 демонстрируют влияние выбора различных значений N на точность предложенного подхода.

Было обнаружено, что уменьшение значения N приводит к устойчивому улучшению корреляции с человеческими суждениями. В связи с этим было решено проводить дальнейшее тестирование с N-граммами в размере 5 и 9 слов.

На рис. 4, 5 представлена сводная информация о результатах корреляции предлагаемого подхода в сравнении с другими метриками.

Результаты показали, что предлагаемый подход имеет наилучшую производительность на тестируемом наборе данных. Предложенный подход обеспечивает повышение точности не менее чем на 3,85 %.

Заключение

Таким образом, разработанный в данной работе подход показывает лучшие результаты в сравнении с традиционными метриками машинного перевода. Данный подход имеет потенциал, может быть в дальнейшем улучшен, например, введением дополнительных вероятностных функций с учетом различных границ выравнивания, а также с включением человеческих оценок в процесс обучения системы.

Библиографическая ссылка