В данной статье приведен вариант использования модели Word2Vec и алгоритма k-means для кластеризации большого количества текстовой информации. Рассмотрены основные этапы работы модели: подготовка данных, генерация векторов слов и кластеризация слов. На этапе генерации векторов слов для обучения модели используется набор данных 20 Newsgroups data set. Для генерации используется модель Skip-gram. Для кластеризации используется алгоритм K-means, который разбивает N элементов на K-кластеров. Далее оценивается производительность модели и эффективность классификации, при помощи показателя F1-micro и времени работы алгоритма. На основе полученных результатов был сделан вывод о том, что модель Word2Vec успешно справляется с поиском семантически связанных слов и в результате получаются правильные кластеры.
This article describes the use Word2Vec model and k-means algorithm for clustering large amount of textual information. Describes the main stages of the model: data preparation, generation of words vectors and clustering words. At the stage of generation of word vectors for learning the model, the data set 20 Newsgroups data set is used. To generate the model is used Skip-gram. For clustering, the K-means algorithm is used, which splits N elements into K-clusters. Further, the model performance and classification efficiency are estimated using the F1-micro indicator and the algorithm running time. Based on the results obtained, it was concluded that the Word2Vec model successfully copes with the search for semantically related words, and as a result, the right clusters are obtained.
1. Mayer-Schonberger V. Big data: A revolution that will transform how we live, work, and think / V. Mayer-Schonberger, K. Cukier. – Houghton Mifflin Harcourt, 2013. – 242 p.
2. Аксютина Е.М., Белов Ю.С., Обзор архитектур и методов машинного обучения для анализа больших данных // Электронный журнал: наука, техника и образование. – 2016. – № 1 (5). – С. 134–141.
3. Аксютина Е.М., Белов Ю.С. Анализ оптимизированного алгоритма выравнивания биологических последовательностей // Электронный журнал: наука, техника и образование. – 2017. – № 2 (12). – С. 100–106.
4. Васильчикова А.В., Ткаченко А.В., Гришунов С.С. Обзор классов нереляционных баз данных // Электронный журнал: наука, техника и образование. – 2016. – № 4 (9). – С. 81–85.
5. Нифонтов С.В., Белов Ю.С. Применение вейвлет- анализа и нейронных сетей в системах распознавания дикторов // Информационные технологии в науке нового времени: сборник статей Международной научно-практической конференции. – 2016. – С. 41–45.
6. Mikolov T., Chen K., Corrado G., Dean J. Efficient Estimation of Word Representations in Vector Space // Proc. Workshop at ICLR. – 2013.
7. Mikolov T., Sutskever I., Chen K., Corrado G., Dean J., Distributed Representations of Words and Phrases and their Compositionality // Proc. NIPS. – 2013.
8. Mikolov T., Yih W., Zweig G., Linguistic Regularities in Continuous Space Word Representations // Proc. NAACL HLT. – 2013.
9. Wu J. Advances in K-means Clustering: A Data Mining Thinking (Springer Theses: Recognizing Outstanding Ph.D. Research) / J. Wu. – Springer. – 2012. – 180 p.
10. Lang K., 20 newsgroup data set [Электронный ресурс]. – URL: http://qwone.com/~jason/20Newsgroups/ (дата обращения: 17.10.17).
11. Гришанов К.М., Белов Ю.С. Метод классификации k – nn и его применение в распознавании символов // Фундаментальные проблемы науки: сборник статей Международной научно-практической конференции. – 2016. – С. 30–33.
12. Allen G. Vector quantization and signal compression / G. Allen, R.M. Gray. – Springer Science & Business Media. – 2012. – vol. 159. – 732 p.
13. Pedregosa F. Scikit-learn: Machine Learning in Python // JMLR 12. – 2011. – Р. 2825–2830.
14. Long Ma, Yanqing Zhang. Using Word2Vec to process big text data // Big Data (Big Data), IEEE International Conference. – 2015.
15. Sebastiani F. Machine learning in automated text categorization // ACM Computing Surveys. – 2002. – № 34 (1). – Р. 1–47.