Аннотация. Одним из наиболее популярных направлений применения искусственного интеллекта на сегодняшний день является генерация музыки. Цель данной работы– рассмотреть существующие сегодня модели генерации аудиоданных, основанные на рекуррентных нейронных сетях, генеративных состязательных сетях, вариационных автоэнкодерах и трансформерах. В ходе исследования были проанализированы последние разработки в области генерации музыки. В статье были представлены наиболее современные архитектуры генерации аудиоданных. Модели, описанные в данной статье, используются для генерации мелодий, аранжировок, нот, сохраняя при этом стиль произведения и генерируя довольно продолжительные композиции. Представленные в тексте архитектуры, такие как MelodyRNN, C-RNN-GAN, MusicVAE и др., демонстрируют различные подходы и техники, используемые для создания музыкального контента на сегодняшний день. Каждая из этих моделей обладает как своими преимуществами, так и недостатками, а также зачастую используют комбинации различных подходов к построению алгоритмов. Данное исследование призвано показать многообразие подходов к генерации музыки на основе моделей глубокого обучения. Генерация музыки имеет большой потенциал применения, как помогая творческим людям, так и заменяя их.
Annotation. One of the most popular applications of artificial intelligence today is music generation. The purpose of this work was to consider the currently existing models of audio data generation based on recurrent neural networks, generative adversarial networks, variational autoencoders and transformers. The research analyzed the latest developments in the field of music generation. The most modern architectures of audio data generation were presented in the article. The models described in this article are used to generate melodies, arrangements, and notes, while maintaining the style of the piece and generating fairly long compositions. The architectures presented in the text, such as MelodyRNN, C-RNN-GAN, MusicVAE and others, demonstrate the various approaches and techniques used to create musical content today. Each of these models has its own advantages and disadvantages, and often use combinations of different approaches to building algorithms. This study aims to show the variety of approaches to music generation based on deep learning models. Music generation has great potential for use both as an assistant to creative people and as a substitute for them.
1.Мосин Е.Д., Белов Ю.С. Основы генерации музыки в волновом и нотном форматах // Наукоемкие технологии в приборо- и машиностроении и развитие инновационной деятельности в вузе: материалы Всероссийской научно-технической конференции. М., 2022. С. 71–75.
2.Мосин Е.Д., Белов Ю.С. Генерация музыки с использованием двунаправленной рекуррентной нейронной сети // Научное обозрение. Технические науки. 2023. № 1. С. 10–14.
3.Keerti G., Vaishnavi V.A., Mukherjee P. Attentional networks for music generation // Multimedia tools and applications. 2020. P. 1–5.
4.Makris D., Kaliakatsos-Papakostas M., Karydis I. Conditional neural sequence learners for generating drums’ rhythms // Neural Computing and Applications. 2019. № 31 (6). P. 1793–1804.
5.Natsiou A., O’Leary S. Audio representations for deep learning in sound synthesis: A review // IEEE/ACS 18th International Conference on Computer Systems and Applications (AICCSA). 2021. P. 1–8.
6.Oore S., Simon I., Dieleman S. This time with feeling: learning expressive musical performance // Neural Computing and Applications. 2020. № 32 (4). P. 955–967.
7.Liang T., Li P., Cao Y. Research on Generating Xi’an Drum Music Based on Generative Adversarial Network // 2023 IEEE International Conference on Sensors, Electronics and Computer Engineering (ICSECE). 2023. P. 1398–1402.
8.Brunner G., Wang Y., Wattenhofer R. Symbolic Music Genre Transfer with CycleGAN // IEEE 30th International Conference on Tools with Artificial Intelligence (ICTAI). 2018. P. 786–793.
9.Jin C., Tie Y., Bai Y. A Style-Specific Music Composition Neural Network // Neural Processing Letters. 2020. № 52 (3). P. 1893–1912.
10.Wei S., Xia G. Learning long term music representations via hierarchical contextual constraints // 22nd International Society for Music Information Retrieval Conference. 2021. P. 738–745.
11.Wang T., Liu J., Jin C. An intelligent music generation based on Variational Autoencoder // International Conference on Culture-oriented Science & Technology (ICCST). 2020. P. 394–398.
12.Luo J., Yang X., Ji S. MG-VAE: Deep Chinese Folk Songs Generation with Specific Regional Styles // Proceedings of the 7th Conference on Sound and Music Technology (CSMT), 2020. P. 93–106.
13.Lousseief E., Sturm B. MahlerNet: Unbounded Orchestral Music with Neural Networks // Nordic Sound and Music Computing Conference. 2019. P. 57–63.
14.Cao B., Fukumori T., Yamashita Y. Multi-Instruments Music Generation Based on Chord Input // 2023 IEEE 12th Global Conference on Consumer Electronics (GCCE). 2023. P. 1082–1083.
15.Choi K., Hawthorne C., Simon I. Encoding musical style with transformer autoencoders // International Conference on Machine Learning. 2020. P. 1899–1908.