Riffusion

Музыка и ее визуализация через искусственный интеллект   Музыка, созданная искусственным интеллектом, уже является достаточно инновационной концепцией, но Riffusion выводит ее на новый уровень с немного странным подходом, который создает убедительную музыку, используя не звук, а изображения звука.    Диффузия — это метод машинного обучения для создания изображений, которые за последний год произвели фурор в мире ИИ.   Сет Форсгрен и Айк Мартирос сделали для своего хобби-проекта Riffusion точную настройку Stable Diffusion на спектрограммах.   «Айк и я вместе играем в небольшой группе, и мы начали проект просто потому, что любим музыку и не знали, сможет ли Stable Diffusion создать изображение спектрограммы с достаточной точностью для преобразования в звук», — рассказал Форсгрен. «С каждым шагом на этом пути мы все больше и больше впечатлялись тем, что возможно, и одна идея ведет к другой».   Спектрограммы – это визуальные представления звука, которые показывают амплитуду различных частот во времени. Вы, вероятно, видели формы волны, которые показывают громкость с течением времени и делают звук похожим на серию холмов и долин; представьте, если бы вместо общей громкости он показывал громкость каждой частоты, от нижнего до верхнего предела.