Стем (stem)

Стем (stem) — отдельная составляющая музыкального микса: вокал, барабаны, бас, инструменты. В студии стемы существуют изначально (каждый инструмент писали отдельно). Проблема в том, что слушатель получает готовый микс, где всё уже сведено в две дорожки стерео.

Разделение на стемы

Нейросетевое разделение на стемы решает обратную задачу: из готового трека вытащить обратно вокал, барабаны и остальное. Ещё несколько лет назад это считалось невозможным — сигналы перекрываются по частотам. Модели, обученные на тысячах пар «микс → его дорожки», научились разделять их с качеством, которого хватает для караоке, ремиксов, семплирования и учебного разбора аранжировки.

Где границы

Чем плотнее микс и чем больше в нём реверберации, тем хуже разделение: появляются призвуки, «переливание» одного инструмента в дорожку другого. Чистая запись с чёткими партиями делится почти идеально; стена звука из хард-рока — с артефактами. Технически стемы получают те же диффузионные модели и спектральные сети, что и другие инструменты обработки звука.