비전·음성·추천

DOMAIN / 24번째 글

AI 음악 생성: MusicGen·AudioCraft·Suno AI 완전 해설

신경망 코덱이 소리를 토큰으로 바꾸는 법, 잔차 양자화와 지연 패턴, 텍스트·멜로디 조건, 자기회귀와 확산의 차이, FAD·CLAP 평가와 저작권·라이선스 확인까지 음악 생성의 원리를 정리합니다.

PALDYN Team34 MIN READ

지난 글에서 VITS·XTTS·CosyVoice 등 신경망 음성 합성 기술을 살펴봤다. 이 글은 말 대신 음악을 만드는 음악 생성(music generation)을 다룬다. 2023년 Meta가 텍스트 한 줄로 수십 초 길이의 음악을 만드는 MusicGen을 공개했고, 비슷한 무렵부터 Suno 같은 상용 서비스가 보컬까지 든 노래를 내놓기 시작했다. 여기서는 제품 목록보다 그 밑의 원리를 따라간다. 소리를 토큰으로 바꾸는 법, 여러 겹의 토큰을 어떤 순서로 예측하는지, 텍스트로 조건을 거는 법, 자기회귀와 확산이 갈리는 자리를 차례로 보고, 마지막에 평가 지표와 쓰기 전에 확인할 조건을 정리한다.

오디오 토큰화

샘플 수의 벽

디지털 오디오는 공기 압력의 변화를 일정한 간격으로 잰 숫자의 열이다. 1초에 몇 번 재는지를 샘플링 레이트라 하고, 잰 숫자 하나하나를 샘플이라 부른다. CD 음질은 44,100Hz, 곧 1초에 샘플 44,100개다. 30초짜리 스테레오 곡이면 44,100 × 30 × 2 = 2,646,000개의 숫자가 된다.

언어 모델이 글자를 다루듯 이 숫자 하나하나를 토큰으로 놓고 트랜스포머에게 다음 값을 예측하게 하면 어떻게 될까. 트랜스포머의 셀프 어텐션은 시퀀스 안의 모든 위치 쌍을 서로 견주므로 비용이 길이의 제곱으로 늘어, 길이 264만이면 위치 쌍이 약 7×10¹²개다. 문맥 수천~수만 토큰을 다루는 모델에게도 감당할 수 없는 크기다.

길이보다 더 근본적인 문제도 있다. 샘플 하나는 음악적으로 아무 뜻이 없다. 1/44,100초 안에서는 음표도 박자도 보이지 않고, 같은 음을 조금 크게 연주하기만 해도 숫자 열이 통째로 달라진다. 그래서 음악 생성 모델은 파형을 먼저 훨씬 짧고 뜻이 담긴 토큰 열로 줄인다. 이 일이 오디오 토큰화이고, 텍스트 모델의 토크나이저와 같은 자리에 선다.

신경망 코덱

줄이는 도구가 신경망 오디오 코덱이다. 코덱은 소리를 압축했다가 되살리는 장치인데, MP3·AAC 같은 전통 코덱은 사람 귀가 잘 못 듣는 성분을 덜어 내는 규칙을 사람이 설계했다. 신경망 코덱은 그 규칙을 학습으로 얻는다.

구조는 세 단계다. 인코더 신경망이 파형을 짧은 구간마다 벡터 하나로 줄인다. 이 구간 하나를 프레임이라 부른다. 다음으로 그 벡터를 미리 정해 둔 대표 벡터 목록에서 가장 가까운 항목의 번호로 바꾸는데, 이 목록이 코드북이다. 마지막으로 디코더 신경망이 번호를 받아 파형을 다시 그린다. 번호가 곧 토큰이고, 학습은 되살린 소리가 원래 소리와 가깝게 들리도록 인코더·코드북·디코더를 함께 맞추는 절차다. Meta가 2022년 발표한 EnCodec이 대표적이고, MusicGen은 32kHz 음악에 맞춰 학습한 EnCodec을 토크나이저로 쓴다.

전통 코덱과 가장 크게 다른 점은 출력이 이산 번호라는 것이다. MP3 파일 안의 값은 언어 모델이 예측할 어휘가 되지 못하지만, 코드북 번호는 텍스트의 토큰 id처럼 「어휘 2,048개 중 하나」 꼴이다. 그래서 다음 토큰 예측, 샘플링, 문맥 창 같은 언어 모델의 기법을 그대로 가져다 쓸 수 있다.

초당 토큰 수

MusicGen이 쓰는 EnCodec은 32kHz 오디오를 640샘플마다 끊어 1초에 프레임 50개를 만든다. 코드북은 네 개를 겹쳐 쓰고(왜 겹치는지는 다음 절에서 본다) 프레임마다 그 넷에서 번호를 하나씩 뽑으므로 1초는 50 × 4 = 200토큰이다. 코드북 하나의 크기가 2,048이라 번호 하나는 11비트이고, 비트레이트는 200 × 11 = 2,200비트, 약 2.2kbps가 된다.

30초 곡으로 따라가 보면 프레임 1,500개, 토큰 6,000개다. 같은 30초가 32kHz 모노 샘플로는 960,000개였으니 160분의 1로 줄었다. 아래 코드는 범용 24kHz EnCodec으로 파일 하나를 토큰으로 바꿨다 되살리는 예다. 이 모델은 1초에 75프레임을 만들고 6kbps 설정에서 코드북 8개를 쓰므로 토큰 배열의 모양이 MusicGen 쪽과 다르다.

import torch
import torchaudio
from encodec import EncodecModel
from encodec.utils import convert_audio

model = EncodecModel.encodec_model_24khz()
model.set_target_bandwidth(6.0)  # 6 kbps → 코드북 8개

wav, sr = torchaudio.load("input.wav")
wav = convert_audio(wav, sr, model.sample_rate, model.channels).unsqueeze(0)

with torch.no_grad():
    frames = model.encode(wav)                         # 오디오 → 토큰
    codes = torch.cat([f[0] for f in frames], dim=-1)  # (1, 8, T), 1초에 T=75
    decoded = model.decode(frames)                     # 토큰 → 오디오

torchaudio.save("reconstructed.wav", decoded[0], model.sample_rate)

잔차 벡터 양자화

겹마다 메우는 오차

벡터를 코드북 번호 하나로 바꾸는 일을 벡터 양자화라 한다. 가장 가까운 대표 벡터를 고르는 것이라 고른 것과 원래 벡터 사이에 오차가 남는다. 오차를 줄이려면 코드북을 키워야 하는데, 2,048개짜리 넷이 내는 정밀도를 코드북 하나로 내려면 항목이 2,048⁴, 곧 2⁴⁴개 필요하다. 17조 개가 넘는 목록은 저장도 검색도 안 된다.

잔차 벡터 양자화(RVQ, residual vector quantization)는 코드북을 겹으로 쌓아 이 문제를 푼다. 첫 코드북이 벡터를 대충 근사하고, 남은 차이인 잔차를 두 번째 코드북이 근사하고, 그래도 남은 것을 세 번째가 근사하는 식이다. 디코더 쪽에서는 겹마다 고른 벡터를 모두 더해 원래 벡터를 되살린다. 2,048개짜리 넷이면 저장하는 항목은 8,192개뿐인데 표현하는 조합은 2⁴⁴가지다.

1차원으로 줄여 숫자로 한 번 따라가 보자. 원래 값이 0.73이고 첫 코드북이 0.0·0.5·1.0 가운데 가장 가까운 0.5를 고르면 잔차는 0.23이다. 두 번째 코드북이 더 촘촘한 값 가운데 0.25를 고르면 잔차는 −0.02, 세 번째가 −0.02를 고르면 잔차는 0이 된다. 0.5 + 0.25 − 0.02 = 0.73으로 원래 값이 돌아온다.

잔차 벡터 양자화가 겹마다 오차를 줄이는 과정

겹 수와 음질

그래서 겹마다 맡는 몫이 다르다. 첫 겹이 큰 줄기를 잡고 뒤 겹으로 갈수록 점점 미세한 결을 담는다. 뒤 겹을 버리고 앞 겹만 써도 소리는 나지만 거칠어진다. 이 성질이 곧 비트레이트 조절 장치다. 위 코드의 24kHz EnCodec은 1.5kbps에서 코드북 2개, 3kbps에서 4개, 6kbps에서 8개를 쓴다. 코드북 하나가 1,024개라 번호 하나가 10비트이고, 75프레임 × 8겹 × 10비트 = 6,000비트로 셈이 맞는다.

겹을 두 배로 늘리면 음질은 오르지만 토큰 수도 두 배가 된다. 압축만 할 때는 비트가 조금 늘 뿐이지만, 생성 모델에게는 예측해야 할 토큰이 두 배라는 뜻이다. MusicGen이 32kHz에 코드북 넷을 쓴 것은 이 맞바꿈에서 고른 한 점이다.

겹의 예측 순서

프레임마다 토큰이 넷이라는 사실이 생성에서 새 문제를 낳는다. 텍스트 언어 모델은 한 줄로 늘어선 토큰을 하나씩 예측하지만, 여기는 시간 축과 겹 축이라는 두 방향이 있다. MusicGen 논문은 이 넷을 어떤 순서로 예측할지 몇 가지 배치를 견줬다.

  • 펼치기: 모든 토큰을 한 줄로 늘어놓는다. 순서는 가장 정직하지만 30초에 6,000스텝을 밟아야 한다.
  • 병렬: 한 스텝에 같은 프레임의 넷을 동시에 낸다. 1,500스텝이면 되지만 둘째 겹은 첫 겹의 오차를 메우는 값인데, 첫 겹이 무엇을 골랐는지 모른 채 고른다.
  • 지연: k번째 겹을 k−1스텝 늦춰 놓는다. 한 스텝에 함께 내는 네 토큰은 서로 다른 프레임의 것이고, 둘째 겹을 고를 때 같은 프레임의 첫 겹은 이미 한 스텝 앞에 나와 있다.

MusicGen은 세 번째인 지연 패턴을 기본으로 삼았다. 스텝 수는 1,500 + 3 = 1,503으로 병렬과 거의 같은데, 겹 사이의 위아래 관계는 펼치기처럼 살아 있다. 어텐션 비용으로 보면 펼치기의 6,000² 대비 1,503²이라 약 16분의 1이다.

코드북 네 겹을 지연 패턴으로 배치한 격자

텍스트 조건

크로스 어텐션

원하는 쪽으로 끌고 가는 장치가 조건이고, MusicGen의 기본 조건은 텍스트다. 텍스트 프롬프트는 먼저 T5 인코더를 지나 벡터의 열이 된다. 그다음 오디오 토큰을 예측하는 트랜스포머 디코더의 각 층에서 크로스 어텐션이 이 열을 참조한다. 셀프 어텐션이 자기 앞에 놓인 오디오 토큰을 돌아보는 것이라면, 크로스 어텐션은 오디오 쪽에서 낸 질의로 다른 열인 텍스트 벡터 가운데 어디를 볼지 가중치를 매겨 섞는 것이다.

이 참조가 생성 스텝마다 일어난다는 점이 중요하다. 첫 토큰만 텍스트를 보고 나머지는 앞 토큰만 따라간다면 몇 초 뒤에는 프롬프트가 잊힌다. 스텝마다 다시 보기 때문에 30초 내내 「일렉트릭 기타가 든 록」이라는 조건이 유지될 길이 생긴다. MusicGen은 이 디코더의 크기에 따라 small(300M), medium(1.5B), large(3.3B)로 나뉜다.

MusicGen 음악 생성 파이프라인

조건을 얼마나 세게 따르게 할지는 classifier-free guidance가 정한다. 학습 때 일정 비율로 텍스트를 지운 채 학습해 같은 모델이 조건 없는 예측도 할 수 있게 해 두고, 생성 때 조건 있는 예측과 없는 예측의 차이를 계수만큼 키워 프롬프트 쪽으로 더 기울인다. 아래 코드의 cfg_coef가 그 계수이고 AudioCraft의 기본값은 3이다. 너무 키우면 다양성이 줄고 소리가 과장되기 쉬우니, 들어 보며 조정한다.

from audiocraft.models import MusicGen
import torchaudio

model = MusicGen.get_pretrained("facebook/musicgen-medium")
model.set_generation_params(duration=8, top_k=250, temperature=1.0, cfg_coef=3.0)

prompts = [
    "lo-fi hip hop, mellow electric piano, vinyl crackle, slow tempo, relaxed",
    "upbeat rock, distorted electric guitar, punchy drums, energetic",
]
wav = model.generate(prompts)  # (2, 1, T)
for i, audio in enumerate(wav):
    torchaudio.save(f"music_{i}.wav", audio.cpu(), model.sample_rate)

프롬프트 쓰기

모델은 텍스트 설명과 소리의 짝에서 배웠다. 그러니 학습 데이터에 자주 나오고 소리와 단단히 묶인 낱말일수록 결과를 잘 끌어당긴다. 장르 이름과 악기 이름이 그렇다. 「피아노」는 어떤 소리인지 분명하지만 「좋은 음악」이나 「행복한 느낌」은 여러 갈래로 풀릴 수 있어, 같은 프롬프트로 다섯 번 뽑으면 다섯 곡이 서로 딴판인 경우가 많다.

그래서 장르·악기·분위기·빠르기를 쉼표로 나눠 적는 쪽이 대개 다루기 쉽다. 위 코드의 첫 프롬프트처럼 적으면 결과가 마음에 안 들 때 어느 항목을 바꿀지가 보인다. 한 문장으로 뭉뚱그리면 무엇이 결과를 움직였는지 가르기 어렵다. 다만 「120 bpm」처럼 숫자로 적은 빠르기는 지켜질 때도 안 지켜질 때도 있으니 들어서 확인한다. 「calm」과 「aggressive drums」처럼 서로 부딪히는 항목을 함께 넣으면 모델이 둘 중 하나를 버리거나 어중간한 소리를 낸다.

언어도 본다. MusicGen이 쓰는 T5 인코더는 주로 영어 텍스트로 학습되어 한국어 프롬프트는 제대로 읽히지 않을 가능성이 크다. 「가야금」이 원하는 악기라면 「gayageum, Korean traditional plucked zither」처럼 영어로 풀어 적는 편이 안전하다.

멜로디 조건

텍스트만으로는 선율을 정할 수 없다. 「밝은 피아노 곡」이라고 적어도 어떤 음이 어떤 순서로 나올지는 모델 마음이다. MusicGen의 melody 변형은 참조 오디오를 함께 받아 이 빈자리를 채운다. 참조에서 뽑는 것이 크로마그램인데, 각 순간의 소리 에너지를 C부터 B까지 12개 음이름 칸에 접어 담은 표다. 옥타브와 음색은 버리고 「지금 어느 음이 울리는가」만 남긴다.

그래서 고정되는 것과 열리는 것이 분명하게 갈린다. 고정되는 것은 음 높이의 흐름, 곧 선율과 화성의 윤곽, 그리고 그것이 놓인 시간 위치다. 열리는 것은 악기, 장르, 옥타브, 리듬의 질감이고 이것은 텍스트가 정한다. 휘파람으로 부른 선율에 「jazz version with piano and saxophone」을 붙이면 같은 선율이 재즈 편성으로 나오는 식이다. 반대로 반주가 두껍게 섞인 곡을 참조로 주면 열두 칸이 여러 음으로 동시에 차서 선율이 흐려지기 쉽다.

from audiocraft.models import MusicGen
from audiocraft.data.audio import audio_read
import torchaudio

model = MusicGen.get_pretrained("facebook/musicgen-melody")
model.set_generation_params(duration=10)

melody, sr = audio_read("reference_melody.wav")
wav = model.generate_with_chroma(
    descriptions=["jazz version with piano and saxophone"],
    melody_wavs=melody.unsqueeze(0),
    melody_sample_rate=sr,
)
torchaudio.save("melody_jazz.wav", wav[0].cpu(), model.sample_rate)

자기회귀와 확산

두 생성 방식

MusicGen은 앞 토큰을 보고 다음 토큰을 내는 자기회귀 방식이다. 다른 큰 갈래가 확산 모델이다. 확산 모델은 데이터에 노이즈를 조금씩 더해 완전한 노이즈로 만드는 과정을 거꾸로 배워, 생성 때는 노이즈에서 시작해 여러 단계에 걸쳐 노이즈를 깎아 내며 데이터를 만든다. 파형에 직접 하면 길이가 너무 길어 비싸므로, 오토인코더로 오디오를 짧은 연속 벡터 열로 줄인 잠재 공간에서 확산을 돌리고 끝에 디코더로 파형을 되살린다. 이것이 잠재 확산이고, Stability AI가 2023년 공개한 Stable Audio가 이 방식이다.

두 방식은 만드는 모양이 다르다. 자기회귀는 왼쪽에서 오른쪽으로 한 스텝씩 써 나가며, 이미 쓴 토큰은 고치지 않는다. 확산은 곡 전체 길이를 한꺼번에 펼쳐 놓고 그 전체를 반복해서 다듬는다. 스텝 수도 다르게 정해진다. 자기회귀의 스텝 수는 길이에 비례해 30초면 1,503스텝이고 60초면 그 두 배다. 확산의 단계 수는 길이와 상관없이 정하는 값이라, 길이가 늘면 한 단계가 무거워질 뿐 단계 수는 그대로다.

길이 지정

이 차이가 가장 크게 드러나는 자리가 길이다. 자기회귀 모델은 곡이 어디서 끝나는지 모르고 생성한다. 원하는 길이에서 멈추면 곡이 끝맺음 없이 중간에서 끊긴다. 30초 조각으로 학습했다면 학습 데이터 자체가 대부분 곡 중간에서 잘린 토막이라 마무리를 배울 기회도 적다.

확산은 출력 길이가 정해진 캔버스라 처음부터 길이를 쥐고 있다. Stable Audio는 여기에 타이밍 조건을 더했다. 학습 때 잘라 낸 조각이 원곡의 몇 초에서 시작했는지와 원곡 전체가 몇 초인지를 텍스트와 함께 조건으로 준다. 그러면 생성 때 「시작 0초, 전체 40초」를 주어 그 길이 안에서 시작하고 끝나는 곡을 요청할 수 있다.

길이 상한과 쓰임새

MusicGen은 30초 조각으로 학습해 한 번에 낼 수 있는 길이도 30초 안팎이다. AudioCraft에는 앞 구간의 끝부분을 문맥으로 남겨 두고 이어 생성하는 방법이 있지만, 이음매에서 흐름이 바뀌기 쉽다. Stable Audio의 첫 판은 44.1kHz 스테레오로 최대 95초를 만들었고, Stability AI는 2024년 2.0에서 그 길이를 3분까지 늘렸다고 발표했다.

이 상한이 쓰임새를 가른다. 효과음은 몇 초면 충분하다. AudioCraft에 MusicGen과 같은 구조를 효과음 데이터로 학습한 AudioGen이 따로 있는 것도 그래서다. 영상의 배경 음악은 30초 루프를 되풀이해도 쓸 만하다. 하지만 3~4분짜리 완곡은 30초 상한으로는 이어 붙이기밖에 길이 없고, 그러면 아래 절의 구조 문제가 정면으로 드러난다. 음성·효과음·음악을 한 틀에서 만드는 잠재 확산 모델 AudioLDM 2(2023)도 공개되어 있다.

음악의 어려움

장거리 일관성

음성 합성에서는 한 문장이 몇 초면 끝나지만 음악은 박자와 조성이 수십 초, 길게는 몇 분을 이어져야 한다. 이것을 장거리 일관성이라 부른다. 숫자로 보면 얼마나 빡빡한지 보인다. 120 BPM이면 한 박이 0.5초, EnCodec 프레임으로 25개다. 30초는 60박, 4/4박자로 15마디다. 템포가 30초에 걸쳐 1%만 느려져도 끝에서는 0.3초, 반 박 넘게 밀린다.

자기회귀 생성에서는 이런 어긋남이 쌓인다. 스텝마다 확률 분포에서 토큰을 뽑으므로 가끔 조금 어긋난 토큰이 나오고, 그 토큰이 다음 스텝의 문맥이 되어 어긋난 쪽을 정상으로 받아들인다. 조성도 같다. C장조로 시작한 곡이 중간에 애매한 화음 몇 개를 지나면서 다른 조로 미끄러질 수 있다.

곡 구조

대중음악은 도입·절·후렴·브리지 같은 구간이 정해진 순서로 돌아오는 구조를 갖는다. 후렴이 두 번째로 돌아올 때는 1분 전에 나온 선율을 다시 가져와야 한다. 그런데 30초 창으로 생성한다면 그 선율은 이미 창 밖에 있어 모델이 볼 수 없다. 자기회귀 모델은 직전 문맥에서 가장 그럴듯한 다음을 고르므로, 곡이 계속 「어딘가의 중간」처럼 흘러가고 고조와 마무리가 흐려진다.

대응은 두 갈래다. 하나는 문맥을 늘려 앞 구간을 볼 수 있게 하는 것이고, 다른 하나는 구조를 명시적으로 알려 주는 것이다. 상용 서비스 중에는 가사 칸에 [Verse]·[Chorus] 같은 구획 표시를 받는 곳이 있다.

보컬과 반주

보컬이 들어가면 문제가 한 겹 더 생긴다. 가사를 알아듣게 발음해야 하고, 그 음절을 선율의 음표와 박에 맞춰야 하고, 노래 음정이 반주의 화성과 맞아야 한다. 음성 합성과 작곡과 편곡을 한꺼번에 하는 셈이고, 셋 중 하나만 어긋나도 귀에 바로 걸린다. 발음이 뭉개지거나, 음절이 박 사이에 끼거나, 노래가 반주보다 반음 높게 떠 있는 식이다. MusicGen은 공식 모델 카드에서 사실적인 보컬을 만들지 못한다고 밝히고 있다.

가사와 보컬이 든 완곡을 내는 쪽은 상용 서비스다. Suno는 2023년부터, Udio는 2024년부터 텍스트 프롬프트와 가사로 노래를 만드는 서비스를 열었다. 둘 다 모델 구조와 학습 데이터를 공개하지 않아 내부를 확인할 수는 없다.

음악 생성의 지표

FAD

생성한 음악이 얼마나 좋은지를 숫자로 재는 가장 흔한 지표가 FAD(Fréchet Audio Distance)다. 사전 학습된 오디오 분류 모델로 실제 음악 묶음과 생성 음악 묶음을 각각 임베딩, 곧 소리 하나를 고정 길이 벡터 하나로 바꾼다. 원래 제안에서는 VGGish라는 모델을 썼다. 그리고 각 묶음의 벡터들을 평균과 공분산을 가진 정규분포로 보고 두 분포 사이의 거리를 잰다. 이미지 생성의 FID를 오디오로 옮긴 것이다.

FAD=∥μr−μg∥2+tr(Σr+Σg−2(ΣrΣg)1/2)\mathrm{FAD} = \lVert \mu_r - \mu_g \rVert^2 + \mathrm{tr}\left(\Sigma_r + \Sigma_g - 2(\Sigma_r \Sigma_g)^{1/2}\right)

앞 항은 두 묶음의 평균이 얼마나 떨어졌는지, 뒤 항은 퍼진 모양이 얼마나 다른지를 잰다. 낮을수록 생성 음악의 분포가 실제 음악에 가깝다. 한계도 분명하다. 묶음 단위로 재므로 곡 하나의 좋고 나쁨은 말해 주지 않는다. 쓰는 임베딩 모델과 비교 묶음에 따라 값이 크게 달라져, 다른 논문의 FAD를 나란히 놓고 견주는 것은 조심해야 한다. 그리고 분류 모델이 듣는 특징만 반영하므로 박자가 흐트러진 것처럼 분류에 영향이 적은 결함은 잘 안 잡힌다.

CLAP 점수

FAD가 「음악처럼 들리는가」를 본다면, 프롬프트를 따랐는지는 CLAP으로 잰다. CLAP은 텍스트와 오디오를 같은 벡터 공간에 놓도록 대조 학습한 모델이다. 짝이 맞는 텍스트와 소리는 가깝게, 안 맞는 것은 멀게 배운다. 프롬프트의 벡터와 생성 음악의 벡터 사이 코사인 유사도가 CLAP 점수이고, 높을수록 프롬프트에 충실하다는 뜻이다.

이 점수가 재는 것은 「기타가 들리는가, 록처럼 들리는가」까지다. 곡이 좋은지, 박자가 맞는지, 구조가 있는지는 재지 않는다. 극단적으로 기타 리프 한 마디를 30초 내내 되풀이해도 「rock with electric guitar」와의 점수는 높게 나올 수 있다.

사람 평가

그래서 논문은 결국 사람에게 들려준다. 평가 항목은 흔히 셋으로 나눈다. 잡음이나 뭉개짐 없이 깨끗한지를 보는 음질, 프롬프트를 따랐는지를 보는 텍스트 충실도, 곡으로서 그럴듯한지를 보는 음악성이다. 셋을 나누는 이유는 서로 따로 움직이기 때문이다. 음질은 좋은데 프롬프트와 딴판인 곡도, 프롬프트는 따랐는데 지루한 곡도 있다.

비용은 빠르게 커진다. 예를 들어 모델 넷 × 프롬프트 50개 × 평가자 5명이면 1,000번을 들어야 한다. 한 번에 30초를 듣고 점수를 매기는 데 1분이 든다고 하면 1,000분, 약 17시간이다. 음악성은 취향을 타서 평가자 사이 편차가 크므로 평가자를 늘려야 하고, 그만큼 비용이 다시 는다.

쓰기 전에 볼 것

학습 데이터 분쟁

음악 생성에서 가장 큰 논쟁은 학습 데이터의 저작권이다. 2024년 6월 Universal Music Group·Sony Music·Warner Music 등 주요 음반사들이 Suno와 Udio를 상대로 저작권 침해 소송을 냈다. 저작권이 있는 음원을 허락 없이 학습에 썼다는 주장이고, 서비스 쪽은 학습이 공정 이용에 해당한다는 취지로 맞섰다. 분쟁은 진행 중이며, 학습 자체가 침해인지에 대한 법적 결론은 아직 정해지지 않았다고 보는 것이 맞다. 쓰기 전에 그 시점의 최신 상황을 확인한다.

대조되는 쪽도 있다. Meta는 MusicGen 학습에 라이선스를 확보한 음원 약 2만 시간을 썼다고 밝혔다.

사용 조건

모델과 서비스마다 상업적 사용 조건이 다르다. MusicGen은 코드가 MIT 라이선스이고 학습된 가중치는 CC-BY-NC 4.0이다. NC는 비상업이라는 뜻이라, 가중치를 상업 제품에 쓰거나 그 결과물을 상업적으로 쓰는 것은 피하는 편이 안전하다. 코드가 MIT라는 사실만 보고 전부 자유롭다고 읽으면 안 된다.

  • 오픈 모델: 코드와 가중치의 라이선스를 따로 확인한다.
  • 상용 서비스: 요금제마다 상업적 사용 허용 여부가 다른 경우가 많으니 생성한 날의 약관을 본다.
  • 참조 오디오: 멜로디 조건에 넣은 선율이 남의 곡이면 그 곡의 권리 문제는 그대로 남는다.

생성물의 권리

생성한 음악의 권리가 누구에게 가는지도 아직 정리되지 않았다. 한국 저작권법은 저작물을 인간의 사상 또는 감정을 표현한 창작물로 정의하고, 미국 저작권청도 사람의 창작적 기여가 없는 AI 생성물은 등록하지 않는다는 입장을 밝혔다. 프롬프트만 적고 나온 곡을 그대로 쓰면 보호받는 저작물이 되지 않을 수 있다는 뜻이다. 사람이 얼마나 손대야 보호받는지는 사안마다 판단이 갈린다.

실무에서는 기록이 대응의 중심이다. 쓴 모델과 서비스, 프롬프트, 생성 날짜와 그날의 약관을 남긴다. 사람이 편곡하거나 가사를 쓰거나 믹싱한 부분은 따로 적어 둔다. 공개하기 전에는 생성물이 잘 알려진 곡과 지나치게 비슷하지 않은지 들어 본다.

다음 글에서는 오디오를 넘어 텍스트·이미지·오디오를 한 모델에서 함께 이해하는 멀티모달 LLM을 다룬다.


읽어주셔서 감사합니다. 😊

LATEST

비전·음성·추천의 최신 글

비전·음성·추천2026.09.07

오프라인 강화학습 — 쌓인 로그만으로 정책을 배우기

실제 서비스에서 탐색은 곧 사용자에게 나쁜 행동을 해 보는 일입니다. 이미 쌓인 로그만으로 정책을 배우려 할 때 왜 Q값이 혼자 부풀어 오르는지, 그 부풀음을 누르는 세 갈래 대응, 행동 복제라는 기준선의 무게, 그리고 배포 전에 성능을 재는 일이 왜 가장 어려운지를 정리합니다.

30 MIN
비전·음성·추천2026.09.07

다국어 전이 — 라벨 없는 언어에서 모델이 동작하는 이유

영어 라벨만으로 학습한 분류기가 한국어 문장을 그대로 처리하는 일이 실제로 일어납니다. 여러 언어가 한 표현 공간에 겹쳐 놓이는 원리, 그 겹침이 무너지는 조건, 번역해서 학습할지 번역해서 추론할지 고르는 기준, 그리고 언어별로 나눠 재야 하는 이유를 정리합니다.

29 MIN
비전·음성·추천2026.09.07

정보 추출 — 글 한 덩이를 표 한 줄로 바꾸는 일

계약서와 이메일을 데이터베이스에 넣으려면 글에서 값을 뽑아 칸에 채워야 합니다. 개체명·관계·사건의 세 층위, 값을 정규화하는 일이 왜 절반인지, 근거 위치를 함께 남겨야 하는 이유, 규칙·전용 모델·언어 모델의 갈림길, 그리고 필드별로 재는 평가법을 정리합니다.

31 MIN