AI는 어떻게 음악을 만들까?

악보도 모르는 기계가 어떻게 노래를 부를까

2023년 봄, 한 인디 뮤지션이 인터넷에 짧은 글을 하나 올렸습니다. “나는 15년 동안 기타를 쳤다. 그런데 방금 처음 보는 프로그램에, 딱 한 문장을 쳐 넣었더니, 30초 만에 내가 원하던 분위기의 노래가 완성됐다. 가사도, 멜로디도, 보컬의 숨소리 떨림까지도.” 그가 입력한 문장은 이랬습니다. “비 오는 밤, 헤어진 연인을 그리워하는 잔잔한 어쿠스틱 발라드, 여자 보컬.” 그리고 정말로, 스피커에서는 마치 어딘가에 존재했을 법한 가수가 부르는 노래가 흘러나왔습니다.

이상한 일입니다. 음악은 원래 사람의 것이었습니다. 슬픔을 느껴본 사람만이 슬픈 노래를 쓸 수 있고, 사랑을 해본 사람만이 사랑 노래의 진심을 알 수 있다고 우리는 믿어왔습니다. 그런데 한 번도 사랑을 해본 적 없고, 심장도 없고, 눈물도 흘려본 적 없는 컴퓨터 프로그램이 그럴듯한 이별 노래를 만들어냅니다. 심지어 그 노래를 들은 사람들 중 상당수는 사람이 만든 곡인지 AI가 만든 곡인지 구분하지 못합니다.

그렇다면 궁금해집니다. 이 기계는 도대체 무엇을 ‘알고’ 있길래 노래를 만들 수 있는 걸까요. 악보를 배운 적도 없고, 화성학 수업을 들은 적도 없는데 말입니다. 혹시 우리가 생각하는 방식과는 전혀 다른 방식으로 음악을 ‘이해’하고 있는 건 아닐까요. 그리고 이 기술이 발전한다면, 언젠가 우리가 라디오에서 듣는 노래의 절반은 사람이 아니라 기계가 만든 곡이 되는 날이 올까요. 이 글은 바로 그 질문에서 시작합니다.

왜 이것이 중요한가

지금 우리는 인류 역사상 처음으로 창작의 영역에 기계가 진지하게 손을 뻗은 시대를 살고 있습니다. 그림, 소설, 그리고 음악까지 말입니다. 그중에서도 음악은 특별한 위치에 있습니다. 그림은 한 장의 결과물이지만, 음악은 시간이 흐르는 동안 계속 유지되어야 하는 예술입니다. 1절과 2절의 멜로디가 이어져야 하고, 코드 진행이 자연스럽게 흘러야 하고, 보컬의 숨소리 하나까지 어색하지 않아야 합니다. 그림보다 훨씬 더 정교한 ‘시간 관리’가 필요한 예술이라는 뜻입니다.

그럼에도 불구하고 AI 음악 생성 기술은 놀라운 속도로 발전했습니다. 2026년 현재, 수노(Suno)나 유디오(Udio) 같은 서비스에 문장 하나만 입력하면 완성된 곡 한 곡이 몇십 초 만에 만들어집니다. 이미 유튜브 배경음악, 광고 음악, 심지어 일부 대중음악 시장에까지 AI 생성곡이 스며들고 있습니다. 동시에 세계 최대 음반사들이 이 기술을 만든 회사들을 상대로 소송을 걸었습니다. 음악 산업 전체가 이 기술을 두고 기대와 두려움 사이에서 흔들리고 있는 셈입니다.

이 기술이 어떻게 작동하는지 이해하는 것은, 단순히 신기한 발명품 하나를 아는 것과는 다릅니다. 창작이라는 것이 무엇인지, 예술에서 ‘인간다움’이 정확히 어디에 있는지를 다시 묻게 만드는 질문이기 때문입니다.

기계가 음을 낸 첫걸음

기계가 음악을 ‘작곡’하려는 시도는 사실 컴퓨터 시대 초창기부터 있었습니다. 1957년, 미국 일리노이 대학의 연구자 레자런 힐러는 컴퓨터로 화성 규칙을 계산해 현악 4중주 악보를 만들어냈습니다. 이른바 ‘일리악 조곡’입니다. 하지만 이때의 컴퓨터는 정해진 규칙, 즉 “이 음 다음에는 이런 음이 와야 한다”는 식의 확률표를 따라 음표를 나열하는 수준이었습니다. 사람이 미리 짜준 규칙 안에서 조합만 바꾸는 것이었으니, 창작이라기보다는 아주 정교한 제비뽑기에 가까웠습니다.

진짜 변화는 2010년대 중반, 인공지능이 ‘규칙을 배우는’ 대신 ‘데이터를 보고 스스로 패턴을 찾는’ 방식으로 넘어가면서 시작됐습니다. 딥러닝이라는 기술 덕분입니다. 2016년 구글의 연구팀이 만든 웨이브넷(WaveNet)은 사람의 목소리와 피아노 소리를 음파 단위에서부터 예측하며 만들어내는 데 성공했습니다. 2020년에는 오픈AI가 ‘주크박스(Jukebox)’라는 모델을 공개했는데, 이는 처음으로 가사와 멜로디, 보컬까지 함께 만들어내는 시스템이었습니다. 다만 이때만 해도 음질이 라디오 잡음 섞인 옛날 카세트테이프 수준이었고, 한 곡을 만드는 데 몇 시간씩 걸렸습니다.

전환점은 2023년 이후 등장한 수노와 유디오 같은 서비스였습니다. 이들은 단 몇십 초 안에, 상업 방송에 내보내도 손색없을 만큼 깨끗한 음질의 완성곡을 만들어내기 시작했습니다. 흥미로운 점은, 이 발전이 순수하게 기술의 발전만은 아니었다는 사실입니다. 이 회사들은 인터넷에 존재하는 방대한 양의 음악 데이터를 학습에 사용했는데, 바로 이 지점에서 거대한 논쟁이 시작됩니다. 2024년 6월, 유니버설 뮤직 그룹과 소니 뮤직, 워너 레코드 등 세계 최대 음반사들이 수노와 유디오를 상대로 저작권 침해 소송을 제기했습니다. 자신들이 소유한 수백만 곡의 음원을, 허락도 받지 않고 AI 학습에 사용했다는 이유였습니다. 이 소송은 지금까지도 이어지고 있으며, 그 결론이 무엇이냐에 따라 앞으로 AI 음악 산업 전체의 판도가 달라질 수 있습니다.

기계는 노래를 ‘이해’하는 것이 아니라 ‘예측’한다

자, 이제 진짜 궁금한 부분입니다. AI는 대체 무슨 원리로 음악을 만들어낼까요.

첫 단계: 소리를 숫자로 바꾸기

사람은 음악을 들을 때 귀로 공기의 떨림을 받아들이고, 뇌가 그것을 멜로디와 리듬, 감정으로 해석합니다. 그런데 컴퓨터는 애초에 귀도 없고 감정도 없습니다. 컴퓨터가 다룰 수 있는 것은 오직 숫자뿐입니다. 그래서 AI 음악 생성의 첫걸음은 소리를 숫자로 바꾸는 작업입니다.

쉽게 비유하자면 이렇습니다. 우리가 사진을 아주 작은 점(픽셀)들의 집합으로 표현하듯이, 소리도 아주 짧은 시간 단위로 잘게 쪼개서 그 순간의 파형을 숫자로 기록할 수 있습니다. 1초짜리 소리도 수만 개의 숫자로 표현될 수 있다는 뜻입니다. 최근의 AI 모델들은 여기서 한 걸음 더 나아가, 소리를 ‘의미 있는 덩어리(토큰)’로 압축하는 방법을 씁니다. 마치 글을 쓸 때 알파벳 하나하나가 아니라 단어 단위로 생각하는 것과 비슷합니다. 소리의 자잘한 파형을 일일이 다루는 대신, “이건 피아노의 낮은 음”, “이건 드럼의 킥 소리” 같은 식으로 훨씬 압축된 단위로 다루는 겁니다. 이렇게 하면 계산량이 획기적으로 줄어들고, 그만큼 더 길고 복잡한 곡을 만들 수 있게 됩니다.

두 번째 단계: 방대한 음악을 ‘읽으며’ 패턴을 익히기

이렇게 소리를 숫자(토큰)로 바꾼 다음, AI는 인터넷과 음원 데이터베이스에 존재하는 어마어마한 양의 음악을 학습합니다. 정확히 몇 곡을 학습했는지는 회사마다 공개하지 않지만, 업계에서는 수백만 곡 단위로 추정합니다.

이때 AI가 하는 일은 사람이 음악 이론 수업에서 배우는 것과는 근본적으로 다릅니다. AI는 “이 코드 다음에는 이 코드가 와야 아름답다”는 규칙을 배우는 게 아니라, 수백만 곡의 데이터 속에서 “이런 소리 다음에는 통계적으로 이런 소리가 자주 나타나더라”는 확률적 패턴을 찾아냅니다. 비유하자면, 외국어를 문법책으로 배우는 대신, 그 언어로 된 책을 수백만 권 읽으면서 “아, 이런 상황에서는 대체로 이런 표현을 쓰는구나”를 감으로 체득하는 것과 비슷합니다. AI는 화성학을 ‘이해’하는 게 아니라, 화성학을 지킨 곡들이 워낙 많다 보니 그 패턴을 자연스럽게 흡수하는 셈입니다.

이 학습에 사용하는 핵심 기술이 바로 챗GPT 같은 언어 모델에도 쓰이는 ‘트랜스포머(Transformer)’ 구조입니다. 원래 문장 속 단어의 순서와 관계를 파악하기 위해 개발된 기술인데, 놀랍게도 음악의 음표 배열, 즉 시간에 따라 이어지는 흐름을 예측하는 데도 매우 효과적이라는 사실이 밝혀졌습니다. 결국 AI에게 노래 한 곡은 “특정한 순서로 배열된 소리 토큰들의 긴 문장”과 비슷하게 취급되는 셈입니다.

세 번째 단계: 노이즈에서 노래를 ‘조각해내기’

여기에 최근 몇 년 사이 이미지 생성 AI에서 크게 발전한 ‘디퓨전(diffusion, 확산)’ 기술이 음악에도 적용되기 시작했습니다. 이 방식은 비유하자면 조각가의 작업과 비슷합니다. 미켈란젤로는 다비드상을 두고 “나는 대리석 안에 이미 있던 다비드를 꺼냈을 뿐”이라고 말했다고 전해집니다. 디퓨전 모델도 비슷한 방식으로 작동합니다. 처음에는 완전히 무작위적인 잡음(노이즈) 덩어리에서 시작해서, 그 잡음을 아주 조금씩, 여러 단계에 걸쳐 지워나가면서 서서히 원하는 소리의 형태를 드러냅니다. 마치 흐릿한 안개 속에서 조금씩 형체가 뚜렷해지는 것처럼요.

이 두 가지 기술, 즉 순서를 예측하는 트랜스포머와 잡음을 걷어내는 디퓨전이 결합되면서, 짧은 시간 안에 상당히 완성도 높은 음악을 만들어낼 수 있게 된 것입니다.

그렇다면 가사와 목소리는 어떻게 만들어질까

가사 역시 원리는 비슷합니다. AI는 사용자가 입력한 짧은 설명(프롬프트), 예를 들어 “비 오는 날 이별을 그리워하는 발라드”라는 문장을 바탕으로, 이와 비슷한 정서를 담은 가사들의 패턴을 학습한 결과를 바탕으로 새로운 가사를 만들어냅니다. 여기에 챗GPT 같은 대형 언어 모델의 기술이 그대로 활용됩니다.

목소리는 조금 더 흥미롭습니다. AI는 실제로 존재하는 특정 가수의 목소리를 흉내 내는 것이 아니라(허락 없이 그렇게 하면 명백한 법적, 윤리적 문제가 됩니다), 수많은 보컬 데이터를 학습해서 “이런 장르, 이런 감정에는 이런 톤과 발성이 어울린다”는 통계적 특성을 익힌 뒤, 그 특성을 반영한 ‘새로운’ 가상의 목소리를 합성해 냅니다. 2026년 기준으로는 여기서 한 걸음 더 나아가, 사용자가 자신의 목소리를 직접 학습시켜서 자신만의 목소리로 노래하게 만드는 기능까지 등장했습니다. 물론 이 경우에는 본인 확인 절차를 거치도록 만들어, 타인의 목소리를 도용하는 것을 막고 있습니다.

그래서 결국, AI는 ‘창작’을 하는가

이 질문에 대한 답은 아직 논쟁 중입니다. AI가 하는 일을 냉정하게 표현하면 이렇습니다. “방대한 양의 기존 음악에서 통계적 패턴을 학습한 뒤, 그 패턴에 기반해 가장 그럴듯한 다음 소리를 예측해서 이어붙이는 것.” 사람의 창작 과정과는 분명 다릅니다. 사람은 실연의 아픔을 실제로 느끼고 그 감정을 음악으로 승화시키지만, AI는 슬픔이라는 감정을 경험한 적이 단 한 번도 없습니다. 다만 ‘슬픈 노래들의 공통된 소리 패턴’을 알고 있을 뿐입니다.

그런데 흥미로운 점은, 결과물만 놓고 들었을 때는 이 차이를 구분하기가 점점 어려워지고 있다는 사실입니다. 이는 창작이라는 것이 우리가 생각했던 것보다 훨씬 더 ‘패턴의 조합’에 가까운 것일 수도 있다는 불편한 질문을 던집니다.

이미 우리 곁에 들어온 AI 음악

이론만으로는 실감이 나지 않으니 실제 사례를 몇 가지 살펴보겠습니다.

첫째, 유튜브 크리에이터들의 배경음악입니다. 예전에는 저작권 걱정 없는 음악을 찾기 위해 무료 음원 사이트를 뒤지는 게 일이었습니다. 지금은 많은 1인 크리에이터들이 AI에게 “잔잔하고 희망적인 브이로그용 배경음악”이라고 입력해 몇 초 만에 원하는 곡을 얻습니다.

둘째, 광고 및 기업 홍보 음악입니다. 짧은 캠페인송이나 로고송처럼 예산이 크지 않은 프로젝트에서 AI 생성 음악이 빠르게 활용되고 있습니다. 실제로 국내 음악 교육 현장에서도 학생들이 캠페인송이나 광고음악을 만드는 실습에 AI 음악 생성 도구를 활용하는 사례가 늘고 있습니다.

셋째, 조금 더 복잡한 사례로 아티스트들의 작업 보조 도구로 쓰이는 경우입니다. 완전히 새로운 곡을 처음부터 끝까지 AI에게 맡기는 것이 아니라, 곡의 초안이나 특정 파트의 아이디어를 얻기 위한 브레인스토밍 도구로 활용하는 뮤지션들이 늘고 있습니다. 마치 화가가 스케치를 여러 장 그려보며 구도를 잡듯이, 몇 초 만에 다양한 버전의 멜로디를 들어보고 그중 마음에 드는 아이디어를 골라 실제 작업에 반영하는 식입니다.

넷째, 산업 차원의 움직임도 있습니다. AI 음악 생성 회사와 대형 음반사 사이의 갈등이 이어지는 가운데, 한쪽에서는 소송이, 다른 한쪽에서는 라이선스 계약이 동시에 진행되고 있습니다. 일부 AI 음악 서비스는 유명 음반사와 정식 라이선스 계약을 맺어, 합법적인 데이터를 바탕으로 서비스를 운영하는 방향으로 선회하고 있습니다. 이는 무제한적으로 자유롭게 곡을 뽑아내던 초기의 ‘도구’에서, 규칙과 제한이 있는 정식 ‘서비스’로 이 산업이 변화하고 있음을 보여줍니다.

사람 작곡가와 AI, 무엇이 다른가

구분	사람 작곡가	AI 음악 생성 모델
학습 방식	감정, 경험, 스승에게 배운 이론	수백만 곡의 데이터 속 통계적 패턴
창작 동기	표현하고 싶은 감정, 메시지	입력된 프롬프트에 대한 확률적 예측
속도	한 곡에 며칠에서 몇 달	수십 초에서 수 분
저작권	창작자 본인에게 귀속	국가·서비스마다 법적 지위 불명확
독창성의 기준	새로운 감정과 경험의 표현	기존 패턴들의 새로운 조합
실수와 개성	의도적 일탈, 예상 밖의 표현	학습 데이터의 평균적 경향을 따르는 편향
감정적 진정성	실제 경험에서 우러남	통계적으로 그럴듯하게 흉내 냄

이 표에서 가장 눈여겨봐야 할 항목은 ‘독창성의 기준’입니다. 사람의 창작이 완전히 무(無)에서 유(有)를 만드는 것이 아니라는 점도 사실입니다. 모든 작곡가는 앞선 세대의 음악을 듣고 영향을 받으며 자신의 스타일을 만듭니다. 그런 의미에서 AI가 하는 일이 사람의 창작 과정과 본질적으로 완전히 다르다고 단정 짓기는 생각보다 어렵습니다. 다만 결정적인 차이는, 사람은 그 조합 뒤에 ‘의도’와 ‘감정’이라는 것이 존재하고, AI에게는 그것이 없다는 점입니다.

오늘날 우리에게 주는 의미

이 기술이 우리 삶에 던지는 질문은 세 갈래로 나눌 수 있습니다.

첫째, 산업의 질문입니다. 배경음악, 광고음악처럼 상대적으로 단순하고 반복적인 수요가 많은 시장에서는 이미 AI가 빠르게 자리를 차지하고 있습니다. 이는 관련 업계에 종사하던 세션 음악가나 작곡가들의 일자리에 실질적인 영향을 주고 있는 변화입니다.

둘째, 저작권과 법의 질문입니다. AI가 학습한 데이터의 소유권은 누구에게 있는가, AI가 만든 곡의 저작권은 누구에게 귀속되는가는 아직 세계 어느 나라에서도 명확하게 정리되지 않은 문제입니다. 미국 저작권청은 순수하게 AI가 만든 창작물에는 저작권을 인정하지 않지만, 사람이 충분히 개입해 만든 결과물에는 저작권이 인정될 수 있다는 입장을 밝힌 바 있습니다. 이 기준이 앞으로 어떻게 구체화되느냐에 따라 창작 산업의 지형이 크게 달라질 것입니다.

셋째, 조금 더 근본적인 질문입니다. 우리는 왜 음악을 듣는가라는 질문입니다. 만약 어떤 노래가 감정적으로 완벽하게 나를 위로해준다면, 그 노래를 만든 존재가 실제로 슬픔을 느껴본 적이 있는지 없는지가 정말 중요한 문제일까요. 아니면 결과로서의 감동이 전부일까요. 이 질문에 대한 답은 사람마다 다를 것입니다. 다만 확실한 것은, AI 음악 기술이 발전할수록 우리는 예전에는 당연하게 여겼던 ‘창작이란 무엇인가’, ‘예술가란 누구인가’라는 질문을 계속 다시 던지게 될 것이라는 점입니다.

핵심 정리

• AI는 음악을 ‘이해’하는 것이 아니라, 방대한 데이터에서 소리의 통계적 패턴을 학습해 다음에 올 소리를 예측하는 방식으로 작동한다.
• 소리를 잘게 쪼개 숫자(토큰)로 바꾼 뒤, 문장을 예측하는 것과 비슷한 방식(트랜스포머)과 잡음을 걷어내며 형체를 만드는 방식(디퓨전)을 결합해 곡을 완성한다.
• 2016년 웨이브넷, 2020년 주크박스를 거쳐 2023년 이후 수노, 유디오 등이 상업적 완성도의 음악을 순식간에 만들어내는 수준까지 발전했다.
• 세계 주요 음반사들은 AI 회사들의 무단 데이터 학습을 두고 소송을 제기했고, 일부는 라이선스 계약을 통해 갈등을 우회하고 있다.
• AI 음악의 저작권 지위는 아직 명확히 정리되지 않았으며, 이는 앞으로 창작 산업 전반에 큰 영향을 줄 문제다.

오늘의 한 문장

AI는 노래를 ‘느끼는’ 것이 아니라 ‘예측’할 뿐이지만, 그 예측이 우리의 마음을 움직인다면 창작의 정의 역시 다시 쓰여야 할지도 모릅니다.

FAQ

Q1. AI로 만든 음악은 저작권이 있나요? 현재 미국을 비롯한 여러 국가에서 순수하게 AI 혼자 생성한 음악은 저작권 보호를 받기 어렵다는 입장이 우세합니다. 다만 사람이 프롬프트 작성, 편집, 재구성 등에 충분히 개입했다면 저작권이 인정될 여지가 있습니다. 국가별, 서비스별로 기준이 다르므로 상업적으로 사용하려면 반드시 이용약관과 해당 국가의 법률을 확인해야 합니다.

Q2. 수노(Suno)나 유디오(Udio) 같은 AI 음악 생성 서비스는 어떻게 다른가요? 두 서비스 모두 텍스트 프롬프트를 입력하면 완성된 곡을 만들어주는 방식은 비슷하지만, 세부적인 음질, 가사 처리 방식, 편집 기능, 요금제 구조 등에서 차이가 있습니다. 두 회사 모두 지속적으로 버전을 업데이트하며 성능을 개선하고 있습니다.

Q3. AI가 만든 노래인지 사람이 만든 노래인지 구별할 수 있나요? 전문가들조차 일반적인 청취 환경에서는 구별이 점점 어려워지고 있다고 말합니다. 다만 매우 긴 곡이나 복잡한 구성, 미묘한 감정 표현이 필요한 부분에서는 여전히 어색함이 느껴지는 경우가 있습니다.

Q4. AI 음악 생성 기술 때문에 작곡가나 음악가들의 일자리가 사라질까요? 배경음악, 광고음악처럼 상대적으로 단순한 수요 영역에서는 이미 일부 대체가 일어나고 있습니다. 그러나 깊은 감정 표현이나 라이브 공연, 브랜드와 스토리가 결합된 음악처럼 사람의 경험과 개성이 핵심인 영역에서는 여전히 사람의 역할이 중요하다는 시각이 많습니다.

Q5. 일반인도 AI로 음악을 쉽게 만들 수 있나요? 네, 대부분의 AI 음악 생성 서비스는 음악 이론이나 악기 연주 경험이 전혀 없어도 원하는 분위기를 문장으로 입력하기만 하면 곡을 만들어주도록 설계되어 있습니다. 다만 원하는 결과물을 얻으려면 프롬프트를 구체적이고 명확하게 작성하는 연습이 필요합니다.