생성형 AI는 어떻게 그림을 그릴까? — 노이즈 속에서 그림이 태어나는 순간

컴퓨터에게 “고양이가 우산을 쓰고 파리 에펠탑 앞에서 커피를 마시는 그림을 그려줘”라고 말하면, 몇 초 만에 실제로 그런 그림이 나타납니다. 그런데 한번 생각해 보십시오. 이 세상 어디에도 “우산 쓴 고양이가 에펠탑 앞에서 커피 마시는” 사진은 존재하지 않았습니다. 화가도 이런 그림을 그린 적이 없고, 사진작가도 이런 장면을 찍은 적이 없습니다. 그런데도 AI는 마치 실제로 본 적이 있다는 듯이, 아주 그럴듯한 그림을 뚝딱 만들어냅니다.

더 이상한 것은 그 방식입니다. 사람이 그림을 그릴 때는 스케치를 하고, 선을 다듬고, 색을 채우는 순서를 밟습니다. 하지만 놀랍게도 오늘날 가장 널리 쓰이는 AI 그림 생성 기술은 정반대의 방식으로 작동합니다. 완성된 그림에서 시작해서, 일부러 그림을 완전히 망가뜨려 지지직거리는 노이즈 덩어리로 만들어버린 다음, 그 노이즈를 조금씩 되돌리는 연습을 수백만 번 반복합니다. 그리고 실제로 새 그림을 그릴 때는, 이 “복구하는 능력”만 가지고 순수한 노이즈 화면에서 시작해 진짜 그림을 만들어냅니다. 비유하자면 안개 자욱한 창문을 계속 닦아내다 보니 그 안에 원래 없던 새로운 풍경이 서서히 떠오르는 것과 비슷합니다.

이 글에서는 이렇게 신비로워 보이는 AI 그림 생성의 원리를, 수식이나 전문 용어 없이 하나씩 풀어보려 합니다. 왜 이런 방식이 필요했는지, 어떻게 작동하는지, 그리고 그 결과 우리 삶과 사회는 어떻게 달라지고 있는지까지, 천천히 따라가 보겠습니다. 다 읽고 나면 여러분도 “AI가 그림을 그리는 원리”를 다른 사람에게 자신 있게 설명할 수 있게 될 것입니다.

왜 이것이 중요한가

2022년은 이미지 생성 AI의 원년이라 불릴 만합니다. 미드저니(Midjourney), 달리2(DALL-E 2), 스테이블 디퓨전(Stable Diffusion)이 잇달아 공개되면서, 그림을 전혀 그릴 줄 모르는 사람도 문장 하나로 원하는 이미지를 얻을 수 있는 시대가 열렸습니다. 실제로 2022년 한 미술 대회에서는 AI로 만든 작품이 디지털 아트 부문 1위를 차지해 큰 논쟁이 일기도 했습니다.

이 기술은 단순한 신기술이 아닙니다. 광고, 게임, 영화, 건축, 패션, 교육 등 이미지를 다루는 거의 모든 산업의 작업 방식을 바꾸고 있습니다. 동시에 저작권, 예술가의 일자리, 가짜 이미지로 인한 혼란 같은 사회적 질문도 함께 던지고 있습니다. 그래서 이 기술이 정확히 “무엇을, 어떻게” 하는지 이해하는 것은 이제 미술을 전공하지 않은 사람에게도 필요한 교양이 되었습니다. 원리를 알아야 이 기술의 한계와 가능성, 그리고 우리가 마주한 질문들을 제대로 판단할 수 있기 때문입니다.

AI는 원래 그림을 잘 그리지 못했다

사실 AI가 이미지를 만드는 시도는 꽤 오래되었습니다. 2014년, 이안 굿펠로우라는 연구자가 ‘생성적 적대 신경망(GAN)’이라는 방법을 제안했습니다. 원리는 흥미롭습니다. 두 개의 AI를 서로 경쟁시키는 것입니다. 하나는 ‘위조범’ 역할로 가짜 그림을 만들고, 다른 하나는 ‘감별사’ 역할로 그것이 진짜인지 가짜인지 판별합니다. 위조범은 감별사를 속이려 점점 더 정교한 그림을 만들고, 감별사는 점점 더 예리해집니다. 이 둘의 끝없는 눈치 싸움 속에서 위조범의 그림 실력이 향상되는 방식입니다.

실제로 GAN은 2014년부터 2020년대 초까지 사람 얼굴 생성 등에서 놀라운 성과를 냈습니다. “이 사람은 존재하지 않습니다(thispersondoesnotexist.com)”라는 웹사이트를 기억하는 분도 있을 것입니다. GAN이 만든, 실제로는 존재하지 않는 사람의 얼굴이 나타나는 사이트였습니다.

하지만 GAN에는 고질적인 문제가 있었습니다. 두 AI의 경쟁이 균형을 잃으면 학습이 아예 멈춰버리거나, 다양한 그림을 만들지 못하고 비슷비슷한 그림만 반복해서 만드는 현상이 자주 발생했습니다. 마치 위조범이 딱 한 가지 위조 수법만 익힌 뒤 그것만 우려먹는 것과 비슷합니다. 복잡하고 다양한 문장을 이해해서 세밀한 그림을 그리는 데는 한계가 뚜렷했습니다.

이 한계를 넘어선 것이 바로 ‘디퓨전 모델(Diffusion Model, 확산 모델)’입니다. 놀랍게도 이 아이디어의 뿌리는 인공지능이 아니라 물리학입니다. 물에 떨어뜨린 잉크 한 방울이 시간이 지나면서 점점 퍼져 물 전체가 흐릿하게 변하는 현상, 이것이 바로 ‘확산(diffusion)’입니다. 2015년, 일부 연구자들은 “이 확산 과정을 거꾸로 돌릴 수 있다면 어떨까?”라는 질문을 던졌습니다. 잉크가 퍼지는 과정을 되감아서, 흐릿해진 물에서 다시 선명한 잉크 방울을 복원할 수 있다면, 같은 원리로 노이즈투성이 이미지에서 선명한 그림을 복원할 수 있지 않을까 하는 아이디어였습니다.

이 개념이 2020년 이후 폭발적으로 발전하면서, 오늘날 우리가 아는 이미지 생성 AI의 표준 기술이 되었습니다.

노이즈에서 그림이 태어나는 과정

1단계. 먼저 그림을 ‘망가뜨리는 법’부터 배운다

디퓨전 모델의 학습 과정은 얼핏 이상하게 들립니다. AI에게 그림 그리는 법을 가르치기 전에, 먼저 그림을 망가뜨리는 법부터 가르칩니다.

방법은 이렇습니다. 인터넷에 있는 수억 장의 사진과 그림을 가져와서, 각 이미지에 아주 미세한 노이즈(지지직거리는 잡음)를 조금씩 덧씌웁니다. 1단계에는 살짝 흐린 정도지만, 이 과정을 수백 번 반복하면 결국 원본의 흔적은 완전히 사라지고 텔레비전 화면조정 화면 같은 완전한 잡음만 남습니다.

여기서 중요한 것은, AI에게 “몇 번째 단계에서 어떤 노이즈가 더해졌는지”를 정확히 알려주면서 이 과정을 학습시킨다는 점입니다. 즉 AI는 “원본 그림 + 특정 단계의 노이즈 = 지금 보이는 흐릿한 그림”이라는 관계를 수억 장의 이미지를 통해 통째로 학습합니다.

2단계. 노이즈를 한 겹씩 벗겨내는 법을 익힌다

여기서부터가 진짜 핵심입니다. AI는 “노이즈가 낀 그림을 보고, 방금 전 단계에는 어떤 모습이었을지”를 예측하는 연습을 합니다. 완전히 망가진 노이즈에서 한 걸음씩 뒤로 돌아가며 “이전 단계는 이런 모습이었을 것이다”를 추측하는 훈련입니다.

이해를 돕기 위해 비유하자면, 안개 낀 유리창을 상상해보십시오. 창밖 풍경이 전혀 보이지 않을 정도로 뿌옇습니다. 그런데 누군가 이 유리창을 조금씩 닦아내면, 처음에는 흐릿한 형체만 보이다가, 점점 나무인지 건물인지 구별이 되고, 마지막에는 선명한 풍경이 드러납니다. AI가 하는 일이 바로 이것입니다. 노이즈라는 ‘안개’를 한 겹 한 겹 지워나가면서, 그 속에 숨어 있던 그럴듯한 이미지를 서서히 드러내는 것입니다.

차이가 있다면, 유리창 뒤에는 원래 있던 실제 풍경이 있지만, AI가 지워내는 노이즈 뒤에는 애초에 아무 그림도 없었다는 점입니다. AI는 수억 장의 이미지를 통해 “노이즈를 이렇게 지우면 그럴듯한 그림이 된다”는 감각을 익혔을 뿐, 정해진 답이 있는 게 아닙니다. 그래서 완전히 같은 노이즈에서 시작해도 AI는 매번 조금씩 다른 그림을 만들어낼 수 있습니다.

3단계. 문장을 그림과 연결하는 법 — 텍스트가 그림의 ‘나침반’이 되는 방식

여기까지만 보면 한 가지 의문이 남습니다. 노이즈를 지워서 “그럴듯한 아무 이미지”를 만드는 것은 알겠는데, 어떻게 “우산 쓴 고양이”처럼 사용자가 원하는 정확한 그림을 만들어낼 수 있을까요?

이 역할을 하는 것이 바로 ‘텍스트 인코더’라는 장치입니다. 대표적으로 CLIP이라는 기술이 있는데, 이 기술은 인터넷에 있는 수억 장의 ‘사진과 그 사진을 설명하는 글’의 짝을 학습합니다. 예를 들어 “노을 지는 바다 위의 요트” 사진과 그 설명 문구를 함께 보여주는 방식으로, AI는 “이런 단어들은 이런 이미지 특징과 연결된다”는 감각을 익힙니다.

이렇게 학습된 텍스트 이해 능력이, 노이즈를 지우는 작업 내내 ‘나침반’ 역할을 합니다. AI가 노이즈를 한 겹씩 지울 때마다 “지금 이 방향이 사용자가 입력한 문장의 의미에 더 가까워지고 있는가”를 계속 확인하면서 방향을 조정합니다. 그래서 “우산”, “고양이”, “에펠탑”, “커피”라는 각 단어의 의미가 서서히 이미지 속에 반영되면서, 노이즈 덩어리가 결국 그 문장에 맞는 그림으로 수렴하게 되는 것입니다.

4단계. 왜 그림 전체가 아니라 ‘압축된 공간’에서 작업할까

여기서 실용적인 문제 하나가 남습니다. 일반적인 고화질 사진은 가로세로 수백만 개의 점(픽셀)으로 이루어져 있습니다. 이 모든 점 하나하나에 노이즈를 씌우고 지우는 작업을 수십 번 반복하려면 어마어마한 계산량이 필요합니다.

그래서 스테이블 디퓨전 같은 실용적인 모델들은 ‘잠재 공간(latent space)’이라는 압축된 요약 공간에서 작업합니다. 쉽게 말해, 원본 사진을 훨씬 작은 크기의 ‘압축 파일’로 축소한 뒤, 그 압축 파일 안에서 노이즈를 넣고 지우는 작업을 하고, 마지막에 다시 원래 크기의 그림으로 펼쳐내는 방식입니다. 비유하자면 대용량 동영상 파일을 편집할 때 원본을 그대로 다루기보다 압축된 저해상도 버전으로 먼저 편집하고, 최종 결과만 고해상도로 출력하는 것과 비슷합니다. 이 덕분에 계산 속도가 수십 배 빨라졌고, 일반 가정용 컴퓨터에서도 이미지 생성이 가능해졌습니다.

오늘날 우리가 쓰는 서비스들

이 원리는 실제로 우리가 흔히 접하는 서비스 뒤에서 작동하고 있습니다.

미드저니(Midjourney)는 예술적이고 회화적인 분위기의 이미지에 강점을 보여, 콘셉트 아트나 일러스트 작업에서 많이 활용됩니다. 달리(DALL-E)는 오픈AI가 만든 모델로, 문장 속 세부 지시를 정교하게 반영하는 능력이 뛰어나 문서 작업이나 챗봇과 결합된 형태로 널리 쓰입니다. 스테이블 디퓨전(Stable Diffusion)은 기술을 무료로 공개한 오픈소스 모델이라는 점이 특징인데, 그 덕분에 전 세계 개발자와 연구자들이 이를 바탕으로 수많은 응용 서비스를 만들어냈습니다.

실제 활용 분야도 다양합니다. 게임 회사는 배경 콘셉트 아트의 초안을 만드는 데 이 기술을 사용하고, 광고 회사는 촬영 없이 제품 이미지를 시각화하는 데 씁니다. 건축 사무소는 아직 짓지 않은 건물의 여러 디자인 시안을 몇 분 만에 뽑아보고, 개인 창작자는 웹툰이나 소설의 삽화를 그리는 데 활용하기도 합니다.

GAN과 디퓨전 모델, 무엇이 다를까

두 기술의 차이를 표로 정리하면 다음과 같습니다.

구분	GAN (생성적 적대 신경망)	디퓨전 모델
기본 원리	위조범과 감별사, 두 AI의 경쟁	노이즈를 씌웠다가 되돌리는 반복 학습
등장 시기	2014년	2015년 아이디어, 2020년대 실용화
학습 안정성	불안정한 경우가 많음	상대적으로 안정적
결과물 다양성	비슷한 이미지 반복 생성 위험	다양한 결과물 생성에 유리
생성 속도	한 번에 빠르게 생성	여러 단계를 거쳐 상대적으로 느림
대표 활용	얼굴 생성, 이미지 보정	미드저니, 달리, 스테이블 디퓨전

표에서 보듯, 오늘날 텍스트로 그림을 그리는 서비스 대부분이 디퓨전 모델을 채택한 이유는 안정성과 다양성 때문입니다. 다만 최근에는 생성 속도를 개선하기 위해 디퓨전 방식에 다른 기술을 결합한 새로운 모델들도 속속 등장하고 있습니다.

오늘날 우리에게 주는 의미

이 기술이 우리 삶에 던지는 질문은 단순히 “신기하다”에 그치지 않습니다.

첫째, 창작의 진입장벽이 낮아졌습니다. 그림 실력이 없어도 아이디어와 문장력만으로 시각적 결과물을 만들 수 있게 되었습니다. 이는 작은 스타트업이나 개인 창작자에게는 큰 기회이지만, 동시에 전문 일러스트레이터나 사진작가의 일자리에 대한 우려로도 이어지고 있습니다.

셋째, 진짜와 가짜를 구분하기 어려워지는 문제도 있습니다. 실존 인물이 하지 않은 말이나 행동을 한 것처럼 보이는 가짜 이미지가 손쉽게 만들어질 수 있게 되면서, 허위 정보나 명예훼손에 악용될 위험도 함께 커졌습니다. 그래서 최근에는 AI가 생성한 이미지임을 표시하는 워터마크 기술이나 관련 법안도 함께 논의되고 있습니다.

이 기술을 무조건 두려워하거나 무조건 찬양하기보다, 원리를 정확히 이해하고 그 장단점을 균형 있게 바라보는 태도가 필요한 시점입니다.

핵심 정리

초기 이미지 생성 AI인 GAN은 두 AI(위조범과 감별사)의 경쟁을 통해 그림을 만들었지만, 학습이 불안정하고 결과물이 단조로운 한계가 있었습니다.
오늘날 주류 기술인 디퓨전 모델은 그림에 노이즈를 씌웠다가 되돌리는 과정을 수백만 번 학습해, 순수한 노이즈에서 그림을 복원하는 능력을 익힙니다.
텍스트 인코더가 문장의 의미를 이해해, 노이즈를 지우는 과정 내내 결과물이 문장 내용에 맞는 방향으로 가도록 이끕니다.
압축된 ‘잠재 공간’에서 작업함으로써 계산량을 획기적으로 줄여, 일반 컴퓨터에서도 실시간에 가깝게 이미지를 생성할 수 있게 되었습니다.

오늘의 한 문장

AI는 그림을 ‘그리는’ 것이 아니라, 노이즈 속에 숨어 있던 가능성을 문장이 가리키는 방향으로 ‘드러내는’ 것입니다.

FAQ

Q1. 생성형 AI는 기존 그림을 그대로 베끼는 건가요? 아닙니다. AI는 특정 그림 하나를 저장해두었다가 그대로 꺼내는 것이 아니라, 수억 장의 이미지에서 색과 형태, 구도의 패턴을 통계적으로 학습합니다. 다만 학습 데이터에 특정 작가의 화풍이 지나치게 편중되어 있으면 결과물이 그 화풍과 비슷하게 나올 수 있어, 이 지점이 저작권 논쟁의 핵심이 되고 있습니다.

Q2. 디퓨전 모델과 GAN 중 어느 것이 더 우수한 기술인가요? 용도에 따라 다릅니다. GAN은 생성 속도가 빠르다는 장점이 있어 실시간 처리가 필요한 분야에 여전히 쓰이지만, 디퓨전 모델은 다양하고 안정적인 고품질 이미지를 만드는 데 강점이 있어 현재 텍스트-이미지 생성 서비스의 주류가 되었습니다.

Q4. 같은 문장을 입력해도 매번 다른 그림이 나오는 이유는 무엇인가요? 그림 생성이 시작되는 최초의 노이즈 패턴이 매번 무작위로 다르게 주어지기 때문입니다. 같은 문장이라는 ‘나침반’을 따라가더라도 출발점이 다르면 도착하는 그림도 조금씩 달라집니다.

Q5. 이미지 생성 AI를 배우려면 무엇부터 시작해야 하나요? 꼭 코딩이나 수학을 알아야 하는 것은 아닙니다. 미드저니나 스테이블 디퓨전 기반의 서비스는 문장을 입력하는 것만으로 사용할 수 있어, 원하는 이미지를 구체적으로 묘사하는 글쓰기 연습부터 시작하는 것이 가장 좋은 출발점입니다.

이 글이 도움이 되었다면 주변 사람과 공유해 보세요.

생성형 AI는 어떻게 그림을 그릴까? — 노이즈 속에서 그림이 태어나는 순간

왜 이것이 중요한가

AI는 원래 그림을 잘 그리지 못했다