AI는 어떻게 스스로 학습할까?

1997년, IBM의 체스 컴퓨터 ‘딥블루’가 세계 챔피언 가리 카스파로프를 꺾었을 때, 사람들은 이것을 인공지능의 승리라고 불렀습니다. 하지만 사실 딥블루는 단 한 수도 스스로 배운 적이 없습니다. 딥블루는 초당 2억 개의 수를 계산할 수 있는, 아주 빠른 계산기에 가까웠습니다. 인간 체스 마스터들이 미리 입력해 둔 규칙과 전략을 그대로 실행했을 뿐입니다. 배운 것이 아니라, 짜여진 대로 움직인 것이죠.

그런데 2016년, 구글의 알파고가 이세돌 9단을 꺾었을 때는 이야기가 완전히 달랐습니다. 알파고는 인간이 입력해 준 바둑 전략을 그대로 따른 것이 아니었습니다. 알파고는 자기 자신과 수백만 번 바둑을 두면서, 이기는 방법을 스스로 찾아냈습니다. 심지어 알파고가 둔 ‘신의 한 수’라 불리는 37수는, 수천 년 바둑 역사에서 인간이 단 한 번도 두지 않았던 수였습니다. 인간이 가르쳐 준 것이 아니라, 기계가 혼자서 발견해 낸 수였다는 뜻입니다.

바로 여기에 우리가 오늘 풀어야 할 질문이 숨어 있습니다. 사람은 선생님이 옆에서 설명해 주고, 틀린 것을 고쳐 주고, 경험을 통해 배웁니다. 그런데 감정도 없고, 눈도 없고, 손도 없는 컴퓨터가 대체 무엇을 어떻게 ‘경험’하고, 무엇을 ‘틀렸다’고 느끼며, 어떻게 스스로 더 나아질 수 있는 걸까요? AI에게는 도대체 무슨 일이 벌어지고 있는 걸까요?

이 글을 다 읽고 나면, 여러분은 챗GPT나 알파고 같은 AI가 뉴스에 나올 때마다 막연하게 “똑똑한 기계구나” 하고 넘기는 대신, 그 안에서 실제로 어떤 일이 벌어지고 있는지 다른 사람에게 설명할 수 있게 될 것입니다. 그리고 그 원리가 사실은 우리가 아이에게 걸음마를 가르치는 방식과 놀랍도록 닮아 있다는 사실도 알게 되실 겁니다.

왜 이것이 중요한가

‘AI가 스스로 학습한다’는 말은 이제 뉴스와 광고, 정치인의 연설에까지 등장하는 흔한 표현이 되었습니다. 하지만 정작 이 표현이 정확히 무엇을 의미하는지 아는 사람은 많지 않습니다.

이 원리를 이해하는 것이 중요한 이유는 세 가지입니다.

첫째, AI의 한계를 이해할 수 있습니다. AI가 왜 가끔 터무니없는 거짓말을 하는지, 왜 편향된 답을 내놓는지는 ‘학습’ 과정을 이해해야 설명이 됩니다.

둘째, AI를 둘러싼 두려움과 기대를 좀 더 냉정하게 판단할 수 있습니다. “AI가 스스로 의식을 갖게 될까?” 같은 질문에 답하려면, 먼저 AI가 ‘학습’이라는 말을 어떤 의미로 쓰는지부터 알아야 합니다.

셋째, 이 원리는 앞으로 수십 년간 우리 삶 전체를 바꿀 기술의 핵심 엔진입니다. 자율주행차, 신약 개발, 번역기, 추천 시스템까지, 이 모든 것의 밑바탕에는 오늘 우리가 다룰 바로 그 원리가 깔려 있습니다.

역사적·사회적 배경

이야기는 놀랍게도 사람의 뇌를 흉내 내려는 시도에서 시작됩니다.

1943년, 신경생리학자 워런 매컬록과 논리학자 월터 피츠는 사람의 뇌 신경세포(뉴런)가 신호를 주고받는 방식을 아주 단순한 수학 모델로 옮길 수 있다는 논문을 발표했습니다. 이것이 인공신경망이라는 개념의 첫 씨앗이었습니다.

1958년, 심리학자 프랭크 로젠블랫은 이 아이디어를 발전시켜 ‘퍼셉트론’이라는 기계를 만들었습니다. 로젠블랫은 이 기계가 사진을 보고 왼쪽에 있는 사각형인지 오른쪽에 있는 사각형인지 스스로 구별하는 법을 ‘학습’하도록 만들었습니다. 당시 뉴욕타임스는 이 발명을 두고 “언젠가 걷고, 말하고, 보고, 쓰고, 스스로를 복제하며, 자신의 존재를 의식하게 될 배아”라고 흥분에 찬 기사를 썼습니다.

하지만 흥분은 오래가지 않았습니다. 1969년, MIT의 마빈 민스키와 시모어 페퍼트는 퍼셉트론이 아주 간단한 논리 문제조차 풀지 못한다는 사실을 수학적으로 증명해 버렸습니다. 이 충격으로 신경망 연구에 대한 투자와 관심이 급격히 사라졌고, 이 시기를 훗날 사람들은 ‘AI의 겨울’이라고 부르게 됩니다. 무려 10년 넘게 신경망은 학계에서 거의 버림받은 주제였습니다.

겨울이 풀린 것은 1986년입니다. 데이비드 러멀하트, 제프리 힌턴(2024년 노벨물리학상을 수상하게 되는 바로 그 인물입니다), 로널드 윌리엄스가 ‘역전파’ 알고리즘을 대중화한 논문을 발표하면서, 여러 층으로 쌓인 신경망도 효과적으로 학습시킬 수 있는 길이 열렸습니다.

그러나 이론이 있어도 컴퓨터의 계산 능력과 데이터가 턱없이 부족했습니다. 진짜 폭발은 2012년에 일어났습니다. 제프리 힌턴의 제자였던 알렉스 크리제브스키가 만든 ‘알렉스넷’이라는 신경망이, 이미지 인식 대회에서 기존 방식들을 압도적인 차이로 이기며 우승했습니다. 그래픽카드(GPU)라는, 원래는 게임을 위해 만들어진 하드웨어가 신경망 계산에 안성맞춤이라는 사실이 밝혀지면서, 그동안 이론으로만 존재하던 딥러닝이 드디어 실전에서 폭발적인 힘을 발휘하기 시작한 것입니다.

그 뒤로 알파고(2016), GPT 시리즈(2018~), 그리고 지금 여러분이 쓰고 있는 온갖 AI 서비스들이 모두 이 흐름 위에서 탄생했습니다.

AI는 실제로 어떻게 배우는가

왜 배워야 하는가 — 규칙을 일일이 정할 수 없기 때문

먼저 아주 근본적인 질문부터 짚어 봅시다. 왜 프로그래머는 처음부터 “고양이 사진을 보면 고양이라고 답해라”는 규칙을 직접 짜 주지 않을까요?

한번 시도해 봅시다. 고양이 사진을 구별하는 규칙을 직접 써 본다면 아마 이렇게 시작할 겁니다. “귀가 뾰족하면 고양이다.” 그런데 늘어진 귀를 가진 스코티시 폴드는 어떻게 하죠? “털이 있으면 고양이다.” 그럼 개나 토끼는요? “수염이 있으면 고양이다.” 사람도 수염이 있는데요?

사람의 눈과 뇌는 이런 규칙을 명시적으로 따지지 않고도 고양이를 0.1초 만에 알아봅니다. 그런데 그 인식 과정을 말로, 규칙으로 옮기려고 하면 도무지 끝이 나지 않습니다. 세상은 예외투성이이기 때문입니다.

그래서 프로그래머들은 발상을 뒤집었습니다. “규칙을 우리가 직접 짜 주지 말고, 아주 많은 고양이 사진과 아닌 사진을 컴퓨터에게 보여 준 다음, 컴퓨터가 스스로 ‘고양이란 무엇인가’에 대한 규칙 비슷한 것을 알아서 찾아내게 하자.” 이것이 바로 ‘기계학습(머신러닝)’의 근본 발상입니다.

어떻게 배우는가 — 신경망이라는 조절 가능한 다이얼 판

이제 실제 메커니즘으로 들어가 봅시다. 이 부분이 오늘 글에서 가장 중요한 대목입니다.

인공신경망을 상상할 때, 벽 하나를 가득 채운 거대한 오디오 믹서를 떠올려 보세요. 다이얼(손잡이)이 수백만, 수십억 개가 달려 있는 믹서입니다. 이 다이얼들을 ‘가중치(weight)’라고 부릅니다.

이 믹서에 고양이 사진 데이터(숫자로 변환된 픽셀 값들)를 입력하면, 다이얼들의 설정값에 따라 어떤 계산을 거쳐서 “고양이일 확률 87%”같은 출력이 나옵니다. 처음에는 이 다이얼들이 전부 무작위로 세팅되어 있기 때문에, 당연히 출력도 엉망입니다. 개 사진을 보여 줘도 “고양이 99%”라고 답할 수도 있습니다.

여기서 학습의 핵심 3단계가 시작됩니다.

1단계: 예측한다. 신경망이 현재 다이얼 세팅으로 사진을 보고 답을 냅니다.

2단계: 틀린 정도를 측정한다. 정답(이건 진짜 고양이 사진입니다)과 신경망의 답(고양이일 확률 12%라고 했다면) 사이의 차이를 숫자로 계산합니다. 이 차이를 ‘손실(loss)’이라고 부릅니다. 손실이 클수록 많이 틀린 것입니다.

3단계: 다이얼을 아주 조금씩 고쳐 나간다. 이 부분이 마법 같은 지점입니다. ‘역전파(backpropagation)’라는 수학적 기법을 사용하면, 수십억 개의 다이얼 각각에 대해 “이 다이얼을 이쪽으로 살짝 돌리면 손실이 줄어들고, 저쪽으로 돌리면 손실이 늘어난다”는 정보를 정확하게 계산해 낼 수 있습니다. 이 계산에 따라 모든 다이얼을 아주 조금씩, 손실이 줄어드는 방향으로 돌립니다. 이 과정을 ‘경사하강법(gradient descent)’이라고 부릅니다.

이 세 단계를 한 장의 사진, 한 번으로 끝내는 게 아닙니다. 이 과정을 수백만, 수십억 장의 사진에 대해 반복합니다. 한 번 돌 때마다 다이얼은 정답에 아주 조금씩 더 가까워집니다. 마치 눈을 감고 산을 내려가는 사람이 발밑의 경사를 느끼며 한 걸음씩 가장 가파른 내리막 방향으로 내려가는 것과 같습니다. 한 걸음, 한 걸음은 미미하지만, 수십억 걸음을 걷고 나면 결국 산 아래(정답에 가까운 상태)에 도달하게 됩니다.

중요한 것은, 이 과정 어디에도 “귀가 뾰족하면 고양이”라는 인간의 언어로 된 규칙이 존재하지 않는다는 점입니다. 신경망이 찾아낸 ‘규칙’은 수십억 개 숫자(다이얼 값)의 조합일 뿐이라, 사람이 들여다봐도 그 의미를 곧바로 이해할 수 없습니다. 이것을 흔히 AI의 ‘블랙박스’ 문제라고 부릅니다.

배우는 방식은 한 가지가 아니다 — 세 가지 학습법

여기서 짚고 넘어가야 할 것이 있습니다. 방금 설명한 ‘정답과 비교해서 틀린 정도를 줄여 나가는’ 방식은 사실 학습법의 한 종류일 뿐입니다. AI가 학습하는 방식은 크게 세 가지로 나뉩니다.

지도학습(Supervised Learning)은 방금 설명한 방식입니다. 사람이 미리 “이건 고양이, 이건 개”라고 정답을 붙여 놓은 데이터를 가지고 학습합니다. 스팸 메일 분류, 사진 속 물체 인식 등이 여기에 속합니다.

비지도학습(Unsupervised Learning)은 정답표 없이, 데이터 속에 숨겨진 패턴이나 그룹을 AI가 스스로 찾아내는 방식입니다. 예를 들어 쇼핑몰의 고객 구매 데이터를 주고 “비슷한 소비 성향을 가진 고객들을 알아서 묶어 봐”라고 하면, AI는 정답을 몰라도 데이터의 규칙성만으로 그룹을 나눕니다.

강화학습(Reinforcement Learning)은 알파고가 사용한 방식입니다. 정답을 알려 주는 대신, ‘보상’과 ‘벌칙’만 줍니다. 바둑을 이기면 보상, 지면 벌칙을 받으며, 스스로 수백만 번 게임을 반복하면서 어떤 행동이 더 많은 보상을 가져오는지 시행착오를 통해 깨닫습니다. 이는 강아지에게 “앉아”를 훈련시킬 때 간식을 주는 방식과 원리적으로 매우 비슷합니다.

여기에 최근 가장 중요해진 네 번째 방식이 있습니다. 바로 챗GPT 같은 대규모 언어모델이 사용하는 자기지도학습(Self-Supervised Learning)입니다. 이 방식에서는 인간이 정답표를 붙여 줄 필요조차 없습니다. 인터넷에 있는 방대한 글 뭉치를 가져다가, AI 스스로 문장의 일부를 가려 놓고 “다음에 올 단어를 맞혀 봐”라는 문제를 스스로 만들고 스스로 풀게 합니다. 예를 들어 “오늘 날씨가 정말 ___”라는 문장에서 빈칸에 들어갈 단어를 예측하도록 시키는 것입니다. 정답은 이미 원문에 있으니 사람이 따로 채점표를 만들 필요가 없습니다. 이 단순한 게임을 인터넷 전체 분량에 가까운 텍스트로 수천억 번 반복하면서, 놀랍게도 AI는 문법, 상식, 심지어 일부 추론 능력까지 갖추게 됩니다.

실제 사례

이론이 다소 어렵게 느껴졌다면, 실제 사례로 감을 잡아 보겠습니다.

알파고의 자기 대국: 알파고는 처음에는 인간 고수들의 기보 16만 판을 보며 지도학습으로 기초를 다졌습니다. 그 후 알파고는 자기 자신의 복제본과 수백만 판을 스스로 대국하며 강화학습을 진행했습니다. 이기면 그 수순에 가중치를 더 부여하고, 지면 가중치를 낮추는 과정을 반복한 끝에, 결국 인간이 3천 년 동안 쌓아온 바둑 지식을 뛰어넘는 수준에 도달했습니다. 후속작인 ‘알파고 제로’는 인간 기보를 아예 보지 않고 바둑 규칙만 알려 준 뒤 스스로 대국만 반복해서, 기존 알파고보다도 더 강해졌습니다.

챗GPT의 훈련 과정: 챗GPT 같은 모델은 크게 세 단계를 거칩니다. 먼저 인터넷의 방대한 텍스트로 ‘다음 단어 맞히기’를 반복하는 자기지도학습 단계를 거칩니다(이 단계에서 문법과 지식의 기초 체력이 길러집니다). 그다음 사람이 만든 양질의 질문-답변 예시로 미세 조정을 합니다. 마지막으로 사람들이 여러 답변 중 더 나은 것을 골라 주는 피드백을 통해 강화학습을 진행하여, 더 사람 마음에 드는 답을 하도록 다듬습니다.

자율주행차: 테슬라 같은 회사는 수백만 대의 차량이 실제 도로에서 겪은 상황(급정거, 갑자기 튀어나온 보행자 등)의 영상을 모아, 신경망이 “이런 상황에서는 이렇게 대응해야 한다”는 패턴을 스스로 익히도록 훈련시킵니다.

사람의 학습 vs AI의 학습, 그리고 학습법 간의 차이

구분	사람의 학습	AI(신경망)의 학습
학습 단위	뉴런과 시냅스의 연결 강도	인공 뉴런과 ‘가중치(다이얼)’
틀렸을 때	감정, 창피함, 반성으로 교정	손실 함수로 오차를 수치화하여 교정
반복 횟수	수십~수백 번의 경험	수백만~수십억 번의 반복
이해 여부	왜 맞았는지 스스로 설명 가능	결과는 맞아도 이유는 인간도 모를 때가 많음(블랙박스)
배우는 속도	며칠~수년	데이터센터에서 수 시간~수개월

학습법	정답표 필요 여부	대표 예시
지도학습	필요 (사람이 라벨링)	스팸 메일 분류
비지도학습	불필요 (스스로 그룹화)	고객 성향 군집 분석
강화학습	불필요 (보상/벌칙만 존재)	알파고, 로봇 제어
자기지도학습	불필요 (데이터 자체가 문제이자 정답)	챗GPT, 언어모델

오늘날 우리에게 주는 의미

AI가 ‘학습’한다는 사실을 알고 나면, 우리가 매일 접하는 AI 뉴스들을 훨씬 냉정하게 바라볼 수 있습니다.

첫째, AI가 편향된 답을 하는 이유가 설명됩니다. AI는 스스로 도덕을 깨우친 것이 아니라, 학습 데이터에 들어 있던 패턴을 그대로 흡수했을 뿐입니다. 인터넷 데이터에 특정 편견이 많이 담겨 있었다면, AI도 그 편견을 함께 배웁니다.

둘째, AI가 가끔 그럴듯한 거짓말을 하는 이유도 설명됩니다. 언어모델은 ‘진실을 말하는 것’을 목표로 학습된 것이 아니라, ‘다음에 올 가장 그럴듯한 단어를 맞히는 것’을 목표로 학습되었습니다. 그래서 사실과 다르지만 문장으로는 그럴듯한 답을 만들어 내는 경우(이를 ‘환각‘이라고 부릅니다)가 생깁니다.

셋째, 왜 AI 학습에 그렇게 많은 전기와 컴퓨터가 필요한지도 이해가 됩니다. 수십억 개의 다이얼을 수십억 번 조금씩 돌리는 계산 자체가 어마어마한 연산량을 요구하기 때문입니다.

핵심 정리

• AI는 사람이 정한 규칙을 그대로 따르는 것이 아니라, 수많은 데이터를 보며 스스로 패턴(가중치 조합)을 찾아냅니다.
• 핵심 원리는 ‘예측 → 오차 측정 → 오차를 줄이는 방향으로 아주 조금씩 수정’을 수억 번 반복하는 것입니다. 이를 역전파와 경사하강법이라고 부릅니다.
• 학습 방식은 지도학습, 비지도학습, 강화학습, 자기지도학습으로 나뉘며, 챗GPT류 언어모델은 자기지도학습이 핵심입니다.
• AI가 찾아낸 규칙은 인간의 언어로 표현되지 않기 때문에, 결과는 정확해도 ‘왜’ 그런지는 사람도 알기 어려운 경우가 많습니다(블랙박스 문제).
• AI의 편향과 환각 문제는 신비한 오작동이 아니라, 학습 원리 자체에서 자연스럽게 비롯되는 현상입니다.

오늘의 한 문장

AI는 정답을 외운 것이 아니라, 수억 번의 시행착오 끝에 스스로 정답에 가까워지는 법을 찾아낸 것입니다.

FAQ

Q1. AI는 정말로 사람처럼 ‘이해’하면서 배우는 건가요? 아닙니다. AI는 데이터 속 통계적 패턴을 수치로 조정해 나가는 방식으로 결과를 맞히지만, 사람처럼 의미를 자각하고 이해하는지는 아직 과학적으로도 논쟁이 있는 주제입니다.

Q2. 딥러닝과 머신러닝은 같은 말인가요? 머신러닝은 데이터를 통해 규칙을 스스로 찾아내는 기술 전체를 가리키는 큰 개념이고, 딥러닝은 그중에서도 여러 층으로 쌓인 신경망을 사용하는 방식을 가리키는 하위 개념입니다.

Q3. AI가 학습하는 데 왜 그렇게 많은 데이터가 필요한가요? 신경망은 아주 미세한 조정을 반복해서 정답에 다가가기 때문에, 조정할 기회(데이터)가 적으면 정확한 방향을 찾기 어렵습니다. 데이터가 많을수록 더 정교하고 일반화된 패턴을 찾을 확률이 높아집니다.

Q4. AI가 학습을 마치면 더 이상 배우지 않나요? 챗GPT 같은 서비스는 한 번 훈련이 끝나면, 대화 도중에는 그 대화 내용을 바탕으로 자신의 다이얼(가중치)을 영구적으로 바꾸지 않습니다. 새로운 지식을 반영하려면 별도의 재훈련 과정을 거쳐야 합니다.

Q5. AI가 스스로 학습하다가 인간이 원치 않는 방향으로 발전할 수도 있나요? AI는 인간이 설계한 손실 함수와 보상 체계 안에서만 학습하기 때문에, 그 목표 설정 자체가 잘못되면 예상치 못한 방향으로 결과가 나올 수 있습니다. 그래서 AI 안전성 연구자들은 ‘무엇을 목표로 학습시킬 것인가’를 설계하는 일 자체를 매우 중요하게 다루고 있습니다.