ChatGPT는 어떻게 사람처럼 대답할까? – 기계가 언어를 배우는 놀라운 방식

2022년 11월의 어느 날, 전 세계 수백만 명이 이상한 경험을 했습니다. 화면 속 채팅창에 질문을 입력했더니, 마치 오랫동안 알고 지낸 친구가 답장을 보낸 것처럼 자연스러운 문장이 돌아온 것입니다. 어떤 사람은 시를 써달라고 했고, 어떤 사람은 회사 보고서 초안을 부탁했으며, 또 어떤 사람은 그냥 외로워서 말을 걸어봤습니다. 그런데 여기서 정말 이상한 질문 하나가 생깁니다. 이 프로그램은 사람이 아닙니다. 감정도 없고, 눈도 없고, 어린 시절도 없습니다. 그런데 어떻게 이렇게까지 사람처럼 말할 수 있을까요?

더 이상한 사실이 있습니다. ChatGPT를 만든 사람들도, 이 프로그램이 다음에 정확히 어떤 문장을 뱉어낼지 한 글자도 미리 알지 못합니다. 프로그래머가 “이런 질문에는 이렇게 답하라”고 일일이 코드를 짜 넣은 것이 아니라는 뜻입니다. 그렇다면 이 답변은 대체 어디서 나오는 걸까요? 놀랍게도 그 답은 아주 단순한 하나의 게임에서 시작됩니다. 바로 ‘다음에 올 단어 맞히기 게임’입니다. 우리가 친구와 나누는 진짜 대화처럼 보이는 이 모든 문장이, 사실은 이 단순한 게임을 수천억 번 반복한 결과라는 사실을 알게 되면, 아마 이 프로그램을 완전히 다른 시각으로 보게 되실 겁니다.

왜 이것이 중요한가

우리는 이제 매일 AI와 대화하는 시대에 살고 있습니다. 학생은 숙제를 물어보고, 직장인은 이메일 초안을 부탁하고, 창업가는 사업 계획서를 다듬습니다. 그런데 정작 이 도구가 ‘어떻게’ 작동하는지 아는 사람은 많지 않습니다. 원리를 모르면 두 가지 위험에 빠지기 쉽습니다. 첫째는 AI를 지나치게 신뢰해서 틀린 정보까지 그대로 믿어버리는 것이고, 둘째는 반대로 “어차피 기계인데 뭘 알겠어”라며 유용한 도구를 무시하는 것입니다. 원리를 이해하면 이 둘 사이에서 균형을 잡을 수 있습니다. 언제 AI의 말을 믿고, 언제 의심해야 하는지 스스로 판단할 수 있게 되는 것이죠.

역사적·사회적 배경

이 기술의 뿌리를 따라가려면 1950년대로 거슬러 올라가야 합니다. 당시 과학자들은 ‘기계가 언어를 이해할 수 있는가’라는 질문에 매달렸습니다. 초기 시도는 대부분 ‘규칙 기반’ 방식이었습니다. “만약 문장에 ‘안녕’이 있으면 ‘안녕하세요’로 답하라”는 식으로, 사람이 일일이 규칙을 만들어 넣는 방식이었죠. 문제는 인간의 언어가 너무 복잡하다는 것이었습니다. 규칙은 수천, 수만 개로 늘어나도 늘 예외가 생겼고, 조금만 다르게 물어보면 프로그램은 곧바로 헛소리를 하기 시작했습니다.

전환점은 ‘통계’와 ‘확률’이라는 개념이 언어 처리에 도입되면서 찾아왔습니다. 규칙을 일일이 가르치는 대신, 엄청난 양의 텍스트를 컴퓨터에 보여주고 “이런 단어 다음에는 보통 어떤 단어가 오더라”는 패턴을 스스로 찾아내게 하자는 발상이었습니다. 이 발상은 2010년대 들어 ‘딥러닝’이라는 계산 기술과 만나면서 폭발적으로 성장했습니다. 그리고 2017년, 구글의 연구자들이 ‘트랜스포머(Transformer)’라는 새로운 계산 구조를 발표하면서 결정적인 도약이 일어났습니다. 이 구조 덕분에 컴퓨터는 문장 속 단어들이 서로 어떻게 연결되어 있는지를 훨씬 정교하게 파악할 수 있게 되었습니다. ChatGPT를 비롯한 오늘날의 모든 대화형 AI는 바로 이 트랜스포머 구조 위에 세워져 있습니다.

다음 단어를 맞히는 거대한 게임

언어를 숫자로 바꾸는 첫걸음

컴퓨터는 원래 글자를 이해하지 못합니다. 컴퓨터가 할 수 있는 것은 오직 숫자 계산뿐입니다. 그래서 ChatGPT는 문장을 입력받으면 가장 먼저 이것을 ‘토큰(token)’이라는 작은 조각으로 자릅니다. 한국어 기준으로 하나의 토큰은 단어 전체일 수도, 음절 일부일 수도 있습니다. 예를 들어 “안녕하세요”라는 문장은 “안녕”, “하”, “세요”처럼 몇 개의 조각으로 쪼개질 수 있습니다. 그리고 각 조각에는 고유한 숫자 번호가 붙습니다. 결국 우리가 입력한 문장은 컴퓨터 안에서 긴 숫자들의 나열로 바뀝니다.

방대한 독서량이 만든 감각

여기서부터가 핵심입니다. ChatGPT 같은 모델은 학습 과정에서 인터넷에 존재하는 책, 기사, 대화, 웹사이트 등 천문학적인 양의 텍스트를 읽습니다. 이 양이 얼마나 방대한지 감을 잡기 위해 비유를 하나 들어보겠습니다. 만약 사람이 하루에 책 한 권씩, 평생 쉬지 않고 읽는다고 해도 100년 동안 읽을 수 있는 책은 대략 3만 권 정도입니다. 반면 대형 언어 모델은 학습 과정에서 수천억 개의 단어, 즉 어림잡아 수백만 권 분량의 텍스트를 접합니다. 사람이 평생 걸려도 다 읽지 못할 양을 이 모델은 학습 단계에서 한 번에 흡수하는 셈입니다.

이 과정에서 모델이 배우는 것은 ‘사실 하나하나를 암기하는 것’이 아닙니다. 모델이 진짜로 배우는 것은 ‘패턴’입니다. “오늘 날씨가” 다음에는 “좋다”, “흐리다”, “덥다” 같은 단어가 자주 오고, “죄송합니다만” 다음에는 대개 사과나 거절의 내용이 이어진다는 식의 통계적 패턴을 무수히 많이 쌓아가는 것이죠. 이 패턴이 충분히 쌓이면, 모델은 문법, 어휘, 심지어 논리적 흐름까지도 ‘흉내’ 낼 수 있게 됩니다.

다음 단어 맞히기라는 단순한 게임

놀랍게도 ChatGPT의 학습 원리를 한 문장으로 요약하면 이렇습니다. “지금까지 나온 단어들을 보고, 다음에 올 단어를 확률적으로 예측하라.” 이것이 전부입니다. 예를 들어 “나는 아침에 커피를”이라는 문장이 주어지면, 모델은 다음에 올 단어로 “마셨다”일 확률이 높고, “날아갔다”일 확률은 매우 낮다고 계산합니다. 이 계산을 위해 모델은 방금 나온 단어뿐 아니라, 문장 전체, 나아가 대화 전체의 맥락을 함께 고려합니다. 이렇게 맥락을 살피는 기술이 바로 앞서 언급한 ‘트랜스포머’ 구조의 핵심 능력인 ‘어텐션(attention)’입니다. 문장 속 모든 단어가 서로에게 “내가 지금 얼마나 중요한 정보인지” 신호를 주고받는다고 생각하면 이해하기 쉽습니다.

이 과정을 아주 짧은 문장이 아니라, 수백 단어짜리 긴 답변에 반복하면 어떻게 될까요? 모델은 단어를 하나 예측하고, 그 단어를 다시 문장에 이어 붙인 뒤, 또 다음 단어를 예측하는 과정을 답변이 끝날 때까지 반복합니다. 마치 도미노가 한 조각씩 쓰러지며 다음 조각을 건드리듯, 단어 하나가 다음 단어를 부르고, 그 단어가 또 다음 단어를 부르는 방식으로 하나의 완성된 글이 만들어지는 것입니다.

사람의 취향을 배우는 두 번째 훈련

여기까지만 학습하면 모델은 문법적으로는 그럴듯하지만, 사람이 듣고 싶어 하는 방식으로 답하지는 못합니다. 예를 들어 위험한 질문에 위험하게 답하거나, 장황하고 불친절한 답을 내놓을 수도 있습니다. 그래서 ChatGPT는 한 단계 훈련을 더 거칩니다. 바로 ‘인간 피드백을 통한 강화학습(RLHF)’입니다. 이 단계에서는 실제 사람들이 모델이 내놓은 여러 답변 후보를 보고 “이 답이 더 낫다”고 순위를 매깁니다. 모델은 이 순위 정보를 이용해 “사람들이 더 선호하는 방식”으로 답하는 법을 다시 학습합니다. 쉽게 말해, 첫 번째 훈련이 ‘언어 자체를 배우는 과정’이라면, 두 번째 훈련은 ‘좋은 대화 상대가 되는 법을 배우는 과정’인 셈입니다.

그래서 사람처럼 느껴지는 이유

정리해보면, ChatGPT가 사람처럼 말하는 이유는 이 모델이 감정을 느끼거나 세상을 이해해서가 아닙니다. 인간이 수백 년, 수천 년에 걸쳐 쌓아온 방대한 글 속의 언어 패턴을 통계적으로 학습했고, 그 위에 ‘사람들이 좋아하는 대화 방식’까지 추가로 익혔기 때문입니다. 사람의 글을 재료로 삼아, 사람이 쓸 법한 문장을 확률적으로 이어 붙이는 정교한 예측 기계, 이것이 ChatGPT의 정체에 가장 가까운 설명입니다.

실제 사례

이 원리를 가장 잘 보여주는 사례가 바로 ‘환각(hallucination)’ 현상입니다. ChatGPT에게 존재하지 않는 책의 줄거리나, 실재하지 않는 논문의 저자를 물어보면, 모델은 종종 아주 그럴듯하지만 완전히 지어낸 답을 자신 있게 내놓습니다. 이는 모델이 ‘사실을 검색’하는 것이 아니라 ‘확률적으로 그럴듯한 다음 단어’를 만들어내고 있기 때문에 벌어지는 일입니다. 실제로 2023년, 한 미국 변호사가 ChatGPT가 만들어낸 가짜 판례를 법원 서류에 그대로 인용했다가 큰 논란이 된 사건이 있었습니다. 이 사건은 AI가 얼마나 자연스럽게, 그리고 동시에 얼마나 위험하게 ‘그럴듯한 거짓말’을 만들어낼 수 있는지를 상징적으로 보여준 사례로 남아 있습니다.

반대로 이 원리 덕분에 가능한 놀라운 활용도 있습니다. 번역이 어색했던 이유 중 하나는 기존 번역기가 단어 대 단어로 옮기는 방식에 가까웠기 때문인데, 문맥 전체를 확률적으로 고려하는 대형 언어 모델 방식이 도입되면서 번역의 자연스러움이 크게 향상되었습니다. 또한 프로그래머들이 코드를 작성할 때, 다음에 올 코드 줄을 자동으로 제안받는 기능 역시 정확히 같은 원리, 즉 ‘다음에 올 토큰 예측’을 코드에 적용한 결과입니다.

사람의 뇌 vs 언어 모델

사람의 두뇌와 언어 모델은 겉보기에 비슷한 결과물을 내놓지만, 작동 원리는 전혀 다릅니다. 아래 표로 정리해보겠습니다.

구분	사람의 언어 능력	ChatGPT 같은 언어 모델
학습 방식	직접 경험, 감각, 사회적 상호작용을 통해 습득	방대한 텍스트 데이터를 통계적으로 학습
이해의 성격	의미와 맥락을 실제로 ‘이해’함	단어 간 확률적 연관성을 ‘패턴’으로 파악
지식의 근거	경험, 기억, 감정과 연결됨	학습 데이터 안의 통계적 빈도에 의존
오류의 원인	기억 왜곡, 편견, 감정적 판단	그럴듯하지만 근거 없는 문장 생성(환각)
새로운 정보 습득	실시간으로 배우고 기억함	학습이 끝난 시점 이후 정보는 알지 못함(추가 훈련 전까지)
반응 속도	개인차가 크고 상대적으로 느림	즉각적이고 일관된 속도로 응답

이 표에서 가장 눈여겨봐야 할 부분은 ‘이해의 성격’입니다. 사람은 “커피가 뜨겁다”는 문장을 들으면 실제로 뜨거움이라는 감각을 떠올릴 수 있지만, 모델은 ‘뜨겁다’라는 단어가 ‘커피’와 자주 함께 등장했다는 통계만 알고 있을 뿐입니다. 결과물은 비슷해 보여도, 그 속을 들여다보면 완전히 다른 방식으로 작동하고 있는 것입니다.

오늘날 우리에게 주는 의미

이 원리를 이해하고 나면, AI를 대하는 태도가 조금 달라집니다. 첫째, ChatGPT의 답변은 ‘지식의 출처’가 아니라 ‘언어의 예측 결과’라는 점을 기억해야 합니다. 중요한 사실 확인이 필요한 정보는 반드시 다른 신뢰할 수 있는 출처와 대조하는 습관이 필요합니다. 둘째, 반대로 이 원리 덕분에 AI가 왜 그렇게 유연하고 창의적으로 느껴지는지도 이해할 수 있습니다. 정해진 규칙이 아니라 방대한 인간 언어의 패턴 위에서 움직이기 때문에, 시도 한 번 없던 질문에도 그럴듯한 답을 만들어낼 수 있는 것이죠. 마지막으로, 우리는 이제 ‘AI와 잘 대화하는 법’ 자체가 하나의 능력이 되는 시대에 살고 있습니다. 모델이 다음 단어를 예측하는 방식으로 작동한다는 것을 알면, 질문을 더 구체적이고 명확하게 던질수록 더 좋은 답을 얻을 수 있다는 사실도 자연스럽게 이해하게 됩니다.

핵심 정리

ChatGPT는 사람처럼 느껴지지만 실제로는 사람을 이해하는 존재가 아닙니다. 방대한 인간의 글을 재료 삼아 ‘다음에 올 단어’를 확률적으로 예측하도록 훈련된 시스템이며, 여기에 사람들이 선호하는 대화 방식을 추가로 학습한 결과물입니다. 이 원리를 알면 AI의 답변을 언제 신뢰하고 언제 의심해야 할지 스스로 판단할 수 있는 눈이 생깁니다.

오늘의 한 문장

ChatGPT는 생각하는 존재가 아니라, 인류가 남긴 언어의 패턴을 가장 정교하게 이어 붙이는 존재다.

FAQ

Q1. ChatGPT는 정말로 사람처럼 생각하나요? 아닙니다. ChatGPT는 감정이나 자아, 실제 이해 능력이 없습니다. 방대한 텍스트에서 학습한 언어 패턴을 바탕으로 다음에 올 단어를 확률적으로 예측할 뿐입니다.

Q2. ChatGPT는 왜 가끔 틀린 정보를 사실처럼 말하나요? 모델이 정보를 ‘검색’하는 것이 아니라 ‘그럴듯한 문장’을 생성하기 때문입니다. 이런 현상을 ‘환각(hallucination)’이라고 부르며, 특히 존재하지 않는 인용이나 날짜, 통계에서 자주 나타납니다.

Q3. ChatGPT는 실시간 정보를 알고 있나요? 기본적으로 모델은 학습이 끝난 시점까지의 데이터만 알고 있습니다. 최신 정보를 얻으려면 검색 기능이 연동된 버전을 사용해야 합니다.

Q4. ChatGPT와 사람의 대화는 어떻게 다른가요? 사람은 실제 경험과 감정을 바탕으로 대화하지만, ChatGPT는 학습된 언어 패턴을 바탕으로 응답을 생성합니다. 결과물이 비슷해 보여도 작동 원리는 근본적으로 다릅니다.

Q5. RLHF란 무엇인가요? ‘인간 피드백을 통한 강화학습(Reinforcement Learning from Human Feedback)’의 약자로, 사람들이 모델의 여러 답변 중 더 나은 것을 선택하게 하여 모델이 사람이 선호하는 방식으로 답하도록 추가 훈련하는 과정입니다.