CPU와 GPU는 무엇이 다를까?

2006년, 엔비디아의 한 엔지니어링 회의실에서 이상한 질문 하나가 던져졌습니다.

“우리가 만드는 이 칩으로, 게임 그래픽 말고 다른 것도 계산할 수 있지 않을까요?”

당시 엔비디아는 그저 ‘그래픽카드 회사’였습니다. 게이머들이 더 화려한 폭발 이펙트와 더 매끄러운 캐릭터 움직임을 보기 위해 사는 부품을 만드는 회사. 주가도 크지 않았고, 실리콘밸리에서 딱히 주목받는 기업도 아니었습니다. 그런데 18년이 지난 지금, 이 회사는 한때 전 세계에서 시가총액이 가장 큰 기업 자리에 오르내리는 공룡이 되었습니다. 애플과 마이크로소프트를 제치고 말입니다.

무엇이 바뀐 걸까요? 게임을 더 잘하게 된 것도 아니고, 새로운 스마트폰을 만든 것도 아닙니다. 답은 놀랍도록 단순합니다. 사람들이 이 회사의 칩이 ‘게임 그래픽을 그리는 용도’ 말고 ‘인공지능을 학습시키는 용도’로 압도적으로 뛰어나다는 사실을 깨달았기 때문입니다.

여기서 이상한 궁금증이 생깁니다. 우리 컴퓨터 안에는 이미 계산을 담당하는 부품이 있습니다. 바로 CPU, 중앙처리장치입니다. 컴퓨터의 ‘두뇌’라고 배웠던 바로 그 부품이죠. 그런데 왜 인공지능은 CPU가 아니라 그래픽 담당인 GPU로 학습시키는 걸까요? 두뇌가 있는데 왜 눈을 담당하는 부품에게 생각을 시키는 걸까요?

이 질문에 답하려면, 우리는 ‘계산을 잘한다’는 말이 사실 하나의 뜻이 아니라는 사실부터 알아야 합니다. 계산에는 적어도 두 가지 완전히 다른 방식이 있고, CPU와 GPU는 각각 그중 한 가지 방식에 특화된, 서로 다른 종류의 천재입니다. 이 차이를 이해하는 순간, 왜 오늘날 세계 각국이 반도체 전쟁을 벌이고 있는지, 왜 GPU 한 장이 수천만 원을 호가하는지, 그리고 왜 여러분의 스마트폰 안에도 사실은 CPU와 GPU가 나란히 들어있는지가 한눈에 이해되기 시작합니다.

왜 이것이 중요한가

지금 이 글을 읽고 있는 화면 뒤에는 최소 두 개의 서로 다른 ‘생각하는 부품’이 동시에 일하고 있습니다. 여러분이 이 문장을 클릭하고, 스크롤을 내리고, 글자가 화면에 부드럽게 표시되는 이 모든 과정 뒤에서 CPU와 GPU는 각자 다른 역할을 나눠 맡고 있습니다.

이 차이를 모르면 벌어지는 일들이 있습니다. 게이밍 컴퓨터를 살 때 왜 그래픽카드 가격이 본체 가격의 절반을 차지하는지 이해할 수 없습니다. 인공지능 뉴스에서 왜 항상 엔비디아라는 이름이 등장하는지 알 수 없습니다. 그리고 무엇보다, 21세기 들어 가장 극적인 산업 지형 변화 중 하나 — 그래픽카드 회사가 인공지능 시대의 핵심 인프라 기업으로 변신한 사건 — 의 본질을 놓치게 됩니다.

이것은 단순한 부품 스펙 이야기가 아닙니다. ‘어떻게 생각할 것인가’에 대한 두 가지 다른 철학의 대결이며, 그 대결이 오늘날 우리가 사는 세상, 즉 인공지능이 그림을 그리고 글을 쓰고 대화를 나누는 이 세상을 만든 배경입니다.

역사적·사회적 배경

이야기는 1940년대로 거슬러 올라갑니다. 헝가리 출신의 천재 수학자 존 폰 노이만은 최초의 현대적 컴퓨터 구조를 설계하면서 하나의 원칙을 세웠습니다. 명령어를 하나씩, 순서대로, 차례차례 처리한다는 원칙이었습니다. 이것이 오늘날까지도 CPU의 근간을 이루는 ‘폰 노이만 구조’입니다. 컴퓨터는 마치 매우 똑똑하지만 한 번에 한 가지 일만 할 수 있는 비서처럼 작동했습니다. 다만 그 비서가 상상할 수 없을 만큼 빠르게 일을 처리했을 뿐입니다.

이 방식은 수십 년간 완벽하게 작동했습니다. 문서를 작성하고, 계산기를 두드리고, 웹사이트를 여는 일들은 대부분 ‘순서’가 중요한 작업이었기 때문입니다. A를 하고 나서 B를 해야 하고, B의 결과를 가지고 C를 해야 하는 식이었죠. CPU는 이런 순차적 작업의 제왕으로 군림했습니다.

그런데 1990년대, 완전히 다른 종류의 문제가 등장합니다. 바로 3D 게임 그래픽이었습니다. 화면에 폭발 장면 하나를 그리려면 수십만 개의 작은 점, 즉 픽셀 각각의 색깔을 계산해야 합니다. 그런데 이 픽셀들은 서로를 기다릴 필요가 없습니다. 왼쪽 위 픽셀의 색을 계산하는 일과 오른쪽 아래 픽셀의 색을 계산하는 일은 완전히 독립적입니다. 순서대로 할 필요가 전혀 없고, 동시에 해버리면 훨씬 빠릅니다.

문제는 당시 CPU가 이런 작업에 형편없이 느렸다는 점입니다. 한 번에 하나씩 처리하는 방식으로 수십만 개의 픽셀을 계산하려니 게임 화면이 뚝뚝 끊길 수밖에 없었습니다. 그래서 1999년, 엔비디아는 오직 이런 종류의 ‘동시다발적 계산’만을 위해 태어난 새로운 칩을 내놓습니다. 이것이 바로 GPU, 그래픽처리장치의 시작입니다. 흥미롭게도 ‘GPU’라는 용어 자체를 대중화시킨 것도 엔비디아가 지포스256을 출시하며 붙인 마케팅 문구였습니다.

그리고 2000년대 중반, 앞서 언급한 그 회의실의 질문이 등장합니다. 연구자들은 GPU가 잘하는 ‘수많은 계산을 동시에 처리하는 능력’이 사실 그래픽에만 쓸모 있는 게 아니라는 사실을 깨닫기 시작했습니다. 기후 시뮬레이션, 유전자 분석, 그리고 훗날 인공지능 신경망 학습까지, 모두 똑같이 ‘엄청나게 많은 단순 계산을 동시에’ 처리해야 하는 문제였기 때문입니다.

비유로 먼저 이해하기: 천재 한 명 vs 평범한 사람 수천 명

CPU와 GPU의 차이를 가장 직관적으로 이해하는 방법은 이런 비유입니다.

CPU는 박사 학위를 여러 개 가진 천재 한 명입니다. 이 사람은 아주 복잡하고 어려운 문제, 이를테면 미분방정식을 풀거나 법률 계약서의 논리적 허점을 찾는 일을 매우 잘합니다. 다만 이 천재는 딱 한 명(혹은 요즘 CPU 기준으로는 4명에서 많아야 64명 정도)뿐입니다. 복잡한 문제를 순서대로, 깊이 있게 파고들어 풀어냅니다.

GPU는 반대로, 구구단은 완벽하게 외웠지만 미분방정식은 풀 줄 모르는 평범한 사람 수천 명을 한 방에 몰아넣은 것과 같습니다. 이 사람들 개개인은 CPU 속 천재만큼 똑똑하지 않습니다. 하지만 “3×7은?”, “5×9는?” 같은 단순한 곱셈 문제를 10,000개 던져주면 이야기가 달라집니다. 천재 한 명이 10,000개를 순서대로 풀려면 한참 걸리지만, 평범한 사람 수천 명이 각자 몇 개씩 나눠서 동시에 풀면 순식간에 끝납니다.

실제 숫자로 보면 이 차이는 더 명확해집니다. 2024년 기준 고성능 CPU는 보통 8개에서 64개의 ‘코어'(계산을 처리하는 핵심 유닛)를 가지고 있습니다. 반면 동시대 고성능 GPU는 수천 개에서 많게는 1만 개가 넘는 코어를 가지고 있습니다. 엔비디아의 최상위 데이터센터용 GPU 중 하나는 코어 수가 1만 6천 개를 넘기도 합니다. 숫자만 보면 GPU가 압도적으로 우월해 보이지만, 여기에 함정이 있습니다.

왜 CPU 코어 하나가 GPU 코어 하나보다 훨씬 ‘똑똑한가’

GPU의 코어 하나하나는 CPU의 코어 하나에 비해 훨씬 단순합니다. 복잡한 조건 분기(만약 이러면 저렇게 하고, 아니면 이렇게 하라는 식의 판단)를 처리하는 능력이 떨어지고, 메모리에 저장된 다양한 데이터를 자유자재로 오가며 처리하는 유연성도 부족합니다. GPU 코어는 대신 아주 단순하고 반복적인 계산, 특히 곱셈과 덧셈 같은 산술 연산을 극도로 많이 동시에 처리하도록 설계되어 있습니다.

반면 CPU 코어는 ‘무엇을 다음에 계산할지’를 예측하고, 자주 쓰는 데이터를 캐시라는 초고속 임시 저장 공간에 미리 가져다 놓고, 복잡한 프로그램의 흐름을 관리하는 데 엄청난 회로 자원을 투입합니다. 쉽게 말해 CPU는 ‘똑똑하게 일하는 소수 정예’이고, GPU는 ‘단순하게 일하지만 숫자로 밀어붙이는 대규모 인력’입니다.

이 차이는 컴퓨터 과학에서 ‘지연시간(latency)’과 ‘처리량(throughput)’이라는 개념으로 설명됩니다. CPU는 지연시간을 줄이는 데 최적화되어 있습니다. 즉 한 가지 작업을 최대한 빨리 끝내는 것이 목표입니다. GPU는 처리량을 늘리는 데 최적화되어 있습니다. 즉 개별 작업 하나하나는 느릴지라도, 전체적으로 얼마나 많은 작업을 동시에 쳐낼 수 있는지가 목표입니다.

그래서 인공지능은 왜 GPU를 필요로 하는가

인공지능, 특히 요즘 화제인 대규모 언어모델(챗GPT 같은 것들)이나 이미지 생성 인공지능은 내부적으로 ‘신경망’이라는 구조로 작동합니다. 신경망 학습의 본질은 사실 엄청나게 거대한 행렬 곱셈입니다. 수백만, 수십억 개의 숫자를 서로 곱하고 더하는 작업의 반복이죠.

여기서 핵심은, 이 곱셈들 대부분이 서로 독립적이라는 점입니다. 신경망의 한 층에 있는 수천 개의 ‘뉴런’이 각각 수행하는 계산은 다른 뉴런의 계산 결과를 기다릴 필요가 없는 경우가 많습니다. 이것은 정확히 GPU가 잘하는 유형의 문제입니다. 앞서 예로 든 ‘3×7은?’ 같은 단순한 곱셈을, 신경망은 초당 수십억 번 반복해서 던지는 셈입니다.

만약 이 작업을 CPU로 한다면 어떻게 될까요? 천재 한 명(혹은 수십 명)이 순서대로 하나씩 곱셈을 처리해야 하니, 오늘날 챗GPT 한 문장을 생성하는 데 몇 시간, 어쩌면 며칠이 걸릴 수도 있습니다. 실제로 딥러닝 연구자들이 GPU를 활용하기 전, CPU만으로 신경망을 학습시키던 2000년대 초반에는 간단한 이미지 인식 모델 하나를 학습시키는 데도 몇 주가 걸리곤 했습니다. GPU 병렬 연산이 도입된 이후, 같은 작업이 몇 시간, 심지어 몇 분 단위로 줄어들었습니다.

그렇다면 CPU는 쓸모없어진 걸까?

전혀 그렇지 않습니다. 컴퓨터 안에서 여전히 대부분의 ‘판단이 필요한 작업’은 CPU가 담당합니다. 여러분이 마우스를 클릭했을 때 어떤 프로그램을 실행할지 결정하는 일, 파일을 저장할 위치를 찾는 일, 인터넷 연결 상태를 확인하는 일 같은 작업은 순서와 논리적 분기가 중요하기 때문에 여전히 CPU의 영역입니다.

실제로 인공지능을 학습시키는 데이터센터에도 GPU만 있는 것이 아닙니다. GPU에게 “이 데이터를 계산해”라고 지시를 내리고, 결과를 정리하고, 전체 시스템을 관리하는 것은 결국 CPU입니다. 비유하자면 CPU는 공장의 관리자이고, GPU는 공장의 생산 라인 노동자 수천 명입니다. 관리자 없이 노동자들만으로는 무엇을 생산해야 할지조차 알 수 없습니다.

실제 사례

사례 1: 픽사의 컴퓨터 애니메이션

디즈니·픽사의 애니메이션 영화 한 편을 렌더링(그래픽을 최종 이미지로 완성하는 작업)하는 데는 프레임 하나당 몇 시간이 걸리기도 합니다. 2019년작 애니메이션의 경우, 복잡한 장면 하나를 렌더링하는 데 최대 100시간 이상 걸렸다는 사실이 알려져 화제가 되었습니다. 이 렌더링 작업 역시 수많은 픽셀과 광선 계산을 동시에 처리해야 하는 GPU 친화적 작업입니다. 최신 GPU 기술이 도입되면서 렌더링 시간이 극적으로 줄어들고 있는 것도 이 때문입니다.

사례 2: 코로나19 팬데믹과 단백질 접힘 연구

2020년, 딥마인드의 알파폴드는 단백질이 어떤 3차원 구조로 접히는지를 예측하는 인공지능으로 과학계에 충격을 주었습니다. 이 예측 작업 역시 방대한 행렬 연산의 반복이었고, GPU 없이는 사실상 불가능한 수준의 계산량이었습니다. 이전까지 과학자들이 실험실에서 몇 달, 몇 년씩 걸려 알아내던 단백질 구조를, 알파폴드는 GPU의 병렬 연산 능력을 빌려 며칠, 심지어 몇 분 만에 예측해냈습니다.

사례 3: 여러분의 스마트폰 속 숨은 GPU

사실 GPU는 거대한 데이터센터에만 있는 것이 아닙니다. 여러분이 지금 들고 있는 스마트폰 안에도 CPU와 GPU가 나란히 들어있습니다. 손가락으로 화면을 넘길 때 화면이 부드럽게 스크롤되는 것, 카메라 앱에서 인물 사진 모드로 배경을 흐리게 처리하는 것, 게임 앱의 화려한 그래픽을 실시간으로 그려내는 것 모두 스마트폰 안의 작은 GPU가 담당합니다.

비교

구분	CPU (중앙처리장치)	GPU (그래픽처리장치)
핵심 철학	소수의 강력한 코어로 순차 처리	수천 개의 단순한 코어로 병렬 처리
코어 개수	보통 4~64개	수천~1만 개 이상
개별 코어 성능	매우 높음 (복잡한 판단 가능)	상대적으로 낮음 (단순 연산 특화)
잘하는 작업	순서와 논리 분기가 중요한 작업	동일한 연산을 대량으로 동시 처리
대표 예시	프로그램 실행, 파일 관리, 웹 브라우징	그래픽 렌더링, 인공지능 학습, 암호화폐 채굴
비유	박사급 천재 한 명	단순 계산에 능한 수천 명의 인력
최적화 대상	지연시간(빠른 응답 속도)	처리량(대량 작업 동시 처리)

오늘날 우리에게 주는 의미

CPU와 GPU의 이야기는 단지 하드웨어 스펙 비교가 아닙니다. 이것은 ‘문제에 맞는 도구를 찾는다’는, 아주 오래된 지혜가 현대 기술에서 어떻게 재현되는지를 보여주는 사례입니다.

세상의 모든 문제가 순서대로 풀어야 하는 문제는 아닙니다. 어떤 문제는 잘게 쪼개서 동시에 처리하는 편이 훨씬 효율적입니다. 이 단순한 통찰 하나가 2020년대 인공지능 혁명의 물리적 기반이 되었습니다. 챗GPT가 여러분의 질문에 몇 초 만에 답할 수 있는 것도, 인공지능이 그림을 몇 초 만에 그려내는 것도, 결국 수천 개의 단순한 계산 유닛이 동시에 힘을 합친 결과입니다.

또한 이 이야기는 기업의 흥망성쇠에 대해서도 중요한 교훈을 줍니다. 엔비디아는 처음부터 인공지능을 목표로 GPU를 만든 것이 아니었습니다. 게임을 더 잘 그리기 위해 만든 기술이, 전혀 다른 분야에서 폭발적인 가치를 발휘한 것입니다. 이는 어떤 기술이 처음 만들어진 목적과, 그 기술이 훗날 발휘하는 진짜 가치가 전혀 다를 수 있다는 사실을 잘 보여줍니다.

핵심 정리

CPU는 소수의 강력한 코어로 복잡한 문제를 순서대로 처리하는 데 특화되어 있습니다.
GPU는 수천 개의 단순한 코어로 동일한 연산을 대량으로 동시에 처리하는 데 특화되어 있습니다.
이 차이는 원래 3D 그래픽 렌더링 문제를 해결하기 위해 생겨났습니다.
인공지능 신경망 학습의 본질이 거대한 병렬 행렬 연산이기 때문에 GPU가 압도적으로 유리합니다.
CPU와 GPU는 경쟁 관계가 아니라 역할을 분담하는 협력 관계입니다.
이 기술적 차이가 오늘날 엔비디아를 세계 최고 수준의 기업으로 만든 배경입니다.

오늘의 한 문장

CPU가 깊이 생각하는 한 명의 천재라면, GPU는 단순한 계산을 나눠 맡는 수천 명의 손이며, 오늘날의 인공지능은 바로 그 수천 개의 손이 동시에 움직인 결과입니다.

FAQ

Q1. CPU와 GPU 중 어느 것이 더 성능이 좋은가요? 어느 쪽이 ‘더 좋다’라고 말할 수 없습니다. 순차적이고 복잡한 논리 처리가 필요한 작업에는 CPU가, 동일한 연산을 대량으로 동시에 처리해야 하는 작업에는 GPU가 훨씬 뛰어난 성능을 보입니다. 용도에 따라 우열이 갈립니다.

Q2. 게임을 할 때 CPU와 GPU 중 무엇이 더 중요한가요? 게임의 그래픽 품질과 프레임 속도는 GPU의 영향을 크게 받지만, 게임 내 물리 연산이나 인공지능 캐릭터의 행동 로직, 로딩 속도 등은 CPU의 영향을 받습니다. 두 부품이 균형 있게 뒷받침되어야 쾌적한 게임 환경이 만들어집니다.

Q3. 왜 인공지능 학습에는 GPU가 CPU보다 압도적으로 빠른가요? 인공지능 신경망 학습은 본질적으로 방대한 양의 곱셈과 덧셈, 즉 행렬 연산의 반복입니다. 이 연산 대부분이 서로 독립적으로 수행 가능하기 때문에, 수천 개의 코어로 동시에 처리하는 GPU 구조가 순차 처리에 특화된 CPU보다 훨씬 유리합니다.

Q4. 엔비디아는 원래 인공지능 회사였나요? 아닙니다. 엔비디아는 1990년대 게임용 그래픽카드 제조사로 출발했습니다. 2000년대 중반 이후 연구자들이 GPU의 병렬 연산 능력이 인공지능 학습에도 유용하다는 사실을 발견하면서 인공지능 분야의 핵심 기업으로 부상했습니다.

Q5. 스마트폰에도 GPU가 따로 들어있나요? 네, 대부분의 현대 스마트폰에는 CPU와 GPU가 함께 탑재되어 있습니다. 화면 스크롤, 카메라 이펙트, 게임 그래픽 처리 등 시각적이고 병렬적인 작업을 GPU가 전담하며, 앱 실행이나 시스템 관리는 CPU가 담당합니다.

이 글이 도움이 되었다면 주변 사람과 공유해 보세요.

왜 이것이 중요한가