GPU는 왜 AI 시대의 핵심이 되었을까?

게임기 부품이 세계에서 가장 비싼 반도체가 되기까지

2006년, 미국의 한 대학원생이 실험실 컴퓨터에 게임용 그래픽카드를 꽂았습니다. 목적은 게임이 아니었습니다. 그는 신경망을 학습시키는 데 이 그래픽카드를 쓸 수 있는지 궁금했을 뿐입니다. 당시 학계에서는 아무도 이 실험에 주목하지 않았습니다. 그래픽카드는 화면에 총알과 폭발 이펙트를 그리기 위한 부품이었지, 인공지능을 위한 물건이 아니었으니까요.

그로부터 약 20년이 지난 지금, 이야기는 완전히 달라졌습니다. 이 그래픽카드를 만들던 회사, 엔비디아는 2026년 시가총액 5조 달러를 넘기며 세계에서 가장 가치 있는 기업 자리에 올랐습니다. 불과 몇 년 전까지만 해도 “PC방에 그래픽카드 납품하는 회사” 정도로 알려졌던 곳이, 이제는 애플과 마이크로소프트를 제치고 전 세계 산업의 무게중심을 바꿔놓은 기업이 된 것입니다.

더 놀라운 사실은 따로 있습니다. 이 변화를 이끈 물건은 완전히 새로 개발된 첨단 부품이 아니었습니다. 우리가 게임할 때 화면 속 캐릭터를 부드럽게 움직이기 위해 오래전부터 써왔던 바로 그 부품, GPU(그래픽처리장치)였습니다. 게임 그래픽을 그리던 도구가 어떻게 인류 역사상 가장 강력한 기술 혁명의 엔진이 되었을까요? 그 답을 이해하려면, 먼저 컴퓨터가 계산을 하는 방식 자체를 들여다봐야 합니다.

왜 이것이 중요한가

챗GPT에게 질문을 던지고, 몇 초 만에 그림을 그려주는 AI를 쓰고, 자율주행차가 스스로 도로를 인식하는 시대에 살고 있지만, 정작 이 모든 것을 가능하게 만드는 물리적 실체가 무엇인지 아는 사람은 많지 않습니다. 소프트웨어가 아무리 똑똑해도, 그것을 실제로 계산해 낼 하드웨어가 없다면 AI는 그저 이론에 불과합니다.

지금 전 세계는 이 하드웨어, 즉 GPU를 확보하기 위한 총성 없는 전쟁을 치르고 있습니다. 각국 정부는 GPU 수출을 국가 안보 문제로 다루고, 기업들은 GPU 한 대라도 더 확보하기 위해 수십억 달러를 씁니다. 오픈AI, 구글, 메타 같은 빅테크 기업들이 한 해에 쓰는 돈의 상당 부분이 결국 GPU를 사거나 GPU가 가득 찬 데이터센터를 짓는 데 들어갑니다. GPU를 이해하지 못하면, 지금 벌어지고 있는 AI 시대의 산업 지형과 국제 정치를 절반도 이해할 수 없는 셈입니다.

그림을 그리던 칩의 탄생

이야기는 1990년대로 거슬러 올라갑니다. 컴퓨터 게임 산업이 폭발적으로 성장하면서, 3D 그래픽을 빠르게 처리해야 할 필요성이 커졌습니다. 그전까지 컴퓨터의 모든 계산은 CPU(중앙처리장치) 하나가 도맡아 처리했습니다. CPU는 매우 똑똑하지만, 한 번에 하나씩 순서대로 일을 처리하는 방식에 가까웠습니다. 마치 요리 실력이 뛰어난 셰프 한 명이 주방에서 모든 요리를 혼자 만드는 것과 비슷합니다. 손이 빠르고 실력이 좋아도, 결국 한 번에 한 가지 요리에 집중할 수밖에 없습니다.

그런데 게임 화면 하나를 그리려면 수백만 개의 점(픽셀) 각각의 색깔과 밝기를 동시에 계산해야 했습니다. 셰프 한 명에게 수백만 개의 접시를 동시에 요리하라고 시키는 것과 다름없는 일이었죠. 이 문제를 해결하기 위해 1999년 엔비디아는 ‘GPU’라는 이름을 처음 만들어 붙인 그래픽 전용 칩을 내놓았습니다. CPU처럼 소수의 뛰어난 셰프를 두는 대신, 각자는 간단한 계산만 할 줄 알지만 숫자가 수천 명에 달하는 조리보조원 군단을 두는 방식이었습니다. 복잡한 요리는 못 해도, 똑같은 작업을 동시에 수천 번 반복하는 데는 이보다 효율적인 구조가 없었습니다.

이 방식은 게임 그래픽 처리에는 완벽했습니다. 화면의 모든 픽셀은 사실 비슷한 계산을 반복하는 작업이었기 때문입니다. 하지만 2000년대까지 GPU는 철저히 게임과 그래픽 작업을 위한 부품으로만 여겨졌습니다. 아무도 이 칩이 훗날 인류의 지능을 흉내 내는 인공지능의 심장이 되리라고는 상상하지 못했습니다.

왜 하필 GPU였을까

CPU와 GPU, 근본적으로 다른 두뇌 구조

이 질문에 답하려면 먼저 인공지능, 특히 딥러닝이 실제로 어떤 계산을 하는지 알아야 합니다. 딥러닝은 사람의 뇌를 모방한 인공신경망을 사용합니다. 인공신경망은 수많은 ‘뉴런’이 서로 연결된 구조로, 각 뉴런은 입력받은 숫자에 가중치를 곱하고 더하는, 아주 단순한 계산을 합니다. 문제는 이 단순한 계산을 무려 수십억, 수천억 번 동시에 반복해야 한다는 점입니다.

이것은 정확히 GPU가 잘하는 일이었습니다. GPU 안에는 CPU보다 훨씬 단순한 연산 코어가 수천 개에서 많게는 수만 개까지 들어 있습니다. CPU가 보통 수십 개의 코어를 가진 것과는 비교가 되지 않는 규모입니다. 대신 GPU의 각 코어는 CPU 코어만큼 복잡한 작업을 처리하지는 못합니다. 하지만 딥러닝에 필요한 계산은 대부분 ‘똑같이 단순한 곱셈과 덧셈을 엄청나게 많이, 동시에’ 하는 것이었기에, GPU의 구조와 완벽하게 맞아떨어졌습니다.

이것을 비유로 설명하면 이렇습니다. CPU는 각각 박사 학위를 가진 소수의 전문가 팀입니다. 복잡하고 다양한 문제를 순서대로 깊이 있게 풀어냅니다. 반면 GPU는 초등학생 수만 명으로 이뤄진 거대한 집단입니다. 개개인은 덧셈, 곱셈 같은 간단한 문제만 풀 수 있지만, 똑같은 문제지를 수만 장 동시에 나눠주면 전문가 몇 명보다 훨씬 빨리 전체 작업을 끝낼 수 있습니다. 딥러닝 학습은 바로 이런 ‘똑같이 단순한 문제를 엄청난 양으로 동시에 처리’해야 하는 작업이었던 것입니다.

2012년, 세상이 바뀐 순간

이론적으로 GPU가 딥러닝에 유리하다는 것은 일부 연구자들 사이에서 조금씩 알려지고 있었지만, 세상을 바꾼 결정적 순간은 2012년에 찾아왔습니다. 토론토 대학의 제프리 힌턴 교수 연구팀이 만든 인공신경망 ‘알렉스넷(AlexNet)’이 이미지 인식 대회 ImageNet에서 압도적인 성적으로 우승한 것입니다. 그전까지 이미지 인식 오류율은 매년 조금씩 개선되는 수준이었는데, 알렉스넷은 단 한 번에 오류율을 10퍼센트포인트 이상 낮춰버렸습니다.

이 성과의 비밀은 알고리즘의 혁신뿐 아니라, 게임용 GPU 단 두 장을 사용해 신경망을 학습시켰다는 데 있었습니다. 그전까지 연구자들은 CPU만으로 신경망을 학습시키느라 몇 주씩 기다려야 했습니다. 하지만 GPU를 쓰자 학습 속도가 극적으로 빨라졌고, 이는 곧 더 크고 복잡한 신경망을 현실적인 시간 안에 실험해볼 수 있다는 뜻이었습니다. 이 사건 이후 전 세계 AI 연구자들이 앞다투어 GPU로 갈아타기 시작했습니다. 게임을 위해 태어난 칩이 인공지능 연구의 필수 도구로 다시 태어나는 순간이었습니다.

엔비디아의 결정적인 베팅: 쿠다(CUDA)

여기서 중요한 사실이 하나 더 있습니다. GPU라는 하드웨어만으로는 이 혁명이 일어날 수 없었습니다. 엔비디아는 이미 2006년부터 ‘쿠다’라는 소프트웨어 플랫폼을 개발해두었습니다. 쿠다는 원래 그래픽 처리만 하던 GPU를 일반적인 계산 작업에도 쓸 수 있도록 열어주는 도구였습니다.

당시 이 투자는 회사 내부에서도 회의적인 시선을 받았습니다. 게임 그래픽카드를 파는 회사가 왜 아무도 쓰지 않을지 모르는 범용 계산 소프트웨어에 막대한 개발비를 쏟아붓느냐는 것이었습니다. 실제로 쿠다는 출시 이후 몇 년간 이렇다 할 반응을 얻지 못했습니다. 하지만 알렉스넷 사건 이후 전 세계 연구자들이 GPU로 딥러닝을 하려고 몰려들었을 때, 이미 완성되어 있던 쿠다 생태계는 압도적인 진입장벽이 되었습니다. 경쟁사들이 뒤늦게 비슷한 하드웨어를 내놓아도, 20년 가까이 쌓인 쿠다의 소프트웨어 생태계를 따라잡기는 쉽지 않았습니다. <cite index=”1-1″>2026년 현재 데이터센터 GPU 시장에서 엔비디아는 약 86%의 매출 점유율을 확보하며 압도적 우위를 유지하고 있는데, 이는 하드웨어 성능뿐 아니라 오랜 기간 축적된 쿠다 중심 소프트웨어 생태계가 만든 구조적 진입장벽 덕분이라는 분석이 나옵니다.</cite>

병렬 처리, 그리고 왜 ‘더 큰 모델’이 가능해졌나

GPU가 가져온 변화는 단순히 ‘계산이 빨라졌다’는 것에 그치지 않습니다. 딥러닝 모델은 시간이 지날수록 기하급수적으로 커졌습니다. 초기 신경망은 파라미터(모델이 학습하는 값의 개수)가 수백만 개 수준이었지만, 최근의 대규모 언어모델은 파라미터가 수천억 개에서 조 단위에 이릅니다.

이렇게 거대한 모델을 학습시키려면 GPU 한 장으로는 어림도 없습니다. 그래서 등장한 것이 수백, 수천 장의 GPU를 하나로 묶어 마치 거대한 하나의 계산 기계처럼 작동시키는 기술입니다. 데이터센터 안에 GPU 수만 장을 초고속 네트워크로 연결하고, 거대한 모델의 계산을 잘게 쪼개 이 GPU들에 나눠주는 방식입니다. 이것이 바로 오늘날 오픈AI나 구글 같은 회사들이 거대한 데이터센터를 짓고 그 안을 GPU로 가득 채우는 이유입니다. 하나의 거대한 AI 모델 뒤에는, 실제로는 수만 장의 GPU가 협력해서 일하고 있는 셈입니다.

실제 사례: GPU가 만든 세 개의 장면

챗GPT의 등장. 2022년 말 공개된 챗GPT는 수천 장의 GPU로 몇 달간 학습한 대규모 언어모델을 기반으로 합니다. 만약 CPU만으로 이 모델을 학습시키려 했다면, 계산이 끝나는 데 수십 년이 걸렸을 것이라는 추산도 나옵니다. GPU가 없었다면 챗GPT는 실험실의 논문 속 아이디어로만 남아있었을 가능성이 큽니다.

자율주행차의 두뇌. 테슬라나 여러 자율주행 스타트업들은 차량에 탑재된 GPU 기반 칩을 이용해 카메라로 들어온 영상을 실시간으로 분석합니다. 도로 위 보행자, 신호등, 다른 차량을 0.1초 단위로 인식해야 하는데, 이 역시 수많은 픽셀 데이터를 동시에 처리해야 하는 작업이라 GPU의 병렬 처리 구조가 핵심적인 역할을 합니다.

신약 개발과 단백질 구조 예측. 딥마인드의 알파폴드는 단백질이 어떤 3차원 구조로 접히는지를 예측해 생명과학계에 혁명을 일으켰습니다. 이 계산 역시 방대한 양의 데이터를 동시에 처리하는 작업으로, GPU 클러스터 없이는 현실적인 시간 안에 불가능한 일이었습니다. 과거 실험실에서 몇 년씩 걸리던 단백질 구조 규명이 며칠 만에 가능해진 배경에도 GPU가 있습니다.

CPU와 GPU, 무엇이 다른가

구분	CPU	GPU
핵심 목표	복잡하고 다양한 작업의 순차 처리	단순한 작업의 대규모 동시 처리
코어 개수	수 개 ~ 수십 개 (소수 정예)	수천 개 ~ 수만 개 (대규모 군단)
코어당 성능	매우 높음 (복잡한 연산 가능)	상대적으로 단순
비유	박사급 전문가 소수 팀	초등학생 수만 명 집단
잘하는 일	운영체제 관리, 분기 처리, 일반 프로그램 실행	그래픽 렌더링, 딥러닝 학습, 대규모 병렬 계산
대표 활용처	일반 PC, 서버의 중앙 두뇌	게임 그래픽, AI 학습·추론, 데이터센터

이 표에서 알 수 있듯, GPU가 CPU보다 ‘더 우월한’ 칩이라고 말하는 것은 정확하지 않습니다. 두 칩은 애초에 잘하도록 설계된 일 자체가 다릅니다. 실제로 오늘날의 컴퓨터와 AI 데이터센터는 CPU와 GPU를 함께 사용합니다. CPU가 전체 시스템을 관리하고 명령을 내리면, 실제 대규모 계산이 필요한 부분만 GPU에 맡기는 협업 구조입니다.

오늘날 우리에게 주는 의미

GPU를 둘러싼 오늘날의 경쟁은 단순한 기업 간 경쟁을 넘어섭니다. <cite index=”4-1″>AI 시대의 필수 인프라로 꼽히는 GPU를 두고 각국과 기업들이 확보 경쟁을 벌이는 가운데, 최근에는 GPU의 전력 효율 문제가 부각되면서 신경망처리장치(NPU) 등 다양한 AI 가속기로 시장 구조가 다변화되는 흐름도 나타나고 있습니다.</cite> 구글은 자체 개발한 TPU라는 칩을, 아마존과 메타 같은 빅테크 기업들도 각자의 전용 AI 칩을 만들며 엔비디아 의존도를 낮추려 하고 있습니다.

또한 GPU는 이제 국가 간 기술 패권 경쟁의 핵심 도구가 되었습니다. 첨단 GPU를 특정 국가에 수출하지 못하도록 제한하는 조치들이 이어지는 것도, 이 칩 하나가 곧 그 나라의 AI 개발 역량 자체를 좌우하기 때문입니다. 흥미롭게도 이 경쟁의 또 다른 중심에는 한국 기업들도 있습니다. GPU가 계산을 빠르게 하려면 그만큼 많은 데이터를 빠르게 실어 나를 메모리가 필요한데, 이 고대역폭 메모리(HBM) 분야에서는 SK하이닉스와 삼성전자가 세계적인 경쟁력을 가지고 있습니다. <cite index=”8-1″>계산을 담당하는 GPU는 미국 엔비디아가 압도적인 점유율로 이끌고 있지만, 데이터를 나르는 메모리 반도체(HBM)에서는 한국이 주도하고 있는 셈입니다.</cite>

우리가 매일 무심코 사용하는 AI 챗봇, 이미지 생성 도구, 번역기 뒤에는 결국 눈에 보이지 않는 GPU라는 물리적 실체가 자리하고 있습니다. 소프트웨어의 시대라고 불리는 지금이야말로, 역설적으로 하드웨어가 그 어느 때보다 중요해진 시대이기도 합니다.

핵심 정리

• GPU는 원래 게임 그래픽을 그리기 위해 개발된 칩으로, 단순한 계산을 동시에 대량으로 처리하는 병렬 구조를 갖고 있다
• 딥러닝의 핵심 계산인 ‘단순한 곱셈과 덧셈의 대량 반복’이 GPU의 구조와 정확히 맞아떨어졌다
• 2012년 알렉스넷이 GPU로 학습해 이미지 인식 대회에서 압도적으로 우승하며, GPU가 AI 연구의 필수 도구로 자리 잡았다
• 엔비디아가 미리 구축해둔 쿠다 소프트웨어 생태계가 하드웨어 우위를 더 강력한 진입장벽으로 만들었다
• 오늘날 거대 언어모델은 수천~수만 장의 GPU를 연결한 데이터센터에서 학습되며, GPU는 국가 간 기술 패권 경쟁의 핵심 자원이 되었다

오늘의 한 문장

게임 속 총알과 폭발을 그리기 위해 태어난 칩이, 결국 인류의 지능을 흉내 내는 인공지능의 심장이 되었다.

FAQ

Q1. GPU와 CPU의 가장 큰 차이는 무엇인가요? CPU는 소수의 강력한 코어로 복잡한 작업을 순서대로 처리하는 데 강하고, GPU는 수천 개의 단순한 코어로 똑같은 작업을 동시에 대량 처리하는 데 강합니다. 딥러닝 계산은 후자의 방식에 훨씬 적합합니다.

Q2. 왜 하필 게임용 그래픽카드가 AI에 쓰이게 되었나요? 화면의 수백만 픽셀을 동시에 계산해야 하는 그래픽 처리와, 신경망의 수많은 뉴런을 동시에 계산해야 하는 딥러닝은 근본적으로 비슷한 구조의 작업이기 때문입니다. 우연히도 게임을 위해 만든 구조가 AI 계산에도 맞아떨어진 것입니다.

Q3. 엔비디아가 GPU 시장에서 압도적 1위인 이유는 무엇인가요? 하드웨어 성능뿐 아니라, 2006년부터 쌓아온 쿠다라는 소프트웨어 생태계 덕분입니다. 개발자들이 이미 쿠다에 익숙해져 있어서, 경쟁사가 비슷한 성능의 칩을 내놓아도 쉽게 대체되지 않습니다.

Q4. GPU 없이는 AI를 만들 수 없나요? 반드시 GPU만 가능한 것은 아닙니다. 구글의 TPU처럼 AI 연산에 특화된 다른 종류의 칩(가속기)도 존재하고 점점 늘어나고 있습니다. 다만 현재까지는 GPU가 가장 널리 쓰이고 생태계가 가장 잘 갖춰진 선택지입니다.

Q5. 한국 기업들은 GPU 산업에서 어떤 역할을 하고 있나요? 한국은 GPU 자체보다는 GPU와 함께 쓰이는 고대역폭 메모리(HBM) 분야에서 강점을 갖고 있습니다. SK하이닉스와 삼성전자가 엔비디아를 비롯한 주요 AI 칩 회사들에 HBM을 공급하며 AI 반도체 공급망의 핵심 축을 담당하고 있습니다.