구글은 어떻게 원하는 정보를 찾을까?

1998년, 스탠퍼드 대학교 박사과정 학생이던 래리 페이지는 도서관에서 이상한 생각에 사로잡혀 있었습니다. 학술 논문의 가치를 매기는 방법은 의외로 단순했습니다. 얼마나 많은 다른 논문이 그 논문을 인용했는가, 그리고 그 인용한 논문 자체가 얼마나 권위 있는가. 별로 유명하지 않은 학술지에서 열 번 인용된 논문보다, 최고 권위의 학술지에서 단 한 번 인용된 논문이 더 무게 있게 평가받는 식이었죠. 페이지는 여기서 질문을 하나 던졌습니다. 웹페이지도 논문처럼 서로 링크를 걸고 있는데, 왜 아무도 이 링크 구조로 웹페이지의 가치를 매기지 않는 걸까. 당시 검색 엔진의 절대 강자였던 야후나 알타비스타는 한 페이지 안에 특정 단어가 몇 번 등장하는지만 세고 있었습니다. 그러니 누군가 특정 검색어를 페이지 맨 아래에 하얀 글씨로 수백 번 숨겨 넣기만 해도 검색 결과 최상단에 오를 수 있었죠. 페이지와 친구 세르게이 브린은 이 허점을 파고들어 완전히 다른 방식의 검색 엔진을 만들기 시작했고, 그 결과물이 오늘날 하루에도 수십억 번씩 우리 손끝에서 실행되는 구글입니다.

지금 이 순간에도 전 세계 사람들은 궁금한 것이 생기면 습관처럼 검색창을 엽니다. 그런데 정작 그 검색창 뒤에서 무슨 일이 벌어지는지 아는 사람은 많지 않습니다. 수백억 개에 달하는 웹페이지 가운데 내가 원하는 답이 어떻게 0.5초 만에 골라져 나오는 걸까요. 그 답을 찾아가다 보면 도서관 사서의 지혜, 인간관계의 신뢰 구조, 그리고 최근에는 사람의 언어를 이해하는 인공지능까지, 생각보다 훨씬 인간적인 이야기가 숨어 있습니다.

검색 엔진이 풀어야 했던 진짜 문제

구글이 등장하기 전, 검색 엔진이 마주한 문제는 사실 단순하지 않았습니다. 웹에는 이미 수백만 개의 페이지가 있었고, 사용자가 두세 단어를 입력하면 그 단어가 들어간 페이지를 모조리 찾아 보여주는 것 자체는 어렵지 않았습니다. 진짜 어려운 문제는 따로 있었습니다. 그렇게 찾아낸 수만 개의 페이지 중에서 어떤 것을 맨 위에 올려야 하느냐는 문제였죠.

생각해 보면 이건 도서관 사서가 매일 겪는 고민과 똑같습니다. “경제학”이라는 주제로 책을 찾는 사람에게 사서가 서가에 꽂힌 모든 경제학 책을 무작위로 늘어놓지는 않습니다. 오랜 경험을 가진 사서라면 어떤 책이 정말 좋은 책인지 압니다. 그 판단 기준은 대개 이런 것이었죠. 다른 전문가들이 그 책을 얼마나 많이 참고하고 추천하는가. 페이지와 브린이 눈여겨본 것이 바로 이 지점이었습니다. 웹페이지 사이의 링크는 결국 누군가가 다른 누군가에게 보내는 일종의 추천장과 같다는 것이었죠.

왜 링크 하나하나가 투표가 되는가

페이지랭크는 스탠퍼드 대학교에 재학 중이던 래리 페이지와 세르게이 브린이 검색 엔진 연구의 일환으로 개발했으며, 1995년 시작된 이 연구는 1998년 구글이라는 시범 서비스로 이어졌습니다. 이 알고리즘의 핵심 아이디어를 한 문장으로 요약하면 이렇습니다. 더 많은 곳에서 링크를 받는 페이지일수록 더 중요한 페이지다.

그런데 여기서 그치면 절반짜리 아이디어에 불과합니다. 만약 링크 수만 센다면, 누구든 가짜 웹사이트 수백 개를 만들어 자기 페이지에 링크를 걸게 하면 순위를 조작할 수 있으니까요. 페이지와 브린이 진짜 영리했던 지점은 여기서 한 걸음 더 나아갔다는 데 있습니다. 모든 링크가 똑같은 무게를 가지지 않는다고 본 것이죠. 뉴욕타임스 홈페이지가 걸어준 링크 하나는, 아무도 찾지 않는 개인 블로그가 걸어준 링크 백 개보다 훨씬 값어치가 있습니다. 그리고 그 뉴욕타임스 홈페이지의 가치 역시 또 다른 권위 있는 사이트들의 링크로부터 결정됩니다. 결국 이 계산은 웹 전체를 아우르는 거대한 순환 방정식이 됩니다. A의 중요도를 알려면 A에 링크를 건 B, C, D의 중요도를 알아야 하고, B, C, D의 중요도는 다시 그들에게 링크를 건 페이지들의 중요도에 달려 있는 식이죠.

페이지랭크를 설명할 때 자주 쓰이는 비유가 하나 있습니다. 웹 서핑을 하는 가상의 사용자를 하나 상상해 보세요. 이 사용자는 아무 페이지에서나 출발해서, 그 페이지에 있는 링크 중 하나를 무작위로 클릭하며 계속 이동합니다. 가끔은 지루해져서 링크를 타고 가는 대신 완전히 다른 임의의 페이지로 점프하기도 하죠. 이 사용자를 수십억 번, 수백만 시간 동안 웹 전체에 풀어놓았다고 가정했을 때, 이 사용자가 가장 자주 머물게 되는 페이지가 바로 가장 중요한 페이지라는 것입니다. 당시 야후로 대표되던 검색엔진들은 검색어가 페이지에 얼마나 자주 등장하는지에 따라 순위를 매기고 있었지만, 두 사람은 여기서 벗어나 어떤 페이지들이 자신의 페이지를 링크하고 있는지, 그리고 그 링크하는 페이지들이 얼마나 권위 있는지를 종합적으로 계산하는 방식을 고안했습니다.

그래서 검색은 실제로 어떤 순서로 이루어지는가

페이지랭크는 구글이 세상에 내놓은 첫 아이디어였을 뿐, 실제 검색 한 번이 완성되기까지는 크게 세 단계를 거칩니다.

첫 번째는 크롤링입니다. 구글은 크롤러라는 자동화된 프로그램을 이용해 인터넷 곳곳의 페이지를 찾아내고, 그 페이지의 텍스트와 이미지, 영상 등을 다운로드합니다. 이 크롤러에는 ‘구글봇’이라는 이름이 붙어 있는데, 흔히 상상하듯 거대한 로봇 한 대가 아니라 동시에 수백만 개가 돌아가는 프로그램의 무리에 가깝습니다. 재미있는 건 이 크롤러가 일하는 방식이 사람이 인터넷을 서핑하는 방식과 놀랍도록 닮았다는 점입니다. 스파이더라 불리는 이 소프트웨어는 마치 사용자가 웹을 탐색하듯 한 페이지를 확인하고, 그 페이지 안의 링크를 타고 다음 페이지로, 또 그다음 페이지로 계속 이동합니다. 새로 만들어진 웹사이트라도 어딘가 이미 알려진 페이지가 링크를 걸어주기만 하면, 크롤러는 언젠가 그 링크를 따라 새 페이지를 발견하게 됩니다. 반대로 얘기하면, 이 세상 어디에서도 링크로 연결되지 않은 페이지는 아무리 좋은 내용을 담고 있어도 구글에게는 존재하지 않는 것이나 마찬가지입니다.

두 번째는 인덱싱, 우리말로 색인입니다. 수집한 페이지의 텍스트와 이미지, 영상 내용을 분석해 이를 거대한 데이터베이스인 구글 색인에 저장하는 과정입니다. 이 단계를 도서관에 비유하면 훨씬 이해가 쉽습니다. 크롤링이 세상의 모든 책을 트럭에 실어 도서관으로 가져오는 일이라면, 인덱싱은 그 책들을 하나하나 펼쳐 읽고 주제별, 키워드별로 분류해 서가에 꽂아두는 일입니다. 책 표지만 보고 대충 분류하는 것이 아니라 본문 내용, 삽화, 심지어 이 책이 어떤 다른 책들과 함께 언급되는지까지 파악해서 정리해 두는 셈이죠. 구글 색인의 규모는 상상을 뛰어넘습니다. 수천억 개에 달하는 페이지 정보가 이 안에 정리되어 있고, 우리가 검색을 할 때 실시간으로 전체 인터넷을 뒤지는 게 아니라 이미 정리되어 있는 이 색인을 초고속으로 뒤지는 것입니다. 실시간으로 웹 전체를 훑는다면 아무리 구글이라도 몇 초 만에 답을 내놓기는 불가능하겠죠.

세 번째가 바로 랭킹, 순위를 매기는 과정입니다. 사용자가 검색어를 입력하는 순간, 구글은 색인 안에서 그 검색어와 관련된 페이지 후보들을 걸러낸 뒤, 앞서 이야기한 페이지랭크를 포함한 수백 가지 신호를 종합해 순서를 정합니다. 콘텐츠의 관련성, 페이지의 품질, 사용자 경험, 그리고 얼마나 많은 신뢰받는 곳에서 링크를 받았는가까지, 이 모든 것이 거의 동시에 계산되어 우리 눈앞에 정렬된 결과로 나타납니다.

검색창이 사람의 말을 알아듣기 시작하다

여기까지가 구글 초창기의 이야기라면, 지금의 구글은 완전히 다른 능력을 하나 더 갖추고 있습니다. 바로 사람의 말을 진짜로 ‘이해’하는 능력입니다.

옛날 검색 엔진에게 문장은 그저 단어의 나열이었습니다. “서울에서 부산 가는 법”이라는 검색어를 입력하면, 검색 엔진은 이 문장에서 “서울”, “부산”, “가는”, “법”이라는 단어를 따로따로 뽑아내 이 단어들이 많이 들어간 페이지를 찾았습니다. 문제는 단어 순서를 바꾸면 완전히 다른 뜻이 되는 문장도 많다는 데 있습니다. “약 없이 통증 완화하는 법”과 “통증 완화 없이 약 먹는 법”은 쓰인 단어는 거의 똑같지만 의미는 정반대입니다. 예전 방식으로는 이 둘을 구분할 방법이 없었죠.

이 문제를 풀기 위해 구글은 2015년 랭크브레인을, 그리고 2019년에는 구글 검색 역사상 5년 만에 가장 큰 변화라 불린 버트(BERT)를 도입합니다. 버트는 구글이 개발한 딥러닝 모델로, 검색어와 텍스트의 문맥을 훨씬 정교하게 파악해 자연어 처리 능력을 끌어올린 기술입니다. 기존 모델들이 문장을 왼쪽에서 오른쪽으로, 혹은 그 반대 방향으로 순서대로 읽어 내려간 것과 달리, 버트는 문장의 양방향을 동시에 읽어내 단어 사이의 관계를 훨씬 깊이 파악할 수 있습니다. 문장 속 한 단어를 일부러 가려두고 앞뒤 맥락만으로 그 단어를 맞혀보게 하는 훈련 방식을 반복하면서, 이 모델은 마치 사람이 문맥으로 의미를 유추하듯 언어를 다루는 법을 익히게 되었죠.

이 변화가 왜 중요했는지는 구글이 직접 들었던 예시로 설명하면 명확해집니다. “2019 brazil traveler to usa need a visa”라는 영어 검색어에서, 버트 이전의 구글은 “to”라는 전치사의 무게를 제대로 읽지 못해 정반대 방향인 미국인이 브라질에 갈 때의 비자 정보를 보여주곤 했습니다. 브라질 사람이 미국에 갈 때 비자가 필요한지 물었는데 말이죠. 버트 도입 이후에는 이런 전치사 하나, 조사 하나의 미묘한 방향성까지 구분해 훨씬 정확한 결과를 내놓게 됩니다. 이후 2021년에는 버트보다 천 배 강력하다고 소개된 멀티모달 모델 멈(MUM)이 발표되며, 텍스트뿐 아니라 이미지와 오디오 등 다양한 형태의 데이터를 함께 분석하고 여러 언어에 걸친 복잡한 질문까지 처리할 수 있게 되었습니다.

사람들이 흔히 오해하는 것들

검색이 이렇게 정교해지다 보니 여기에 대한 오해도 함께 자라났습니다. 가장 흔한 오해는 “돈을 내면 검색 순위를 올릴 수 있다”는 생각입니다. 실제로는 그렇지 않습니다. 우리가 검색 결과 상단에서 보는 ‘광고’라고 표시된 항목은 별도의 광고 경매 시스템을 거친 것이고, 그 아래 이어지는 일반 검색 결과, 흔히 오가닉 결과라 부르는 영역은 돈으로 순위를 살 수 없습니다. 콘텐츠의 품질과 신뢰도, 관련성이 여전히 핵심 기준이죠.

두 번째 오해는 “특정 단어를 페이지에 많이 넣을수록 검색에 잘 걸린다”는 믿음입니다. 이건 정확히 페이지랭크가 등장하기 전, 야후 시대의 낡은 셈법입니다. 오히려 지금은 부자연스럽게 키워드를 욱여넣은 글이 품질 낮은 콘텐츠로 분류되어 순위가 떨어지는 경우가 더 많습니다.

세 번째는 “구글이 실시간으로 인터넷 전체를 검색한다”는 착각입니다. 앞서 설명했듯 실제로는 미리 만들어둔 색인을 뒤지는 것이고, 아무리 좋은 페이지라도 크롤러가 아직 발견하지 못했거나 색인에 반영되지 않았다면 검색 결과에 나타나지 않습니다. 새로 만든 웹사이트가 며칠, 때로는 몇 주씩 검색에 잡히지 않는 이유가 여기에 있습니다.

알고리즘 방식의 변천사, 표로 정리하면

시기	알고리즘/기술	핵심 원리	한계
1990년대 초중반	키워드 빈도 방식	검색어가 페이지에 등장하는 횟수로 순위 결정	키워드 도배로 순위 조작 가능
1998년	페이지랭크	링크를 신뢰 투표로 간주, 링크의 출처 권위까지 반영	조작된 링크망(링크 팜)에 취약
2011~2013년	판다, 허밍버드	저품질 콘텐츠 및 스팸 필터링, 자연어 질의 이해 시작	문맥 이해 수준은 아직 제한적
2015년	랭크브레인	기계학습으로 낯선 검색어의 의도 추론	문장 구조 자체의 미묘한 차이는 취약
2019년	버트	양방향 문맥 이해로 전치사, 어순의 의미까지 구분	텍스트 중심, 멀티미디어 처리는 제한적
2021년 이후	멈, 생성형 AI 검색	텍스트, 이미지, 음성 등 멀티모달 통합 분석	최신 생성 요약의 정확성 검증 이슈 상존

검색창이 이제 답을 통째로 만들어 준다

버트와 멈이 검색어를 더 정확히 ‘이해’하는 데 집중한 기술이었다면, 최근 몇 년 사이 구글은 아예 답을 스스로 ‘작성’해서 보여주는 단계로 넘어갔습니다. 2023년 구글은 생성형 AI 검색, 흔히 SGE라 불리는 실험적 기능을 처음 선보였고, 이는 2024년 5월 AI 오버뷰라는 이름의 정식 기능으로 자리 잡았습니다. 검색어를 입력하면 파란 링크 목록이 나열되기 전에, 제미나이라는 구글의 생성형 AI 모델이 여러 출처를 종합해 만든 요약문이 화면 맨 위에 먼저 나타나는 방식입니다.

이 변화는 단순한 기능 추가가 아니라 검색이라는 행위 자체의 무게중심을 옮기는 사건이었습니다. 예전에는 사용자가 검색 결과 목록에서 직접 링크를 골라 들어가 정보를 확인해야 했다면, 이제는 AI가 여러 페이지의 내용을 미리 읽고 소화해 하나의 문장으로 정리해 건네주는 셈이니까요. 실제로 2026년 5월 구글이 발표한 자료에 따르면, AI를 활용한 검색 방식인 ‘AI 모드’는 출시 1년 만에 월간 이용자 10억 명을 넘어섰고, 관련 검색량은 매 분기 두 배 이상 늘어나고 있다고 합니다. 사람들이 검색창에 던지는 질문의 형태 자체가 짧은 키워드에서 훨씬 길고 구체적인 문장으로 바뀌고 있다는 뜻이기도 합니다.

다만 구글이 이 기능을 만들면서 가장 조심스러워한 지점이 하나 있습니다. 생성형 AI 특유의 ‘환각’, 그러니까 그럴듯하지만 사실이 아닌 답을 자신 있게 내놓는 문제였죠. 특히 건강이나 금융처럼 잘못된 정보가 사람의 삶에 직접적인 피해를 줄 수 있는 주제에서는 이 위험이 훨씬 치명적입니다. 그래서 구글은 AI 오버뷰가 창의적으로 이야기를 지어내는 대신, 색인에 이미 저장된 신뢰할 수 있는 페이지들을 근거로 삼아 사실 위주로 답하도록 설계했다고 밝힌 바 있습니다. 답변 아래에 출처 링크를 함께 보여주는 것도 같은 이유입니다. 사용자가 AI의 요약을 그대로 믿기보다, 근거가 된 원문을 직접 확인할 수 있도록 길을 남겨두는 것이죠.

여기서 다시 페이지랭크 이야기로 돌아가 보면 흥미로운 지점이 하나 보입니다. AI가 어떤 페이지를 근거 자료로 선택해 요약에 반영할지 판단하는 과정 역시, 결국 그 페이지가 얼마나 신뢰받고 있는지, 얼마나 많은 곳에서 인정받고 있는지를 따지는 일입니다. 계산 방식은 훨씬 복잡해졌지만, 좋은 정보를 가려내는 근본 기준은 26년 전 스탠퍼드 기숙사에서 시작된 질문과 크게 다르지 않은 셈입니다.

오늘날 이 이야기가 우리에게 의미하는 것

이 모든 변화를 관통하는 한 가지 질문이 있습니다. “정말 좋은 답이란 무엇인가”라는 질문이죠. 페이지랭크는 이 질문에 “많은 사람이 신뢰하는 곳에서 인정받은 것”이라는 답을 내놓았고, 버트와 멈은 여기에 “질문자의 진짜 의도를 정확히 알아듣는 것”이라는 답을 더했습니다. 흥미로운 건 이 두 가지 원리 모두 사실 아주 오래된 인간 사회의 지혜에서 빌려온 것이라는 점입니다. 신뢰할 만한 사람의 추천을 더 무겁게 받아들이는 것, 그리고 상대의 말을 문맥까지 헤아려 알아듣는 것. 결국 구글이 20여 년에 걸쳐 정교하게 다듬어 온 것은 사람들이 오래전부터 해오던 판단의 방식을 기계의 언어로 옮겨 적는 작업이었던 셈입니다.

요즘 우리는 생성형 AI가 검색 결과 위에 요약문을 얹어주는 화면에 점점 익숙해지고 있습니다. 이 흐름 역시 갑자기 등장한 게 아니라, 링크를 세던 시절부터 문맥을 읽는 시절을 거쳐온 하나의 연장선 위에 있습니다. 다음에 검색창에 무언가를 입력할 때, 그 답이 나오기까지 거쳐온 크롤링과 색인, 그리고 언어를 이해하는 인공지능의 층위를 한 번쯤 떠올려 본다면, 익숙했던 그 네모난 검색창이 조금 다르게 보일지도 모릅니다.

오늘의 한 문장

구글은 답을 찾아주는 것이 아니라, 사람들이 오랫동안 서로를 신뢰하고 이해해 온 방식을 계산으로 옮겨 답을 골라내는 것이다.

자주 묻는 질문

Q1. 구글 검색 순위는 어떻게 결정되나요? 페이지랭크로 대표되는 링크 기반 신뢰도, 콘텐츠와 검색어의 관련성, 페이지 품질과 사용자 경험, 그리고 버트나 멈 같은 언어 이해 기술이 종합적으로 작용해 결정됩니다. 단일한 하나의 요소가 아니라 수백 가지 신호가 함께 계산됩니다.

Q2. 페이지랭크는 지금도 사용되나요? 네, 다만 초창기처럼 유일한 기준은 아닙니다. 지금은 페이지랭크가 수백 개 신호 중 하나로 통합되어, 콘텐츠 품질과 언어 이해 기술 등과 함께 작동합니다.

Q3. 새로 만든 웹사이트는 왜 검색에 바로 안 뜨나요? 크롤러가 그 페이지를 아직 발견하지 못했거나, 발견했더라도 색인에 반영되기까지 시간이 걸리기 때문입니다. 다른 신뢰받는 사이트에서 링크를 받으면 발견 속도가 빨라집니다.

Q4. 구글 검색 결과 상단의 광고와 일반 검색 결과는 어떻게 다른가요? 광고는 별도의 경매 시스템을 거쳐 노출되는 유료 영역이고, 그 아래 일반 검색 결과는 돈이 아니라 콘텐츠의 관련성과 신뢰도로 순위가 매겨집니다.

Q5. 버트와 멈은 정확히 무엇이 다른가요? 버트는 텍스트 문맥을 양방향으로 이해하는 언어 모델이고, 멈은 여기서 한 단계 더 나아가 텍스트뿐 아니라 이미지와 음성 등 여러 형식의 데이터를 함께 처리하며 여러 언어에 걸친 복잡한 질문까지 다룰 수 있습니다.