Context Window: AI가 한 번에 기억할 수 있는 범위

Context Window란

AI 모델이 하나의 대화에서 한 번에 처리할 수 있는 텍스트의 최대 범위를 **Context Window(컨텍스트 윈도우)**라고 한다.

쉽게 말하면, AI의 단기 기억 용량이다.

토큰(Token)이란

Context Window의 크기는 토큰(Token) 단위로 측정한다.

토큰은 단어와 비슷하지만 정확히 일치하지는 않는다.

텍스트	대략적인 토큰 수
영어 단어 1개	약 0.75 토큰
한국어 글자 1개	약 1~2 토큰
영어 A4 1페이지	약 500 토큰
한국어 A4 1페이지	약 800~1000 토큰

참고 기준 (2026년 초 기준, 모델마다 다름)

모델	Context Window
GPT-4o	128,000 토큰 (약 96,000 단어)
Claude 3.5 Sonnet	200,000 토큰 (약 150,000 단어)
Gemini 1.5 Pro	1,000,000 토큰 이상

무엇이 Context Window에 포함되는가

┌─────────────────────────────────┐
│         Context Window          │
│                                 │
│  ┌──────────────────────────┐   │
│  │ 시스템 프롬프트           │   │
│  │ (AI에게 역할을 주는 부분) │   │
│  └──────────────────────────┘   │
│  ┌──────────────────────────┐   │
│  │ 이전 대화 기록            │   │
│  │ (나의 질문 + AI 답변들)  │   │
│  └──────────────────────────┘   │
│  ┌──────────────────────────┐   │
│  │ 현재 질문                │   │
│  └──────────────────────────┘   │
└─────────────────────────────────┘

Context Window 안에 들어있는 내용만 AI가 “기억”한다. 범위를 초과한 내용은 AI가 접근할 수 없다.

실용적인 영향

1. 대화가 길어지면 앞의 내용을 잊는다

Context Window가 가득 차면 오래된 내용부터 밀려나간다. 긴 대화에서 초반에 준 지시사항이 무시되는 이유가 이것이다.

해결책: 중요한 지시사항을 대화 중간에 다시 한번 상기시킨다.

2. 긴 문서를 한 번에 붙여넣으면 한계가 있다

Context Window 크기보다 긴 문서는 처리할 수 없거나 잘린다.

해결책: 문서를 분할해서 각각 처리하거나, 핵심 부분만 발췌해서 제공한다.

3. 새 대화를 시작하면 완전히 초기화된다

“이전에 말했던 것처럼~“이 통하지 않는다. 새 대화는 완전히 새로운 시작이다.

해결책: 자주 쓰는 배경 정보나 지시사항을 별도로 저장해두고 새 대화마다 붙여넣는다.

자주 하는 오해

“AI가 나를 기억한다” → 대화 내에서만 기억한다. 앱이 저장하는 경우를 제외하면, 새 대화를 시작하면 AI는 당신을 전혀 모른다.

“Context Window가 클수록 무조건 좋다” → 크면 더 많이 처리할 수 있지만, 매우 긴 컨텍스트에서는 중간 내용을 놓치는 경우도 있다. 적절한 길이로 핵심만 담는 것이 더 효과적일 때가 많다.