기본 개념
컨텍스트 윈도우 (Context Window)
모델이 한 번에 “볼” 수 있는 텍스트의 최대량(입력한 프롬프트와 모델의 답변 포함), 토큰 단위로 측정.
컨텍스트 윈도우는 일종의 단기 기억과 같습니다. 그 범위를 벗어난 내용은 대화를 잘라내거나 요약하기 전까지는 모델이 아예 참조할 수 없습니다. 윈도우 크기는 2020년대 초반 모델의 수천 토큰 수준에서 2026년 일부 최상위 모델의 100만 토큰 이상까지 커져서, 코드베이스 전체나 한 시간 분량의 문서를 한 번에 읽고 추론하는 용도까지 가능해졌습니다.
컨텍스트 윈도우가 클수록 요청당 비용도 커집니다. 원래의 트랜스포머 설계에서는 어텐션 연산량이 시퀀스 길이에 따라 가파르게 늘어나기 때문인데, AI 제공업체들이 프롬프트가 길수록 토큰당 요금을 더 받는 이유 중 하나입니다.