기본 개념
트랜스포머 (Transformer)
오늘날의 거대 언어 모델을 가능케 한, 2017년에 등장한 신경망 구조.
트랜스포머 이전의 언어 모델은 텍스트를 대체로 순서대로, 단어를 하나씩 처리했기 때문에 멀리 떨어진 단어 사이의 관계를 포착하기 어렵고 학습 속도도 느렸습니다. 2017년 논문 “Attention Is All You Need”에서 제시된 트랜스포머 구조는 셀프 어텐션(self-attention)을 도입해, 문장 속 모든 단어를 다른 모든 단어와 동시에 비교해 관련도를 계산할 수 있게 했습니다.
이 병렬 처리 방식 덕분에 지금 같은 규모의 학습이 가능해졌습니다. 트랜스포머는 수천 개의 GPU에서 동시에 효율적으로 학습시킬 수 있기 때문입니다. GPT, Claude, Gemini를 포함해 현재 실제 서비스되는 주요 LLM은 거의 전부 트랜스포머 변형입니다.