토큰(Token)
토큰(Token)이란?
토큰은 AI 모델이 처리의 기본 단위로 사용하는 작은 텍스트 조각( 대략 한 단어나 단어의 일부 )으로, 모델이 이해를 쌓아 올리는 개별 벽돌과 같습니다.
한눈에 보기
- 다른 이름
- 텍스트 토큰입력 토큰출력 토큰시각 토큰
- 주요 용도
- AI 모델에서 프롬프트 길이와 컨텍스트 윈도우 소비 측정처리된 토큰을 기준으로 AI API 사용 비용 계산멀티모달 아키텍처에서 이미지 패치를 시각 토큰으로 표현프롬프트 콘텐츠 전반에 모델 어텐션이 어떻게 분산되는지 이해
- Key features
- 텍스트 처리의 기본 단위: 대략 한 단어나 단어의 일부토큰 한도가 최대 프롬프트 길이, 출력 길이, 세션 메모리를 정의멀티모달 모델에서 이미지·영상 입력을 위해 시각 토큰으로 확장됨토큰 위치와 근접성이 개념들이 얼마나 강하게 연관되는지에 영향
지금 만들어 볼까요?
장면을 연출하고, 캐릭터를 디자인하고, 한 편의 영화까지 완성하세요
단순하고 투명한 요금제, 속도 제한 없음, 무한한 Canvas로 창의력을 극대화하는 올인원 AI 크리에이티브 플랫폼.
다른 개념과의 비교
Compared with related concepts
토큰은 단어, 문자, 파라미터와 관련되어 있지만 구별됩니다. 단어는 토큰이 근사하는 인간의 언어 단위이고, 문자는 토큰이 집계하는 원시 글자 단위이며, 파라미터는 모델 신경망 안의 학습된 가중치로, 일상적 논의에서 토큰과 혼동되기도 하는 전혀 다른 개념입니다. 모델의 파라미터 수는 그 크기와 학습 용량을 묘사하는 반면, 토큰 수는 한 번에 처리할 수 있는 텍스트의 길이를 묘사합니다. 파라미터가 더 많은 모델이 반드시 컨텍스트 윈도우가 더 큰 것은 아니며, 컨텍스트 윈도우가 더 크다고 해서 모델의 지식이나 능력이 더 많음을 의미하지도 않습니다. 이 구분은 AI 도구를 평가할 때 중요합니다. 파라미터 수는 모델이 무엇을 아는지의 척도이고, 토큰 한도는 한 번에 얼마나 많이 주목할 수 있는지의 척도입니다.
이렇게 생각해 보세요…
토큰을 매우 큰 직소 퍼즐의 한 조각이라고 생각해 보십시오. 한 단어가 흔히 한 조각이지만, 특이하거나 기술적인 단어는 두세 개의 더 작은 조각으로 나뉘어 모델이 맥락으로부터 의미로 조립해야 할 수도 있습니다. 모델은 한 번에 일정 수의 조각만 테이블 위에 둘 수 있습니다. 그 컨텍스트 윈도우입니다. 너무 많은 조각을 테이블에 쏟으면 가장 오래된 것들이 가장자리로 미끄러져 잊힙니다. 이것이 긴 프롬프트가 현재 생성 지점에서 멀리 떨어진 곳에 지정된 지시를 때때로 놓치는 이유입니다. 그 토큰들은 활성 어텐션 공간 너머로 이동한 것입니다.
프로 팁
AI 영상이나 이미지 생성용 프롬프트를 작성할 때, 처음 20~30개 토큰을 노른자위 땅처럼 다루십시오. 배경 요소, 색온도, 분위기 같은 부차적인 디테일을 더하기 전에, 가장 핵심적인 창작 결정( 피사체, 카메라 처리, 시각 스타일, 조명 )을 먼저 내세우십시오. 모델은 뒤쪽 토큰보다 앞쪽 토큰에 더 일관되게 가중치를 두므로, 핵심 지시를 세 번째 단락에 묻은 긴 프롬프트는 흔히 그 지시를 충분히 실행하지 못하면서 앞쪽에 묘사된 디테일은 충실히 따릅니다. 프롬프트가 일관되게 길다면, 맥락에서 추론될 수 있는 어구를 제거하는 트리밍 패스를 시도하여, 모델이 추측할 수 없는 진정으로 구체적인 창작 방향을 위한 토큰을 확보하십시오.
유형과 변형
- 토큰은 사용되는 모달리티와 맥락에 따라 서로 다른 형태를 띱니다.
- 텍스트 토큰은 표준 형태로, 입력 텍스트로부터 토크나이저가 만들어 내고 모델의 어텐션 계층이 순차적으로 처리하는 언어 단위입니다.
- 입력 토큰은 사용자가 프롬프트의 일부로 제출하는 것이고, 출력 토큰은 모델이 응답으로 생성하는 것입니다.
- 출력 생성이 입력 처리보다 계산상 더 집약적이기 때문에, 상업용 AI API에서는 이 둘의 가격이 다른 경우가 많습니다.
- 시각 토큰은 그 개념을 이미지 데이터로 확장하여, 이미지를 고정 크기의 공간 패치로 나누고 각 패치를 모델이 텍스트 토큰과 함께 처리하는 수치 벡터로 변환합니다.
- 영상 모델에서 시간 토큰은 프레임 시퀀스를 나타내며, 공간 패치 구조에 시간 차원을 더합니다.
- 특수 토큰( 시퀀스의 시작이나 끝을 표시하는 것, 또는 서로 다른 콘텐츠 유형 사이의 구분자 토큰 같은 )은 모델이 컨텍스트 구조를 관리하기 위해 내부적으로 사용합니다.
Morphic에서 첫 장면을 만들어 볼까요?
Morphic 체험하기주요 활용 사례
- 토큰에 대한 인식은 API를 통해 AI 모델을 다룰 때 가장 직접적으로 관련됩니다.
- 사용량이 토큰당으로 청구되고, 컨텍스트 윈도우 한도 때문에 프롬프트 길이와 대화 기록을 세심하게 관리해야 하기 때문입니다.
- AI 기반 애플리케이션을 만드는 개발자는 컨텍스트 한도를 초과하지 않고 API 비용을 관리하기 위해 세션 전반의 누적 토큰 수를 추적해야 합니다.
- AI 생성 인터페이스를 직접 사용하는 크리에이터에게는, 길고 상세한 프롬프트를 구성할 때 토큰 고려가 관련됩니다.
- 특히 여러 피사체, 특정한 양식적 레퍼런스, 상세한 기술 지시가 있는 복잡한 장면에서는 프롬프트의 뒷부분 내용에 모델이 충분히 주목하지 못할 위험이 있습니다.
- 토큰 할당을 이해하면 다인물 장면에서 한 피사체가 때때로 충분히 명시되지 않는 이유도 설명됩니다.
- 프롬프트가 첫 번째 피사체를 상세히 확립하는 데 많은 토큰을 쓰면, 두 번째 피사체를 묘사할 토큰이 적게 남아 구성 전반의 생성 품질이 고르지 않게 됩니다.
지금 만들어 볼까요?
장면을 연출하고, 캐릭터를 디자인하고, 한 편의 영화까지 완성하세요
단순하고 투명한 요금제, 속도 제한 없음, 무한한 Canvas로 창의력을 극대화하는 올인원 AI 크리에이티브 플랫폼.
