← 강의 목록으로오늘의 문제 풀어보기 →
오늘의 AI 상식
AI 상식 한 문제와 정답·해설이에요.
언어 모델이 텍스트를 처리할 때 잘게 쪼개는 최소 단위를 뭐라고 부를까요?
픽셀
✓ 토큰(Token)
바이트
레이어
토큰(Token)이라고 부르며, 보통 단어 전체가 아니라 단어의 일부 단위로 쪼개지는 경우가 많습니다.
AI 상식 한 문제와 정답·해설이에요.
토큰(Token)이라고 부르며, 보통 단어 전체가 아니라 단어의 일부 단위로 쪼개지는 경우가 많습니다.