トークン

トークンは、言語モデルが文章を扱うときに区切る単位です。単語や文字、その一部などに分けられ、日本語では1文字が1トークン前後になることもあれば、複数の文字がまとまって1トークンになることもあります。数え方はモデルによって異なります。多くのAIサービスでは、入力と出力のトークン数に応じて利用料金が決まり、一度に扱える文章の長さ（コンテキストウィンドウ）もトークン数で示されます。業務で使う量を見積もるときは、扱う文書の長さと回数からおおよそのトークン数を考えておくと、費用の見通しを立てやすくなります。