アテンション

アテンションは、文章であれば、ある単語を理解するときに、文中のほかのどの単語との関係が大切かを数値で表し、その重みに応じて情報を組み合わせる仕組みです。たとえば「それ」が何を指すかを判断するときに、前に出てきた名詞に強く注目する、といった働きをします。トランスフォーマーはこの仕組みを中心に作られています。離れた位置にある言葉どうしの関係もとらえやすい点が利点です。一方で、一般に入力が長くなるほど計算量が大きく増えるため、一度に扱える長さには限りがあります。生成AIで長い資料を扱うときに、分割や要約の工夫が求められる背景の一つです。

確かめた出典：https://arxiv.org/abs/1706.03762