トランスフォーマー

トランスフォーマーは、2017年に発表された論文「Attention Is All You Need」で提案されたモデルの構造です。それまで文章の処理で使われていた再帰や畳み込みの仕組みを使わず、アテンションの仕組みだけで単語どうしの関係をとらえる点が特徴です。並列に計算しやすく、大量のデータで大きなモデルを学習させやすくなりました。いまの大規模言語モデルの多くはこの構造を土台にしており、画像や音声を扱うモデルにも広がっています。企業がこの構造を直接扱う場面は多くありませんが、生成AIがどのような仕組みで文章を扱っているかを理解する手がかりになります。

確かめた出典：https://arxiv.org/abs/1706.03762