蒸留

蒸留は、性能の高い大きなモデル（教師）の出力を手本として、小さなモデル（生徒）を学習させる手法です。2015年のヒントンらの論文で、複数のモデルの知識を一つの使いやすいモデルにまとめる方法として示されました。小さなモデルは計算の費用が少なく、応答も速くなりやすいため、端末の側で動かすエッジAIや、利用量の多い業務での活用が考えられます。一方で、生徒のモデルが教師と同じ精度になるとは限りません。また、外部のサービスのモデルの出力を学習に使う場合は、そのサービスの利用規約で認められているかを事前に確かめておくことが大切です。

確かめた出典：https://arxiv.org/abs/1503.02531