編集

T5Gemma、encoder-decoder アーキテクチャの新しい Gemma モデルコレクション

Google が T5Gemma を発表した。decoder-only モデルから encoder-decoder アーキテクチャへの変換技術「model adaptation」を使用した新しい Gemma モデルコレクション。Gemma 2 フレームワークをベースに、適応済み Gemma 2 2B・9B モデルと新しく訓練された T5 サイズモデル(Small、Base、Large、XL)を提供。

Hugging FaceKaggleでモデル重みをダウンロード可能。Colab ノートブックでの探索・ファインチューニング、Vertex AI での推論実行に対応。

補足:decoder-only/encoder-decoder とは、Transformer アーキテクチャの種類であり、分類や分析に適した Encoder-Only(BERT など)、生成に適した Decoder-Only(GPT など)、その両方に適しているが計算コストの高い Encoder-Decoder(T5 など)がある。

#参考文献

編集