編集

OpenAI、オープンウェイトの推論モデル「gpt-oss-120b」と「gpt-oss-20b」をリリース

OpenAIは、Apache 2.0ライセンスの下で利用可能な2つのオープンウェイト言語モデル「gpt-oss-120b」と「gpt-oss-20b」をリリースした。これらのモデルは、推論タスク、ツール使用、few-shotの関数呼び出しにおいて高いパフォーマンスを発揮し、一般的なハードウェア上での効率的な展開のために最適化されている。

  • gpt-oss-120b:
    • 117Bのパラメータを持つモデル。
    • 単一の80GB GPUで効率的に稼働し、コア推論ベンチマークでOpenAI o4-miniとほぼ同等の結果を達成。
  • gpt-oss-20b:
    • 21Bのパラメータを持つモデル。
    • 16GBのメモリを搭載したエッジデバイスで実行可能。
    • 一般的なベンチマークでOpenAI o3‑miniと同様の結果を達成。
  • 共通の特徴:
    • Responses APIと互換性があり、指示追従、Web検索、Pythonコード実行などのツール使用が可能。
    • 思考の連鎖(CoT)を完全に提供し、Structured Outputをサポート。
    • 安全性トレーニングと評価を経ており、フロンティアモデルと同等の安全基準を提供する。

両モデルは、mixture-of-experts(MoE)を活用したTransformerアーキテクチャを採用している。推論とメモリ効率向上のため、グループ化されたマルチクエリアテンションを使用し、最大128kのコンテキスト長をネイティブにサポートする。トークナイザーには、o200k_harmonyが使用され、こちらもオープンソース化された。

#参考文献

編集