Vercel Fluid compute - ohiruneuni/blog

Vercel が新たなサーバーレス実行モデル「Fluid compute」を発表。 Vercel Functions で有効化して利用することが出来る。

Fluid compute は、アイドル時間を利用してサーバーレス関数内で並行処理を行う。これにより単一のインスタンスで複数のリクエストを処理できる他、アイドル時間の有効活用によるコストの削減、コールドスタートの頻度低下が期待される。

また、関数が応答後もしばらく維持されるため、ゆったりとした出力のストリーミングが可能であり、既存の同種のサービスよりも長時間かつ高負荷な処理を行うことができるため、生成 AI などの利用に適していると思われる。

次の Vercel の記事が詳しい。