FFmpeg 8.0で Whisper フィルターが追加された。FFmpeg 単体で OpenAI の Whisper モデルによる自動音声認識ができる。

plaintext
ffmpeg -i input.mp4 -vf "whisper=language=ja" -f srt output.srt

音声認識と同時に動画処理を行う例:

plaintext
ffmpeg -i input.mp4 -vf "whisper=language=en" -c:v libx264 -c:a aac output.mp4

これまで音声認識には別途Whisperの実行環境が必要だったが、FFmpeg単体で処理でき、動画編集での自動字幕生成に使える。

#参考文献