Vercelが"Bash is all you need"仮説を検証
BraintrustとVercelが、AIエージェントにとってBashとファイルシステムが最適な抽象化であるという仮説を検証した結果を公開した。GitHubのIssueやPRのデータセットを用いた比較実験において、SQLエージェントが精度100%を達成した一方、Bashエージェントは52.7%にとどまる結果となった。
Bashエージェントは高度なシェルコマンドを生成するものの、パフォーマンスのボトルネックやスキーマコンテキストの欠如が課題として浮き彫りになった。一方で、SQLでクエリを実行しBashで結果を検証するハイブリッドアプローチでは、コストは増加するものの高い信頼性を実現できることが示された。構造化データにはSQLが、探索や検証にはBashが適していると結論付けている。