いかにAIで全工程を自走させるかを考えている人には関係のない話。
github copilot縛りで開発を行わねばならない環境、かつクレジットの追加購入が非常に厳しいところで作業をしているので、6月から導入されたトークン従量制が非常に厳しい制約になっている。それまでは利用上限に達したら GPT-4.1といったちょっと頭の悪いモデルに切り替わるところが、完全に使えない状態になってしまった。既に AIという麻薬に侵された人間は AIなしに分析もコーディングもできない。 なので毎日のクレジット消費を意識して利用上限に達しないよう工夫を凝らさなければならない。
いったいどのへんでクレジット消費が消費されてるんだろう?と思い、作業を細かく分けて「Aの分析タスクは 100、 実装タスクは 120」などメモを取って可視化していった。今のところ分かったのは superpowersのコーディングエージェントは writing-plansまでで作られる作業指示書で実装の大半は終わっているということだった。implementation-plans.mdを読めばあとは人間でも作業を行えるようになっている。なのでAIとしては実装処理をサブエージェントに委譲してより安いモデルで実行するとい戦略なのだろうと思われる。
しかし残念なことに安いモデルがその指示を的確に実行してくれるかと言うところに現状問題がある。「ファイル Xの 100-120行を以下のように置き換える」といった指示に対してエージェントはファイルXに grepをかけ慎重に作業を進めるが、結構間違える。繰り返しgrepや sedを駆使して必要箇所を特定して修正を行う。結果として指示通りの物ができるが、そのために消費したクレジットと時間がだいぶ見合わないものになっている。正直、書き換え作業は人間が行なったほうがよほど効率がいい。手を動かす分何をしているのかという理解も進むし、全体的にその方が手戻りが少なくなると感じられる。
もちろんこれは現時点での見解でおそらく1年後には改善されているだろう。ただ人間の認知・理解に関しては今後もついてまわる問題で、正直AIの作る実装計画を読んでも「まあいいんじゃない?」としか思わない。これは自分の問題で、コードを書かないとおかしさに気付けないのが悪いんだが、それはもうオールドタイプなので仕方ないと思う。
というのを twadaさんのスライドを見ながら考えていた。
speakerdeck.com