いくつかのモデルに課金してみた

• OpenRouter
  • コード書くだけじゃなく画像やブラウザ操作をやってくれる
  • GUI のアプリでここぞという時に使うと良い
• DeepSeek
  • コード書くだけならこれ。安すぎる。
  • 自分は CLI とかを日曜プログラミングするので常用しそう
• Ollama
  • ローカル LLM なので無料。
  • これはかなり自由にカスタムできる。資産になっている感が良い。

触ってみて課題

• 革新的だと思った。ずーっとアイデアの限り楽しく日曜プログラミングができた。 依頼した事を起点に読み進めるのでプロジェクトの全体像を知らないことによるミスリードは多い
• エラーに対して型定義など触ってほしくない箇所をエージェントに示す必要がある
• 依頼内容が多すぎると対応漏れやループに陥りがち

課題に対して工夫出来るポイント

• Context を活用するとよい
  • https://github.com/cline/cline?tab=readme-ov-file#add-context
  • エージェントとの会話回数はぐっと減る
• .clinerules
  • これは ChatGPT の時と同じく、書き溜めてきたコーディング規約だとか設計手法を渡した。ここは秘伝のたれ。
  • あとエージェント向けに型定義は勝手に変更しないで改修方針を確認してと伝えた。
• Memory Bank という手法がよい
  • 要件とか設計を丁寧に書かなきゃいけないの面倒だなと思った時に見かけた
  • https://www.reddit.com/r/ChatGPTCoding/comments/1hm3wcy/how_are_you_guiding_cline_in_vscode/
  • リポジトリ内に設計書と開発ロードマップを作らせてプロダクトの全体像と改修の前後関係を把握させるという手法
  • https://github.com/nickbaumann98/cline_docs/blob/main/prompting/custom%20instructions%20library/cline-memory-bank.md
  • これでミスリードはかなり減った
• オープンソースのローカル LLM を使ってカスタム
  • ここは試行錯誤中

これからを妄想してみる

• エージェントの調教レベルの差によって微妙な PR が量産されるとキツそう
  • これは .clinerules をリポジトリに push する、社内の LLM 基盤を鍛えることで解決する部分はあるかもしれない
  • 一方で、エンジニア個人が技術力や設計力をチームや会社に全て搾取されてしまうことは楽しくなさそう
  • エージェントが登場する以前から個人の技術力や設計力を切り売りしている部分はあったがより強くなりそう
  • 仕事においてはローカル LLM を所有ができて、社内の LLM 基盤と組み合わせて使えるみたいな、ちゃんと個人と会社それぞれに還元ができるようなものになってほしい。
• 転職とかも変わると良さそう
  • 企業側はコロナ以降のリモートワーク可と同じように LLM に関する要件とかがアトラクトポイントになったりするかも
  • エンジニア側はローカル LLM のベンチマークスコアとかを載せて技術力を定量化できたら面白そう
• プログラミング教育は変わりそう
  • 子供向けにプログラミング教育をやっていて ChatGPT を教えたところ、次週から教室に来なくなった人はいた。
  • エージェントによってもっと不要になるだろうと思う。AI エージェントを教師にしてプログラミングを試行錯誤して覚えていくみたいな、エンジニア界の藤井壮太とか誕生するかも。