ELYZA、「AIによるAI開発」の研究組織ELYZA RSI Researchを設立 モデル2種とベンチマークを公開

ELYZA RSI Researchとは何か

ELYZA RSI Researchは、「再帰的自己改善（Recursive Self-Improvement、RSI）」に関連する研究開発を進める組織です。ELYZAはRSIを、AIが自身の能力や開発プロセスを反復的に改善し、その成果を次の開発に活用することと説明しています。これまで社内で進めてきた「AIによるAI開発」の研究開発を、この組織の設立によって加速させるとしています。

設立の背景として、ELYZAは次の状況を挙げています。フロンティアモデルの開発では、AIの開発・改善プロセスの一部をAI自身が担う「AIによるAI開発」が進みつつあり、研究開発の効率化や開発サイクルの高速化につながっていること。学術界でもRSIをテーマにしたワークショップが開かれるなど、国際的な研究コミュニティで議論が活発になりつつあること。一方で国内では、RSIを明示的な研究開発テーマに掲げた取り組みはまだ限られていること、です。

ELYZAはこれまで、LLMの開発、評価ベンチマークの作成に加え、AIエージェントの安全性や処理精度の向上を支えるハーネス開発も行ってきました。その知見を土台に新組織を立ち上げたと説明しています。

なお、発表では「現時点ではRSIに至る前段階の要素技術の研究」であり、RSIそのものを実現したわけではないと明記されています。

研究の中身と「AIによるAI開発」の4段階

ELYZA RSI Researchでは、これまで人間のAIリサーチャーが担ってきた研究開発プロセスの一部を、AIエージェントが担うための研究を進めます。具体的には、AIエージェントが基盤モデルやハーネスを開発・改善し、その成果を評価機構で検証します。得られたフィードバックを次の開発に反映し、改善サイクルを継続的に回す仕組みを研究するとしています。

将来的には、開発・改善を担うAIエージェント自身も改善対象に含め、再帰的な改善サイクルの実現を目指すとしています。

ELYZAは「AIによるAI開発」の進展を大きく4つの段階に整理しています。

1. 主に人がモデル開発、ハーネス改善、評価機構の設計を担う段階 2. AIが提示した改善案を、人が都度判断する段階 3. 個々の開発・改善をAIに委ね、その成果を人が評価する段階 4. 人が目的と制約を設定し、その範囲内でAIが自律的に開発・改善のサイクルを回し続ける段階

段階が進むにつれて人の関与は少なくなっていき、最終的には4つ目の段階へ進展する「可能性がある」と述べています。

公開したモデルとベンチマーク

研究成果は「基盤モデル」「ハーネス」「評価機構」の各領域で示されています。

基盤モデルについて、ELYZAは以前からオープンモデルに追加のPost-trainingを行い、性能を高める取り組みを続けてきました。今回は、少ない人的工数でモデルの学習や評価を行えるよう社内のLLM学習基盤を整備し、国立情報学研究所 大規模言語モデル研究開発センター（LLMC）が開発した国産オープンモデル「llm-jp-4」シリーズに適用しました。その結果、人間が介在する作業を1〜2人日程度に抑えながら、Mid-training、Post-trainingから評価までの一連のプロセスを実行し、モデルの性能向上を確認したとしています。

こうして開発した「ELYZA-Thinking-1.0-llm-jp-4-33b」と「ELYZA-Thinking-1.0-llm-jp-4-32b-a3b」の2モデルを、商用利用可能な形でHugging Faceに公開しました。

評価機構では、ベンチマークをAIで半自動作成する仕組みを研究しています。その一環として、日本語のカスタマーセンターにおける問い合わせ応答業務を対象としたベンチマーク「ELYZA Agent Tasks: Customer Service」を作成し、GitHubで公開しました。音声・テキストの双方に対応しています。適切な業務手順（SOP）を選んだか、SOPに沿って処理を進めたか、ツールを正しく使ったか、最終的な処理結果が正しいかなど、業務プロセスの各段階でAIエージェントの能力を評価できるとしています。

自律改善エージェントによるハーネス改善の結果

ELYZAは、自社開発の自律改善エージェントを使い、AIエージェントの動作やツール利用を制御する「ハーネス」を自動で改善する研究も行っています。

2種類の開発系ベンチマークで自律改善エージェントにハーネスを改善させたところ、タスク成功率がそれぞれ14.4ポイント、27.2ポイント向上しました。ELYZAはこの結果について、ハーネスの自動改善によってAIエージェントの開発タスクの遂行能力を高められる「可能性を確認した」と表現しています。

問い合わせ応答業務の実験では、前述の「ELYZA Agent Tasks: Customer Service」を使い、精度向上とコスト削減の両立を目的に改善を実行させました。自律改善エージェントは、実行結果から失敗原因を分析し、改善策を立案・実装して再評価するループを繰り返し、評価スコアは継続的に向上したとしています。改善プロセスで使っていないテストデータでも、完遂率は34.3%から52.9%へ18.6ポイント向上しました。

また、精度向上とコスト削減の双方を目的に自律改善を行った場合は、精度向上のみを目的にした場合と比べて、精度をほぼ維持しながら推論コストを67%削減できたとしています。

ELYZA Voice Agentと今後の研究領域

ELYZAは、「AIによるAI開発」の研究成果を「自律研究基盤」として整備し、さまざまなパートナーと連携して業界・業務に特化したAIエージェントを開発するとしています。業界・業務ごとの手順や判断基準、完了条件などを評価基準として定義し、自律研究基盤を使って開発・評価・改善を繰り返すことで、各領域の業務要件に合ったAIエージェントをパートナーと共に開発・提供する方針です。

この「バーティカルAI事業」の第一弾が、音声モデルを活用した音声対話AIエージェントサービス「ELYZA Voice Agent」です。サービス内容の詳細は、同日付の別のプレスリリースで案内されています。

今後についてELYZAは、RSIの技術的な可能性や課題への理解を深めることを目的に国内で研究開発を進めるとしています。日本発の基盤モデル開発や領域特化型AIエージェントの社会実装に加え、研究対象をデジタル空間から物理空間へ広げ、ロボティクスをはじめとするフィジカルAI領域の研究開発にも取り組みます。

安全性については、RSIに関する研究開発に伴う想定外の挙動や技術の悪用リスクを踏まえ、重要な研究課題の一つに位置づけています。研究成果や取り組みを適切に公開して透明性を高めること、安全性に配慮した研究環境や体制を整えることを掲げています。