数千のサンドボックスをインフラ構築なしで実行：OqoqoがGMI Cloud Agentboxで大規模なエージェント評価を実行する方法

エージェント評価プラットフォームのOqoqoは、GMI CloudのAgentboxを利用し、数千の新しい独立したサンドボックスを並列起動して、大規模なエージェント評価を実行しています。300のタスク、8種類のエージェント、5つのモデルを組み合わせた実験では、独立したクリーンな環境で12,000回の実行が必要です。Oqoqoが各テスト環境を定義するDockerイメージを用意し、Agentboxが実行ごとにサンドボックスを作成・削除します。これによりOqoqoは、プロバイダーの同時実行数の上限に合わせて分割することなく、評価の全組み合わせを1つの実験として投入できます。自社でサンドボックス基盤を運用したり、実験の合間に未使用のリソースを確保しておいたりする必要もありません。

• 1つの評価実験で最大50,000のサンドボックスを同時実行可能

• サンドボックスあたり6～8 GBのメモリを使用し、MCPサイドカーを伴う場合は最大16 GB

• Oqoqoによるサンドボックス基盤の構築・運用は不要

課題：12,000のサンドボックスを一度に起動する

すべてのタスクは、クリーンな状態から始めなければなりません。前のタスクが残したファイルやキャッシュがあるだけで、エラーが出ないまま評価結果が誤ったものになる可能性があります。そのため、各タスクにカスタムDockerイメージから新しいサンドボックスを作成し、単独で実行します。エージェントの実行過程を記録した後、その環境を削除します。サンドボックスを再利用することはありません。12,000件のタスクをすべて並列で実行するには、少数のサンドボックスを使い回すのではなく、12,000のクリーンな環境を同時に用意する必要があります。

この規模で難しいのは、モデルの呼び出しそのものではありません。エージェント、そのツール、さらに検証対象となる正確なバージョンの顧客のSDKやMCPサーバーを組み込んだ独立環境を、すべての実行に対して同時に提供することです。各環境には6～8 GB、MCPサイドカーを使用する場合は最大16 GBのメモリが必要です。評価はCIから実行されるため、負荷が発生するのは決まった時刻ではなく、エンジニアがコミットをプッシュしたときです。同時実行数が500に制限されると、12,000回の評価は24回に分けて順番に処理しなければならず、一度に並列実行できたはずの実験が、結果を得るまでに数時間かかる作業になります。

「モデルやハーネスを公平に比較するため、すべてのタスクを同じ初期状態から、独立して開始する必要があります。ただ、私たちにとって最も重要なのは高い同時実行数です。ストレージやコンピュートが主な制約となる多くのサンドボックス用途とは異なり、ユーザーごとに少なくとも1,000件を同時実行できる必要があります」— Oqoqo、Haritha氏

OqoqoによるAgentboxの活用方法

OqoqoとGMI Cloudは、評価ソフトウェアとサンドボックス基盤の役割を分担しています。Oqoqoは独自のDockerイメージで各テスト環境を設定し、評価タスクごとにAgentboxのサンドボックスを1つ起動します。各実行中のエージェントの行動をOqoqoが記録し、GMI Cloudはタスクを独立して実行するためのコンピュートとメモリを提供します。Agentboxを通じてGMI Cloudがサンドボックスの作成と削除を管理し、MCPサイドカー用に追加のメモリが必要な環境にも対応します。これにより、Oqoqoは基盤の運用をGMI Cloudに任せ、評価製品の開発に集中できます。

「Agentboxを導入する前は、実行数が急増するとサンドボックスプロバイダーのコンピュートリソースが不足することがありました。その場合、私たちのシステムでリソース不足のエラーを検知し、影響を受けた実行をキューに戻して、後で再試行する必要がありました」— Oqoqo CTO、Haritha氏

その結果、何が変わったのか

Oqoqoは、プロバイダーの同時実行数の上限に合わせて評価を分割することなく、一連の評価を1つの実験としてAgentboxに投入できます。各タスクに必要な環境とメモリを割り当て、1つの評価実験で最大50,000のサンドボックスを同時にリクエストできます。

Oqoqoにとって、基盤の制約に実験の設計を合わせる必要がなくなったことを意味します。大規模な評価の組み合わせを小さなバッチに分けず、まとめて投入できます。各実行は引き続きクリーンな環境から始まり、Oqoqoのエンジニアリングチームは、基盤となるサンドボックスプラットフォームではなく評価製品に注力できます。

「今では、プロバイダーの小さな同時実行枠に合わせて調整することなく、評価のはるかに多くの部分を並列で実行できています」— Oqoqo CTO、Haritha氏

エージェント、開発者ツール、MCPサーバーを開発していて、エージェントが実際にそれらを使えるか検証したい方は、oqoqo.aiをご覧ください。この規模の評価を実行するためのコンピュートが必要な方は、gmicloud.aiでAgentboxをご確認いただけます。

Oqoqoについて

Oqoqoは、実際のエージェントタスクを対象とした評価と非公開ベンチマークを構築しています。チームは自社のSDK、API、MCPサーバー、CLI、スキルなどをOqoqoで評価し、Claude Code、Codex、Cursor、Pi、Hermesといったエージェントがそれらを実際に使えるか測定できます。

Oqoqoを使って、顧客の実際のワークフローに基づく非公開ベンチマークを構築し、自社製品と代替製品を使った際のエージェントの成果を比較するチームもあります。MCPサーバー、CLI、SDKなど、エージェントが利用する機能を変更する前の回帰テストに使うチームもあります。また、個人開発者はモデルやハーネスを比較し、特定分野のタスクに最適な成果あたりのコストを見極めています。いずれの場合も、Oqoqoは同じタスクを異なるエージェント、モデル、テスト条件で実行し、成功率、トークン使用量、ステップ数、実行過程の全記録を報告します。これにより、エージェントが失敗したかどうかだけでなく、どこで行き詰まったかまで確認できます。

Oqoqoは、エージェントがソフトウェアの主要なユーザーになりつつあると考えています。Oqoqo自身のプラットフォームにも、そうしたユーザーがいます。それはボタンをクリックする人ではなく、「今すぐ12,000台のコンピューターが必要だ」と要求するCIジョブです。

GMI Cloudについて

GMI Cloudは、次世代AIアプリケーションを支えるAIネイティブのクラウドインフラ企業です。高性能GPUクラウドに加え、GPT、Gemini、DeepSeekなど200以上のAIモデルを単一環境で利用できるAI推論プラットフォーム「GMI Cloud」を提供しています。統一APIにより、モデル比較からAIアプリケーションの開発・本番展開、請求・予算管理までを一元化し、AI開発を効率化します。高性能GPUクラウドの導入をご検討の方はお気軽にお問い合わせください。「GMI Cloud」は無料登録後すぐにお試しいただけます。詳細はhttps://www.gmicloud.aiをご覧ください。