Momentic、AI QAエンジニア「Mo」を正式提供 エンドツーエンドテストを自動化
Momenticは、アプリをエンドツーエンドでテストするAI QAエンジニア「Mo」を提供している。Moは一般提供の段階に入り、ベータ版を終えたと公式サイトで示されている。テストの作成や実行、コード変更の検証を担う製品である。
Momenticは公式サイトで、AI QAエンジニアの「Mo」を紹介している。Moはアプリをエンドツーエンドでテストし、プラットフォームの利用統計、顧客の声、バグの事例、QA Benchの結果を掲載している。
主な機能
Moは、コーディングエージェント、アプリ、PRコメント、qa CLIのいずれからでも起動できる。機能ごとに別のエージェントが、機能上のバグを報告する前にそのバグを再現する。
- テストの記述: テストはプレーンな英語のYAMLでステップと検証項目として書き、リポジトリに保存できる。MCPを使えば、コーディングエージェントがテストを作成し、YAMLをコードと並べて保存できる。
- UI変更への対応: 実行中にUIが変わっても、Moはコントロールを再度見つけ直す。テストファイルの修復案を提示し、レビューに回す。
- CI連携: CLIはCIジョブで実行でき、終了コードをマージやデプロイ前の必須チェックに使える。
- 失敗の分類: 失敗は、アプリのバグ、テストの不安定さ、環境の問題に分類される。
- ナレッジベース: 製品用語、期待される動作、テストの指針を追加できる。
利用実績と導入企業の声
同社サイトには、プラットフォームの利用統計として次の数値が掲載されている。
- テスト作成数: 77,813
- テスト実行数: 70,607,819
- 検証された変更: 339,166
- 検証されたPR: 80,290
- 自動修復: 8,932,104
- 検出されたバグ: 117,010
Notion のDeveloper Experience責任者であるErdemは、「テストのセットアップは簡単で、開発者体験も素晴らしい」と述べた。
「Our team's experience with Momentic has been great. Setting up tests is simple and the developer experience has been fantastic.」
— Erdem, Head of Developer Experience, Notion
Coframe の Founding AI Engineer である Glavin は、並列実行の速度が6.3xだと述べ、「すべてのプルリクエストに対してE2E QAが開発プロセスの一部になっているのは夢のようだ」と語った。
同社サイトに掲載されたRunwayの事例では、Engineering ManagerのMikeが110のプロンプトを対象とする自動評価を実行した。Mikeは、手作業なら1時間以上かかったはずだと述べ、5秒で開始し、14分で完了したと説明した。
Quoraの事例では、1日のテスト実行時間が7時間から30分に短縮された。500件以上の手動テストケースが置き換えられ、1か月で重要なテストの100%が作成された。Quoraの Head of Product Operations である Momoko F. は、Poe.comのAI応答を、決定論的でない場合でも検証できたと述べた。
GPTZeroの CTO である Alex は、エンドツーエンドテストの作成と保守が3x速くなったと述べた。
QA Benchの結果
同社は、Gitea、Metabase、Twenty、Saleorの20領域を対象に、Mo、Codex、Claude Code、Devinを評価した。評価は1領域あたり60分で行われた。
Moは約269件のラベル付きバグを検出した。次点のエージェントは約86件だった。
筆者の見立て
- 検証はエージェントのループに組み込まれるべきだと論じている。
- コードの作成速度が上がる一方で、検証もそれに追いつく必要があると論じている。
- 開発プロセスにE2E QAが組み込まれることを「夢」と表現し、その実現を歓迎する立場を示している。
- スタートアップは、より速く、より良い製品を出荷することで勝つと論じている。
- コーディングエージェントによるソフトウェア構築が速まる中で、検証もそれに追いつく必要があることを示唆している。
この記事は元記事の事実のみに基づいて自動生成されました。
出典
- 媒体名: Momentic
- 元タイトル: AI QA Engineer & AI Testing Platform | Momentic
- URL: https://momentic.ai/