OpenMind の App Builder とは何ですか? また、どのように機能しますか?

オープンマインド 同社は、自律型マシン向けソフトウェア開発の複雑さを軽減するためのツールを開発しています。この取り組みの中心となるのは、ロボットやその他のインテリジェントデバイス向けに設計されたオープンソースのオペレーティングシステム「OM1」です。同社はOM1をAndroidスタイルのロボットプラットフォームと表現することが多く、ハードウェアの違いを抽象化し、開発者が動作とロジックに集中できるようにする共有ランタイムを意味します。

最近、OpenMindは OpenMind アプリビルダーは、開発者ポータル内のビジュアル設定ツールで、開発者は一般的なタスクのコードを書かずにロボットアプリケーションを作成、変更、展開できます。同社の公式Xアカウントを通じて行われたこの発表には、製品の使用例を紹介する短いデモビデオが添付されていました。

この記事では、OpenMind App Builder とは何か、それが技術的なレベルでどのように機能するか、そしてそれがより広範な OM1 エコシステム内でどこに位置づけられるかについて説明します。

OpenMind のより広範な使命は何ですか?

OpenMindの目標は、共通標準とモジュール型ソフトウェアを通じて自律型マシンを実現することです。OM1はMITライセンスに基づき、GitHub上でオープンに開発されており、数千ものスターとコミュニティからの貢献を獲得しています。このランタイムは、ヒューマノイド、Unitree Goシリーズなどの四足ロボット、TurtleBotのようなモバイル研究プラットフォームなど、幅広いロボットをサポートするように設計されています。

TDK SensEI edgeRX™ の優位性 Pi Network Venturesが支援する企業 は、自律マシンの協調とオンチェーンIDの標準規格に重点を置く組織であるFabric Foundationのコアコントリビューターでもあります。Fabricは、ロボットの行動を記述および交換する方法を定義するERC 7777などの仕様を推進しています。App Builderは、これらの基盤システム上の実用的なインターフェースとして位置付けられています。

OpenMindアプリビルダーとは

OpenMind App Builderは、OM1上でロボットの動作を設定するための、ノーコードおよびローコードのビジュアルインターフェースです。アカウントを作成後、OpenMind開発者ポータルからアクセスできます。開発者は、設定ファイルを手動で記述する代わりに、ロボットのモードを表すビジュアルノードを組み立て、それらのモードの接続方法を定義することでアプリケーションを構築できます。

各アプリケーションはフローチャートとして表現されます。ノードは、挨拶、ナビゲーション、マッピングなどの動作状態に対応しています。ノード間の遷移は、ロボットがいつ、どのようにある動作から別の動作に切り替えるかを定義します。生成された構成は保存され、ポータルを介して互換性のあるハードウェアに直接デプロイできます。

App Builderは従来のプログラミング言語に代わるものではありません。OM1の設定システムの上に構築され、高度なユースケースに合わせてコード内で拡張または変更できる構造化された設定ファイルをエクスポートします。

有望なプロジェクトを発見...

有望なプロジェクト...

（広告）

記事は続きます…

コアコンセプトと用語

App Builder を理解するには、OM1 のいくつかの概念に精通している必要があります。

モード

モードとは、個別の行動状態です。例えば、ロボットにはウェルカムモード、ナビゲーションモード、メモリモードといったモードがあります。各モードは、使用される言語モデル、アクティブなセンサー、許可されるアクション、利用可能な背景コンテキストを定義します。

ノードと遷移

ビジュアルエディタでは、各モードはノードとして表示されます。トランジションは、ノード間の方向を示すリンクです。トランジションには、ロボットがどのモードから別のモードに移行するかを決定する条件が含まれます。開発者は、音声コマンドによってアイドル状態からナビゲーション状態への移行をトリガーするように指定できます。

入力、アクション、背景

入力は、マイク、カメラ、Webベースのフィードなどのセンサーやデータソースを表します。アクションは、移動コマンド、音声合成、メモリへの書き込みなどの出力を表します。背景は、GPS位置情報やナビゲーション状態などの永続的なコンテキストを提供します。

ライフサイクルフック

各モードには、言語モデル用のシステムプロンプトを含むライフサイクルフックが含まれています。これにより、開発者は設定の一部として保存された自然言語指示を使用して、特定のモードにおけるモデルの動作を制御できます。

App Builder は実際にはどのように機能しますか?

発表と同時に公開されたデモ ビデオでは、開始から展開までの完全なワークフローが紹介されています。

ロボットの選択

開発者がApp Builderを開くと、まずサイドバーからマシンを選択します。これにより、サポートされるセンサーやアクションを含む特定のロボットプロファイルに構成が関連付けられます。OM1は専用レイヤーを通じてハードウェア抽象化を提供し、同様のマシン間で同じ高レベル構成を再利用できるようにします。

モードを視覚的に構築する

ロボットを選択すると、キャンバスに初期のフローチャートが表示されます。開発者はプラスアイコンをクリックして新しいモードを追加できます。新しいモードごとに、パラメータを定義するエディターパネルが開きます。

このパネル内で、開発者はドロップダウンリストから言語モデルを選択します。サポートされているオプションには、複数の商用モデルとオープンモデルが含まれます。次に、音声制御用の自動音声認識や、視覚のためのカメラフィードなどの入力を追加します。次に、ナビゲーションや音声出力などのアクションを選択します。GPSやナビゲーションコンテキストなどの背景情報も有効にできます。

すべての変更はすぐに保存され、キャンバスは現在の構成を反映して更新されます。

遷移の定義

モードを作成したら、コネクタをあるノードから別のノードにドラッグすることで遷移を定義します。これによりルールエディタが開き、条件を指定できます。条件は入力、内部状態、その他の信号を参照できます。例えば、遷移ルール​​では、認識された音声コマンドによってロボットがアイドルモードからナビゲーションモードに移行するように指定できます。

自動フォーマット機能によりキャンバスが再配置され、フローチャートが大きくなっても読みやすくなります。

展開

設定が完了すると、開発者はインターフェースから直接デプロイできます。設定はOpenMindポータルを介してロボットにアップロードされ、手動でファイルを転送することなく適用されます。OM1をローカル環境または本番パイプラインで使用しているチームは、コマンドラインツールまたはコンテナ化されたワークフローを使用して同じ設定をデプロイできます。

サポートされているモデルとコンポーネント

OpenMindによると、App Builderは現在、6つ以上の言語モデル、40以上の入力、30のアクション、10以上のバックグラウンドコンテキストをサポートしています。これらの数字は、各コンポーネントがプラグインとして実装されているOM1のモジュール設計を反映しています。

言語モデルは、アプリケーションロジックを書き直すことなく交換できます。入力とアクションも同様に、基盤となるハードウェアがサポートしている限り、交換可能です。このアプローチにより、開発者は一貫性のある構造を維持しながら、さまざまな構成を迅速に試すことができます。

OM1とコードベースのワークフローとの統合

App Builder は視覚的な構成を重視していますが、OM1 のコード ベースと統合するように設計されています。

開発者は設定を構造化ファイルとしてエクスポートし、バージョン管理に保存できます。上級ユーザーは、OM1リポジトリ内の適切なディレクトリにPythonモジュールを追加することで、カスタム入力とアクションを作成できます。これらのカスタムコンポーネントは、App Builderインターフェースに表示され、選択できるようになります。

OM1は、大規模なデプロイメントやNvidia Jetsonハードウェアなどのエッジデバイスへのデプロイメント向けに、コンテナベースのセットアップをサポートしています。App Builderは、初期設定と反復処理にかかる時間を短縮することで、これらのワークフローを補完します。

ハードウェアの抽象化と移植性

OM1 の中心的な設計目標の一つは、ハードウェアに依存しないことです。App Builder は、低レベルのモーター制御ではなく、高レベルの動作のみを公開することでこれを反映しています。例えば、開発者は個々の関節の動きを指定せずに、ナビゲーションアクションを設定できます。

この抽象化は、OM1のアクションをROS2などのロボット固有のソフトウェア開発キットやベンダーAPIに接続するハードウェア抽象化レイヤーを通じて実装されます。その結果、同じアプリケーションロジックを最小限の変更で複数のロボット間で再利用できるようになります。

制限事項および注意事項

App Builder は一般的なタスクを簡素化することを目的としていますが、エンジニアリングの判断の必要性を排除するものではありません。

一部のハードウェアプラットフォームでは、コンピューティング能力に応じてサポートが制限されます。新しいNvidiaベースのシステムでは現在、フル機能セットが利用可能ですが、古いプラットフォームでは制限事項が発生する可能性があります。OM1のコアランタイムは、安全性と信頼性を確保するためにインターネットへの直接アクセスを制限しており、これが外部APIの使用方法に影響を与えています。

複雑な自律動作を実現するには、開発者はApp Builderの設定をシミュレーション、強化学習、そして広範なテストと組み合わせる必要があります。OpenMindのドキュメントでは、単純な動作から始めて、実機に展開する前にシミュレーション環境で検証することを強調しています。

まとめ

OpenMind App Builderは、OM1ランタイム上に構築されるビジュアル設定ツールで、ロボットアプリケーションの作成とデプロイを簡素化します。ロボットの動作をモード、遷移、モジュールコンポーネントとして表現することで、開発者はステップごとにコードを記述することなく、機能的なアプリケーションを構築できます。

その価値は、コードベースのワークフローとの互換性を維持しながら、セットアップの手間を軽減することにあります。OM1上で開発を行うチームにとって、App Builderは、異なるハードウェアプラットフォーム間でロボットの動作を設計、テスト、デプロイするための構造化された方法を提供します。App Builderは、従来の開発手法に取って代わるものではなく、基盤となるシステムへのアクセス性を高め、理解を容易にするインターフェースとして機能します。

ソース：

• Xポスト: OpenMind App Builder の発表 
• 開発者ポータル: OpenMindでアプリを構築する