このプロダクトを動かすには、以下の準備が必要です。
- スタックチャンのハードウェアを用意する
- スタックチャンのMCUとなるESP32-S3に、ファームウェアを書き込む
- WebSocket サーバーをPC上で動かす
Claude Agent SDKを利用したエージェントを動かす場合、以下のものが必要になります。
- スタックチャンのハードウェア
- Google Cloudの契約
- 有償ですが、従量制料金で無料枠もあります
- 音声認識にGoogle Cloud Speech-to-Textを利用
- Claude Agent SDKの利用にもGoogle Cloud Vertex AIを利用
- PC
- Windows / macOS / Linux いずれも可
- 以下の役割を担います
- ファームウェアのビルド
- WebSocket サーバー
スタックチャンのハードウェアには以下が必要です。
- M5Stackコアシリーズ
- 外装ケース
- ケース対応コアシリーズと接続するための接続ボード
- サーボ
このプロダクトでは M5Stack CoreS3 が必要です。 M5Stack Basic、M5Stack Core2は対応していません。
以下の製品に対応しています。
- M5Stack CoreS3 SE
- M5Stack CoreS3 Lite
- M5Stack CoreS3
- M5Stack ATOMS3R AI Chatbotキット(M5Stack Atom S3R と Atomic Echo Baseのセット)
Caution
ESP-SR の利用には、PSRAM付きESP32-S3が必要になります。そのため、M5Stack Basic/Core2 は利用できません。
なお、サーボがなくても動作します。
- 原典のししかわさん製作ケースと、その接続ボードの組み合わせ
- Takaoさん製作ケースと、その接続ボードの組み合わせ
なお、ボディがない、M5Stack CoreS3単体でも動作します。
./google_cloud_ja.md を参照してください。
ファームウェアのビルドには、PlatformIOを利用します。
./platformio_ja.md を参照して、環境を構築してください。
以下のページを参照して、ファームウェアの設定とビルドを行ってください。
標準ではGoogle Cloud Text-to-Speechを利用して音声合成を行います。 無料で利用できる中品質の音声合成エンジンのVOICEVOXも利用できます。 キャラクターボイスが多くてかわいいので、VOICEVOXもぜひ試してみてください。
VOICEVOXを利用する際には、VOICEVOXの利用規約の参照をお願いします。
https://voicevox.hiroshiba.jp/
VOICEVOXはDockerイメージが提供されているため、Docker環境を構築して実行します。
Dockerがインストールされていない場合は以下のページを参照して、Dockerをインストールしてください。
今すぐ始める | Docker
Dockerがインストールできたら、リポジトリのディレクトリで以下の起動コマンドを実行してください。
# 起動
docker compose -f ./misc/voicevox/docker-compose.yml up -d
# 起動の確認(STATUSがUpになっていればOK)
docker compose -f ./misc/voicevox/docker-compose.yml ps -a
# 停止(インスタンスが残るため、削除が必要です)
docker compose -f ./misc/voicevox/docker-compose.yml stop
# 削除
docker compose -f ./misc/voicevox/docker-compose.yml rm
以下のサイトにアクセスし、「VOICEVOX Engine」と表示されていれば成功です。
標準ではGoogle Cloud Speech-to-Textを利用して音声認識を行います。 無料で利用できるWhisper.cppのwhisper-cliも利用できます。
(TODO)
標準ではGoogle Cloud Speech-to-Textを利用して音声認識を行います。 無料で利用できるWhisper.cppのwhisper-serverも利用できます。
(TODO)
このリポジトリでは、WebSocket サーバーをPythonで実装しています。 Pythonの環境構築の方法は、パッケージマネージャuvのページを参照してください。
Installation | uv
以下のページを参照して、サーバの設定を行ってください。
まずは、サンプルアプリケーションを実行してみましょう。
以下のページを参照して、サンプルアプリケーションの実行方法を確認してください。
Claude Agent SDKを利用したAIエージェントアプリケーションの開発方法は、以下のページを参照してください。
create_your_claude_agent_sdk_apps.md
Dockerコンテナを使うと、ファイルシステムが隔離されるため、Claude Agent SDKを安全に実行できます。 以下のページを参照してください。