ざすこスマホでジェネコとおしゃべりできたらいいのに…って、ずっと思ってたんだよね。
ジェネコできたジェネ！ しかも作ったのはMuseで、Museに指示を出したのはClaude Code。AIがAIを操って作ったジェネ！
Metaの「代わりに動くAI」Muse（ミューズ）の新機能「スペース」を使って、スマホで話しかけるとジェネコの声と表情で返事をしてくれるアプリ「ポケットジェネコ」を作りました。この記事は、その作り方と、うまくいかなかったことも含めた制作の全記録「制作記録館 #2」の無料の案内です。記録館 #2 も無料で公開しています。
まずは3分の紹介動画
実際にスマホで話しかけている様子と、Claude CodeがMuseを操作している画面を3分にまとめました。ジェネコの声つきです。
ポケットジェネコでできること
スマホのMuseアプリの中で動く、ジェネコとのおしゃべりアプリです。話しかけると、ジェネコの声（AivisSpeech）でしゃべり、文ごとに表情が変わります。天気やニュースは自分で調べて答え、朝・昼・夕方には「定期便」としてジェネコの声のボイスメモも届きます。
もともとジェネコには、ざすこが開発しているWindows用のデスクトップアプリ「ジェネコアプリ」（記録館では「V1」と呼んでいます）があります。画面の端に立つジェネコが、声と口パク・表情で返事をしたり、ライブ配信のコメントを読み上げたりするアプリです。ポケットジェネコは、このジェネコアプリの声の設定・表情の切り替え・待機のしぐさ・性格・読み方の辞書を、スマホのMuseへ引っ越して作りました。
| 用語 | 読み | 意味 |
|---|---|---|
| Muse | ミューズ | Metaの「代わりに動くAI」。利用者ごとにクラウドの中に専用のPCを持ち、作業まで進める |
| スペース | — | Museが作った画面（アプリ）を、Museアプリの中で開ける機能 |
| AivisSpeech | アイビススピーチ | 声のモデルを読み込んで文章を読み上げるソフト。ジェネコの声はこれで作っている |
| Codex | コーデックス | OpenAIのAIエージェント。ポケットジェネコの「頭脳」として、返事を考えたり検索したりする |
| Claude Code | クロードコード | AnthropicのAIエージェント。今回はブラウザでMuseを操作して、作り方を指示した |
昔話をアレンジして、と頼んでみると…
「日本の昔話をAIクリエイションのネタをモチーフに当てはめてアレンジした話に作り替えて話してみて」と頼むと、ジェネコはこう返してきました。
桃太郎が「AIクリエイターのモモ太郎」に。お供は犬型プロンプト・猿型データ・雉型ドローンで、最後は鬼たちと「みんなの発想を混ぜて、新しい物語を作ろう」という話になりました。この返事を、ジェネコの声で読み上げながら、文ごとに表情を切り替えます。
天気は自分で調べて答える
「傘持っていったほうがいいかな？」と聞くと、頭脳のCodexがWebで東京の予報を調べ、「最高18度くらいで夕方から曇って少し冷える予報ジェネ」と答えました。返事が届くまでは20〜30秒ほどかかります。画面の「考え中」の秒数を見ながら待つのがコツです。
使い方と2つのモード
雑談と調べものは「おしゃべり」モード（頭脳はCodex）、予定やメールの話は「チャット連動」モード（Museのジェネコ本人が答える）と使い分けます。
作り方：AIがAIを操る
ポケットジェネコを作ったのはMuseです。でも、ざすこがMuseに直接ひとつずつ頼んだわけではありません。ざすこ → Claude Code → Muse → Codex の順に、AIがAIへ仕事を渡す形で作りました。
- ざすこ：方針・見た目の判断、スマホの実機での確認と録画、クラウドや通信の許可
- Claude Code：Chromeの中でMuseの画面を直接操作して、指示を書いて送り、返事を読み、録画で確かめる
- Muse：自分のクラウドPCの上で、ジェネコの声（AivisSpeech）と画面を作り、スペースとして公開する
- Codex：MuseのPCの中で、おしゃべりの返事を考えて検索する頭脳
最初の夜は、Claude Codeが書いた指示文をざすこがMuseに貼って、返事を持ち帰る「伝言」で進めていました。11月8日からはClaude CodeがMuseの画面を直接操作するようになり、ざすこが「緑の丸窓はやめて、軽い空間表現にして」と言えば、Claude CodeがそのままMuseへ作り直しを頼みます。
この記事にある説明書のスライドも、Claude CodeがViduを操作して作りました。
うまくいかなかったこともある
- MuseのPCの空きメモリが少なく、声のエンジンが動くか心配した（実際は必要な分だけメモリが空いて動いた）
- デスクトップ版ジェネコアプリの背景の「緑の丸窓」を移したら、スマホでは重くて廃止した
- Museへの1通目が「配信が確認されていません」で届かないことが続いた（ページを読み込み直してから送ると届いた。原因は不明）
- PCのMuseアプリではマイクが使えず、文字入力で話しかける
どの指示を送り、Museがどう返し、ざすこが何と言って直したか。その全部を、記録館 #2 に年表と原文のまま展示しています。
制作記録館 #2 で見られること
- ジェネコアプリをMuseへ引っ越す作り方を、8つのステップで解説（やること → 作り方とコツ → そのときのやり取り）
- 伝言の時代から、Claude CodeがMuseを直接操作するまでの流れと、Museへ送った指示・Museの返事
- スマホの録画、説明書のスライド、できたこと・失敗したこと・わかったこと
まとめ
Museのスペースを使うと、スマホのMuseアプリの中で動く自分だけのアプリが作れます。今回はそれを、Claude CodeがMuseを操作する「AIがAIを操る」やり方で作りました。返事まで20〜30秒かかるなど、まだ育てていく所はありますが、スマホで話しかけるとジェネコの声で返事が来るのは、ちょっと感動です。
ざすこライブ配信でも、AIエージェントを使った創作をいろいろ試していくよ！
ジェネコポケットジェネコも、これから育てていくジェネ！
あわせて読む
ジェネコの声：VOICEVOX:櫻歌ミコ(CV:赤乃みずき) ／ 動画の効果音：効果音ラボ
コメント