ヒューマン・インタフェース「会話（Xcratch拡張）」

「人とコンピューターが音声でやり取りする」。音声によるヒューマンインタフェースは、これからの製品やシステムを考える上で重要な技術の一つです。

Xcratch用拡張「会話 https://asondemita.github.io/xcx-voice/ 」を使って、音声を聞き取り、それに応じてコンピューターが音声で応答する簡単なプログラムを作ります。

期待される効果
これまでの生産技術（材料加工・生物育成・エネルギー変換）に音声によるヒューマン・インタフェース（情報技術）を付加することにより新たなイノベーションへとつながることが期待されます。

教材の基本情報

このXcratch用拡張には「聞く」「話す」「翻訳」という３つの機能があります。

【聞く】

ブロック	機能
	端末のマイクを使い聞き取りを始め、AIで言葉を認識できるまで待ちます。
	AIで認識出来た文字列を返します。
	認識結果に指定した言葉が含まれるかを返します。
	マイクの感度調整を「高い／ふつう／低い」の３段階で調整できます。まわりがうるさい時は「低い」にすると目的の音声を聞き取りやすくなります。

【話す】

ブロック	機能
	文字列を読み上げ、終わるまで待ちます。
	声のキャラクターを指定します。（ふつう / ねずみ / ロボット / おばけ）
	声のキャラクターをベースに、声の高さの倍率を指定します。
	声のキャラクターをベースに、しゃべる速さの倍率を指定します。

　【翻訳】

ブロック	機能
	文字列を指定した言語に翻訳した文字列を返します。
	【聞く】のオプション機能：聞き取る時の言語を指定します。デフォルトは日本語ですが、英語を聞き取りたい時は「英語」に設定変更する必要があります。
	【話す】のオプション機能：話す時に自動的に指定言語に翻訳させることができます。デフォルトはOFFです。

使用端末：マイクを搭載しているタブレットPC（Windows,Chromebook,iPad）
ブラウザ︓Chrome・Edage・Safari(iPad)
インターネット接続︓必須
※用意できるのであれば、AkaDako等のフィジカルコンピューティングデバイスと組み合わせると対話ロボットを作ることができます。

教材の使用法
以下は、簡単な挨拶アプリの作り方になります。
Step 1：プログラミング環境にアクセス
https://145.jp/voice1 にアクセスします。（ノーマルのXcratchで「拡張を読み込む」を使う場合はhttps://asondemita.github.io/xcx-voice/dist/voice.mjsを読み込みます）

Step 2：「聞き取る」ブロックの動作確認
「聞き取る」をクリックします。

この時マイクの許可を聞かれたら「許可」をします。
そして、「おはよう」と話しかけてみましょう。
無事聞き取れるとScratchのステージ（ネコのいるエリア）左上に「おはよう」という文字が表示されます。

クリックして、様々な言葉を聞き取らせてみてください。
※音声の聞き取りには、AIによる音声認識技術が使われています。

Step 3：「〜としゃべる」ブロックの動作確認
まず、スピーカーの音量が0になっていないことを確認してください。
そして、「〜としゃべる」ブロックをクリックします。

無事「こんにちは」としゃべることを確認したら、好きな言葉を入力してしゃべらせてみましょう。
※Scratch左のブロックパレットにある「会話」ブロックを使うと、声のキャラクター指定や声の高さ・読み上げる速度の変更もできます。

Step 4：挨拶アプリの開発
「こんにちは」と言われたら「こんにちは。お久しぶりですね。」と返すアプリを作りましょう。

※30人で一斉に活動を行う場合は、マイク感度のブロックを使って「低」にするといいと思います。また、タブレットのマイクの場所が判らない場合は、キーボード付近にある事が多いです。

教材の活用・応用・発展
翻訳機能を組み合わせると翻訳アプリを簡単に作ることができます。
また、他の機能と組み合わせると様々な作品を作ることができます。

・天気を聞くと答えてくれる（＋天気予報）
・音声で家電の制御（＋AkaDako＋赤外線学習リモコン）
・対話ロボット（＋AkaDako＋サーボモーター）
・音声地図検索（＋地図）
・視覚障害者向け音声対話アプリ（＋GAI or AkaDakoフィジカルAI)
※GAIを使う場合はAPIの年齢制限に注意