センサーとAIでアイデアを動かす―「アプリエ for AkaDako」

教育用マイコン「AkaDako（アカダコ）」を使った計測・制御の授業では、「センサーで測った値に応じてLEDを光らせたい」「人の動きを検知して知らせたい」といったアイデアを、実際に動く仕組みにしていくことが大切です。

「アプリエ for AkaDako」は、タコラッチ／タコラッチ・ミニと連携するWebアプリを、生成AIとの対話を通して作るための支援ツールです。作りたいことを整理し、機種に合った仕様書や生成AIへの依頼文を作成します。

アプリエ自身が、外部AIへ内容を自動送信したり、生成されたコードを自動実行したりすることはありません。
目的や条件を考え、AIに依頼し、実際に動かして確かめ、改善するための道筋を整えます。

「アプリエ for AkaDako」を開く
https://gijyutu.com/g-soft/akadako_ai/

ソースコード
https://github.com/gijyutucom-byte/akadako_ai/

開発：村松浩幸

アイデアを「動く計測・制御システム」へ近づける三つの機能

アプリエ for AkaDakoには、元のアプリエと同様に、次の三つの機能があります。

1. ① アプリを作る
   使用する機種、作りたいアプリ、必要な機能、使いたい部品、画面や操作の条件を整理し、生成AIへの依頼文を作成します。
   タコラッチ・ミニとタコラッチのどちらを使うかを最初に選ぶため、選んだ機種で利用できるセンサーや命令に合わせた仕様書を作れます。
2. ② アプリを動かす
   作ったアプリがうまく動かないときに、「どの操作で起きるか」「本来はどう動いてほしいか」「実際にはどうなったか」を整理し、AIへの修正依頼文を作成します。
   接続できない、値が表示されない、LEDが意図どおりに光らないといった場面でも、状況を言葉にして改善へつなげます。
3. ③ アプリを理解する
   仕様とソースコードから、要件定義書とアクティビティ図を作成するための依頼文を生成します。完成したアプリをブラックボックスにせず、入力・判断・出力の流れを確かめ、「なぜこのように動くのか」を説明できるようにします。

AkaDakoに合わせて、機種と部品を選ぶ

①「アプリを作る」では、まず使用する機種を選びます。

• タコラッチ・ミニ（TFW-TM1）
  明るさセンサー、人感センサー、フルカラーLEDなどを用いたシンプルな計測・制御に向いています。
• タコラッチ（TFW-TR1）
  距離、明るさ、温度、湿度、気圧、加速度などのセンサーに加え、複数のフルカラーLEDや振動モーター、外付け部品も活用できます。

選択した機種にない部品や機能を入力した場合は、警告と代替案を表示します。例えば、タコラッチ・ミニを選んだまま温度や湿度を使う計画を入力した場合には、機種の変更や、明るさ・人感を用いた別の方法を検討するよう促します。

 

また、AkaDakoへの接続・切断、二重接続の防止、接続失敗時のエラー表示といった条件も、生成AIへの依頼文に含めます。生成AIでコードを作る際に起こりがちな「機種にない命令を使う」「接続処理が抜ける」といった問題を減らすための仕組みです。

センサーだけでなく、カメラや音も組み合わせられる

AkaDakoの入出力に、ブラウザの機能を組み合わせることもできます。例えば、カメラ映像の表示、QRコードの読み取り、音声認識・音声合成、画像認識などです。

さらに、手の形・物や画像・音を、利用者自身が登録して認識する「学習モード」も選べます。例えば、「グー」「パー」の手の形を認識してLEDの色を変える、登録した物をカメラで見分けて知らせる、音の違いに応じてAkaDakoを動かす、といった試作が考えられます。

学習モードでは、ラベルの追加、例の登録数の表示、削除、認識結果の確からしさの表示、AkaDakoの動作への割り当てなどを仕様に含めます。画像や音そのものは保存せず、登録した数値的な特徴とラベル名だけを扱う構成を基本としています。

まずは先生が小さく試作する

最初は、保存機能や外部サービスとの連携を使わない、小さな題材から始めることをおすすめします。

例えば、次のようなアプリです。

• 明るさに応じてLEDの色を変える「自動あかり」
• 人の動きを検知したらLEDで知らせる「見守りサイン」
• 距離を測って画面に表示する「近づきすぎ注意」
• 温度・湿度を記録して、教室環境を見える化するアプリ
• 音や手の形を認識して、LEDやモーターを動かす作品

「誰の、どのような困りごとを、何で少しよくしたいか」を決め、中心となる機能を一つか二つに絞ることがポイントです。①で構想を整理して試作し、②で動きを確かめながら改善し、③で仕組みを説明する。この流れを先生自身が一度経験しておくと、授業で扱う課題、必要な時間、支援の仕方、評価の観点を考えやすくなります。

生徒が使うときに大切にしたいこと

生成AIを使えば、自然言語からWebアプリの試作を始められます。しかし、「AIに作らせて終わり」にしないことが重要です。

生徒には、身近な課題を見いだし、目的と条件を考え、試作し、実際にAkaDakoにつないで確かめ、改善し、仕組みを説明する活動として位置付けます。完成物だけでなく、課題設定、仕様、試行・修正の過程、計測・制御の仕組みを説明できることを大切にしましょう。要件定義書＋アクティビティ図を額作成する機能もあるので，ご活用ください。

その前提として、ビジュアルプログラミングなどで、順次処理、分岐、繰り返し、変数、イベント、入力と出力、試行・修正といった基礎的な考え方を学んだ後に扱うことをおすすめします。

利用に当たっては、自治体・教育委員会・学校が定める生成AI利用ガイドライン、情報セキュリティ規程、端末利用のルールを必ず確認してください。氏名、学籍番号、メールアドレス、パスワード、APIキーなどの重要な情報をAIに入力しないことも徹底します。


要件定義書の作成例（アクティビティ図は画像認識やモデル学習の関係でちょっと複雑になっています）

使うときの確認事項

AkaDakoへの接続にはWebMIDIに対応した環境が必要です。PC・ChromebookではChromeまたはEdgeでHTMLファイルを開き、USBでAkaDakoを接続して使います。iPadではScrubなど、ローカルHTMLを開ける環境を利用します。
（ご注意：iPadでは，ローカルファイルを開いて実行ができません。Googleサイトを使うなど工夫が必要となります）

また、AkaDakoは同時に一つのアプリからしか接続できません。Scratchなど他のアプリや、別のブラウザタブで接続していないかを確認してください。カメラ・マイク・画像認識などの機能は、ネットワーク環境や学校のフィルタリング設定によって利用できない場合があります。

ライセンス・お問い合わせ

本アプリのソースコードおよび付属文書はMIT Licenseで提供されています。利用、複製、改変、配布、再許諾、商用利用が可能です。ただし、複製・配布する場合は、著作権表示とライセンス文を残す必要があります。

お問い合わせ こちらから

免責事項

本アプリの利用、ならびに本アプリを通して作成・共有・公開したアプリ、コード、資料等に起因して生じたいかなる不具合、損害、トラブル、データの消失、第三者との紛争等についても、開発者は一切の責任を負いません。AkaDakoの接続・操作により生じた機器の不具合や損害についても同様です。利用者の責任において、学校・自治体の規程、各サービスの利用規約、著作権、個人情報保護および安全性を確認した上でご利用ください。

投稿者：村松浩幸（信州大学）