AIの姿勢分析モデル(PoseNet)と連動したモーター制御

教材概要
Scratchの互換環境Stretch3,Xcratchで利用出来る拡張「PoseNet2Scratch」は、GoogleのAIを使って、カメラに映し出された人の体のパーツの座標位置を取得する事ができます。
人の鼻のX座標とターンテーブルのサーボモーターを連動させる事により、扇風機の向きが人を自動追尾する装置が作れます。

教材の基本情報
使用端末：タブレットPC（Windows,Chromebook,iPad）
使用デバイス：AkaDakoファミリー
オプションデバイス：サーボモーター(TFW-AD-SB)
回転台（サーボモーターで回すターンテーブル）

教材の使用法
Step 1： ターンテーブルを作成し扇風機を乗せる

Step 2： サーボモーターをAkaDakoのデジタルAに接続
Step 3： AkaDakoを端末に接続
Step 4： ブラウザでStretch3 https://stretch3.champierre.com/ にアクセス
Step 5： 拡張でAkaDakoと PoseNet2Scratchを有効化

Step 6： 人の鼻のX座標とサーボモーターの角度が連動するようにプログラミング

Step 7： 緑の旗をクリックして扇風機の向きが人の顔を自動追尾すれば完成

教材の応用
連続回転サーボと組み合わせると手を挙げたら走ってくる車をつくる事が出来ます。
タブレットPCを載せる台車（前輪2輪が連続回転サーボ、後輪2輪はダミー）を作成

プログラムは右手首のY座標が右肩のY座標より大きくなったら手を挙げたと判断

※連続回転サーボの角度指定はばらつきがあるので角度は適宜調整
さらにこんな応用も

投稿者：高松　基広（株式会社ティーファブワークス）