AI Tech Showcase

鼻で動かして、口で掴む！？
「顔コントローラー」の仕組み

伝統的な「福笑い」を最新AI技術でリメイク。
手を使わずに顔だけで操作する、新しいインターフェースの実験です。

MediaPipe

顔の「点」をマウスにする

Googleが開発した「MediaPipe Face Mesh」という技術を使うと、Webカメラの映像から顔の468個の特徴点（ランドマーク）をリアルタイムに検出できます。

このゲームでは、「鼻の頭」の動きをマウスカーソルの移動に、「口の開き」をクリック（掴む動作）に割り当てることで、完全ハンズフリー操作を実現しています。

プログラミングの裏側を少しだけ覗いてみましょう。

顔の中心にある「鼻」は、ポインターとして最適です。顔を右に向ければ右へ、上を向けば上へ。画面上の座標に変換してカーソルを動かします。

nose.x -> cursor.x
nose.y -> cursor.y

「上唇」と「下唇」の距離を測ります。あーん！と大きく開いて距離が一定以上になったら「掴んだ（Drag Start）」と判定します。閉じると「放す（Drop）」です。

if (distance > 30px) {
grabObject();
}

技術の詳細はともかく、まずは変な顔を作って笑いましょう！