ml5.js
ml5.jsは、TensorFlow.js をベースにしたJavaScriptの機械学習ライブラリーで、学習済みモデルを簡単に利用することができます。p5.js との親和性もよく、アーティストやクリエイターにとって、気軽に楽しいコンテンツ制作が体験できる環境を提供してくれます。
提供されいてる機械学習タスク
画像関係
- ImageClassifier : 画像分類
- PoseNet : 姿勢推定
- BodyPix : 人体パーツのセグメンテーション
- UNET : 画像セグメンテーション
- FaceApi : 顔認識
- StyleTransfoer : 画像に任意のスタイルを適用
- pix2pix : 線画やモノクロ画像をカラー画像に変換
- CVAE : データ（画像のピクセルなど）をより小さな表現にエンコード
- DCGAN : 画像生成
- SketchRNN : 初期パスからのスケッチ生成
- YOLO : 物体検出
音声関係
- SoundClassification : サウンド分類
- PitchDetection : オーディオ信号のピッチまたは基本周波数の推定
テキスト関係
- CharRNN : テキスト生成
- Sentiment : 感情予測
- Word2Vec : 単語のベクトル変換
サンプルプログラム
以下、公式サイトのサンプルをベースに、極力シンプルに書いてみました。
ImageClassifier
お手元の画像をDrag&Drop してお試し下さい。
- DEMO：https://koichi-inoue.github.io/ImageClassification/
- CODE：https://github.com/koichi-inoue/ImageClassification
ImageClassifier WebCam
Webカメラの起動が求められます。カメラ画像はローカルで処理されています。転送はされていませんのでご安心下さい。
- DEMO：https://koichi-inoue.github.io/ImageClassification_webcam/
- CODE：https://github.com/koichi-inoue/ImageClassification_webcam
FaceApi
お手元の顔画像をDrag&Drop してお試し下さい。
FaceApi WebCam
Webカメラの起動が求められます。カメラ画像はローカルで処理されています。転送はされていませんのでご安心下さい。
- DEMO：https://koichi-inoue.github.io/FaceAPI_webcam/
- CODE：https://github.com/koichi-inoue/FaceAPI_webcam
PoseNet WebCam with p5.js
カメラに映った体の部位の座標を取得する poseNet のサンプルです。p5.jsを使うことで、コードは想像以上にシンプルなものになります。
- DEMO：https://koichi-inoue.github.io/PoseNet_webcam_p5js/.
- CODE：https://github.com/koichi-inoue/PoseNet_webcam_p5js