本文へジャンプ

ディープラーニング技術 ウェアラブルデバイスによる作業行動推定 東芝デジタルソリューションズ株式会社 ソフトウェア&AIテクノロジーセンター ディープラーニング技術開発部

ディープラーニング技術 ウェアラブルデバイスによる作業行動推定 東芝デジタルソリューションズ株式会社 ソフトウェア&AIテクノロジーセンター ディープラーニング技術開発部

ディープラーニングで、これまで困難だったヒトの複雑な作業を見える化

 最近のIoT技術の発展で工場設備や社会インフラなどのモノの状態を把握して予測や最適化を行うことができるようになってきました。それに対して、そこで作業しているヒトの行動については、未だにほとんど把握する手段がないのが現状です。こうした課題に対してわたしたちは、リストバンドなどのウェアラブルデバイスを用いて作業者の腕の動きの加速度データから装着者の行動を推定する作業行動推定技術を開発しており、東芝ロジスティクス(株)での導入事例では、作業を見える化して課題を掘り下げることにより約15%の生産性改善効果が確認されています[1] [2]

 これまでの作業行動推定技術は、ひとつ一つの作業に対して加速度波形の特徴量に着目して推定ルールを開発していましたが、ヒトの動作には体格やクセなどによって生ずる多様性があるため、それらを包含した精度の高いルールを設計することは難しく、推定できる作業は限定的でした。またヒトの作業は非定常、非定型な業務が多いため、そもそも一連の作業の中から該当する動作を見つけることが難しいといった制約もあり、ベテランの解析者でもひとつの作業の推定ルールを設計するのに数ヶ月は必要である上、それでも十分な精度を達成できないことが多いなど、限界が見えていました。

 そこでわたしたちは、データの特徴を深く学習できるディープラーニング技術を用いて、作業内容を推定するモデルを自動生成することに取り組みました。実際に台車を使った倉庫のピッキング作業で比較した場合、従来のルールベースの正答率(※1)が87.6%であるのに対し、代表的なディープラーニング手法であるCNN(Convolutional Neural Network)を用いた場合の正答率は85.6%と遜色なく、また人手では数ヶ月かかった解析作業を学習時間まで含めて数十時間に短縮することができました。

さらに、従来手法では困難であった複雑な作業、例えばリーチフォークの運転など、さまざまな作業の推定に適用できることが確認できており、今後の発展が期待されています。

※1:1秒毎の推定結果と実際の動作とが一致した割合。ヒトの動作はきれいに1秒単位で切り替わらないため、作動の切り替わりのタイミングで推定誤差は生ずる。

倉庫でのピッキング作業と得られたリストバンドの加速度波形 片方の手首にリストバンド型のウェアラブルデバイスを装着して、腕の動きの3軸の加速度データを取得する。

倉庫でのピッキング作業と得られたリストバンドの加速度波形のイメージ図

ルールベースとディープラーニングの作業行動推定結果の比較 従来方法イメージ図

倉庫でのピッキング作業と得られたリストバンドの加速度波形 片方の手首にリストバンド型のウェアラブルデバイスを装着して、腕の動きの3軸の加速度データを取得する。

倉庫でのピッキング作業と得られたリストバンドの加速度波形のイメージ図

ルールベースとディープラーニングの作業行動推定結果の比較 それぞれ、従来のルールベースとCNNとで10分間の作業を推定した結果。見た目にもほぼ遜色がないことが分かる。

ルールベースとディープラーニングの作業行動推定結果の比較 従来方法イメージ図

ルールベースとディープラーニングの作業行動推定結果の比較 ディープラーニングイメージ図