Messy Room

サービス概要 https://www.youtube.com/watch?v=mWcFHBhY3Vk&feature=youtu.be

ソース https://github.com/KatoLabo

発表資料 https://www.dropbox.com/s/f15m9oi3a3w2vci/JPHACKS2.pptx?dl=0

製品概要

住まい × Tech

背景（製品開発のきっかけ、課題等）

• 開発に至った背景

  • 「部屋の掃除をする」やる気を掃除をする人に与えたい.
    →自分の部屋がどれだけきれいであるかを客観的に知る術があれば良いのではないか！

• 着目した顧客・顧客の課題・現状

  • 着目した顧客
    • 掃除をする全ての人
  • 顧客の課題・現状
    • 客観的に自分の部屋がどれだけ散らかっているのかが分からない

製品説明（具体的な製品の説明）

概要

部屋に取り付けられた各種センサからの情報を用いて，自分の部屋のきれいさを数値化
部屋のきれいさはアプリにて確認可能

特長

1. 特長1

部屋の状況を1000枚の写真を撮ってデータセットを生成し学習. 学習済みモデルを用いて、現在の部屋の様子の写真に乱雑度を与える.

2. 特長2

UIとしてはアプリがメインであるものの、 ClovaやWEBなど他のUIからも閲覧可能。

3. 特長3

アプリのデザインやキャラクターのデザインを含めて、細部まで拘る。 写真に関しても実際にシルバニアファミリーセットで写真を撮り学習のためのデータセットから生成し学習

解決出来ること

このサービスを導入することによって部屋を掃除するモチベーションを大幅に改善することが可能。

今後の展望

今回はスマホアプリの簡単な出力とClovaにとどまったものの、 スマホアプリでは個人関で連携することによってさらなる改善ができると考えられる。

例えば、複数のコミュニティでサービスを利用することをできるようにして、 個人が所有するアバターを育てていくことができるようにする。

それを別タブの部屋で友達や同僚のアバターを見える化することによって、 影で目立たないものの掃除などをしてくれている人に焦点が当たるようなサービスにしたいと考える。

開発内容・開発技術

活用した技術, 独自開発技術（Hack Dayで開発したもの）

RaspberryPi、臭いセンサー、ホコリセンサー、カメラ 機械学習モデルを用いて学習し、実際のカメラで撮った画像の乱雑度を判定 → "inception v3"というモデルを使用 → フレームワークは"TensorFlow" https://github.com/KatoLabo/ml_framework

サーバとDB連結：Ruby on Rails レンタルサーバ：Heroku

Clova API, Lambda(AWS)

Android Studio(React Native)

API・データ

今回スポンサーから提供されたAPI、製品などの外部技術があれば記述をして下さい。

Clova API, Clova本体, AWS

データ : 自分たちでシルバニアファミリーで撮る

フレームワーク・ライブラリ・モジュール

TensorFlow, Inception v3(学習モデル)

デバイス

raspberry Pi3 ModelB Grove - Dust Senso においセンサ TGS2450 Clova