CoVision：動物見守りアプリをアップデートしました。
個体認識機能がついて、行動ログを取れるようになりました。詳しくは下記ツイート連なるツイートにて確認できます。

一緒に開発を進めてくれる方、実験に協力いただける方を募集しています！

ペット見守りアプリ、個体識別機能を追加！
まずはペットの認識～行動ログの取得が完了しました。次回アップデートで行動傾向データの表示が可能となります。https://t.co/YPUtZaarNy

— R@れい (@Rei_Farms) June 25, 2022

以下に書く内容は技術的なことではなくほぼ感想です。

1・Webサイトのように簡単ではない。ページとデータベースの連携以外に考えることが多すぎる。orz
とはいえWebサイト（特にプログラム）もバグがなく、高速な処理が書けるかというと…

2・実験たのしい
クラウド（Google Cloud）の利用料が思ったより少ないので実験を繰り返しても痛くない状況で助かっています。PCスペックは、8CPU+32GBのCPUを使っているので、画像認識モデルの学習以外はすごく高速です。学習はGPUは欲しい…Cloud Runのオプションに存在しないんですよね。orz

ペットの烏骨鶏（シロちゃん）の行動ログを分析しつつ、ピークがあるとこの時間帯に何をしてたっけ？と思い返したりしています。楽しい。たいてい、おやつのミルワームを出そうとしているところに高速で駆け寄ったりしていると行動量が異常に多く検出されるんですよね。かわいい。

この子に異常があれば、いち早く気づきたい。その気持ちは飼い主として常に持っていて、その気づきを実現するためのアプリがこのCoVisionです。

アプリの実装には様々な言語への対応が必要でした。CLI（Cloud CLI含む）、DockerFile、Kotlin（Java）、Python、Firebase Cloud Firestore・Storageなど・・・正直今まで触ったことがない内容が5割以上で「よくわからん」の連続でした。多分今後もそうでしょう。

さて、次は行動解析後の可視化、グラフ化の実装だ～(*_*)

3行で説明する全体的な進捗

1. 物体検出モデルの導入が完了
   動物たちの行動を常時観測するための技術的なハードルの1つをクリアした。
2. アプリを1つにまとめた
   カメラアプリと見守りアプリ、別々にインストールする必要性を感じなかった。
3. 以前の2アプリの機能をもつアプリを申請した
   後述のプログラミング言語の変更があったので、ちょっと手間取った。

今回わかったことは、アプリのユースケースとして事前に考えたことと実際は大きく違うということ。

動物見守りアプリ（CoVision）簡易版リリースでアプリをリリースして使ってみたところ、日常生活で使うためには不具合が多かったです。

例えば、カメラ側のスマートフォンは常に電源をつけっぱなしにするので、充電しながらカメラをつけっぱなしでも電池が足りなくなることがないように・・・と思ったらプログラミング言語がFlutterだと10時間くらいで落ちる。Kotlinで最低限の機能で実装したら余裕を持ってOKでした。

その他には、カメラの配信モード（外出先から家の中＆動物たちを見れるモード）が常時ONのため、使っていて気持ち悪いらしい。認証やURLの一致をクリアする必要はあるものの、常時放映中は確かに・・・誰かに見られる心配があるか。そのため、後述のFirebaseでのリアルタイムスマートフォン画面の変更技術を作り、外出先から家の中にあるカメラの配信のON/OFFをできるようにしました。

最後に、現物があることの違いが大きかった。家族や知人に見せた時に、自分（れい）が何をしたいのかイメージを共有でき、アドバイスやそもそも論の議論ができた。スタートアップでの起業?の方法論として、ユーザーインタビューから始めることが推奨されるようである。ただ、競合となる製品がいまだに有名になっておらず、利用イメージがわかりづらい（＆自分の説明が分かりづらい）ので、○○みたいなものを作りたいとプレゼンで見せてインタビューしようとしても、その課題は持っているし、経済的・精神的な痛みも理解できる。で、できるモノはどんな感じなの？となる。手触り感で使用可否を決めるユーザーとして当然の反応だ。

そのように、思ってたことと実際は大きく違うことがわかりました。スマートフォンアプリはウォーターフォール型で作ったらミスしそうだなあ…という経験に。

続いて、技術的な発展がありましたので共有しておきます。

3行で説明する技術的な進捗

1. プログラミング言語をFlutterからKotlinに変更した
   Flutterの画像処理に致命的な不具合があり、画像認識技術が使えなかったため変更した。当面Androidのみ対応に。
2. 画像認識技術の組み込みに成功した
   今回は物体検出モデル（Mobilenet V1、YOLO V5、Efficientdet-lite4）の導入ができた。毎秒行動データを取る訳ではないので、FPSは1あれば十分だが今は3FPS以上ある。
3. リアルタイムスマートフォン画面の更新技術を作成
   外出先のアプリから、家の中にあるアプリ（カメラ）の画面を変更できるようにし、カメラ画面の配信ON/OFFを操作できるようにした。

まさか・・・Flutterでリアルタイム画像認識が無理だとは。バージョンを下げて維持すれば対応できなくもないですが諦めました。
諦めた背景として、Flutterは2021年のメジャーバージョンアップでNull Safetyをはじめとした変更が入り、カメラ画像処理関係の多数のパッケージが使えなくなったまま更新されていません。そのため、1つ1つのパッケージを現状対応にするためにはめっちゃ工数がかかるという・・・少数で対応するには大きすぎる問題です。

Flutter関連でGoogle検索しても、なぜか2021年前半までの記事が多く、2021年後半以降の記事が少ないことに違和感を覚えていました。メジャーバージョンアップのことを知って、なるほど、だからかと合点してしまいました。とはいえ、あまりひねりのないアプリを作るならFlutterは便利だと思います。パーツを組み合わせればすぐ完成するので、レゴブロックみたいな感じで開発できます。

物体検出モデルの導入はTensorflow公式サイトのKotlinサンプルをちょっとだけいじったら導入できました。物体検出モデルの今後の課題は2点あり、(1)できるだけ少ないデータでの学習がうまく行くか（ユーザーは手間暇を掛けたくないし、大量のデータを入力したいわけではない）と、(2)学習モデルの導入がある程度高速にできるか（独自モデルの学習に1日掛かると、だいたいのユーザーは離脱してしまうのではないか）ですね。

モデル学習を含めたアプリのワークフローの、理想と現実のズレをいかにうまくまとめるか・・・ですね。

現状

CoVision公式HPはある程度できてはいるものの、出来合い感が強い。

上記の画面のように、アプリでは物体検出モデルのテスト導入中です。現在は3～5FPSで表示できています。

ただ、CoVisionでかなり重要な機能である特定の動物たち（例：犬のAちゃん、鶏のBちゃん）の行動をトラッキングできるモデルを作る機能がないので、現在開発中です。これさえ開発できれば、MVP（最低限のプロダクトの機能）で開発する内容は行動データの可視化だけになります。とはいえ、パソコンで学習させたモデルをスマートフォンに移して動かすので、複数のプログラミング言語の知識やモデル・データ形式の変換の対応が必要です。そこがなかなか難しい。

具体的に言うと、PC上だけの対応であればPythonの深層学習パッケージTensorflowまたはPytorchを使えれば問題ありません。ただ、スマートフォンも入ってくるとFlutter（Dart）やKotlin（≒Java）、C/C++などの複数のプログラミング言語に対応せざるを得ません。かつ、モバイルアプリ×深層学習モデルの開発はそこまでユースケースが豊富ではないため、PytorchからTensorflowへのデータ変換のためのONNX形式への対応や、TensorFlowからTfliteへの変換（公式サイトの通りに変換するとうまく動かない）のような問題もあります。

現在ハマっている問題は、同一であるはずのモデルの構造が違うことです。Tensorflow Hubで公開されている学習済みモデル（現在利用中だが、独自の学習はできない：TfLite形式）と、Tensorflow公式で公開されている学習モデル（独自の学習ができる：チェックポイント形式等含む）をTfLite形式に変換したモデルのモデル構造が違うという謎現象があります。学習に目途が付いたのに構造が違うと導入できんよ。。orz

とはいえ、開発が無理ではないことはわかったので、あとは粛々と進めるのみです。

以上、もう少しでできそうです。
モバイルアプリ開発は、新たな言語の習得を含めて3か月くらいかかるんですね・・・やっぱり。

動物行動監視アプリ（CoVision） 要件整理（3/21）から約4週間。

4/15に2つのアプリの簡易リリース版が完成し、Google Playに承認されました。

目標

このアプリは小さな一歩です。
全ての動物たちの不要な苦しみや痛みを1秒でも、飼い主の物理的・心理的な負担を1円・1ミリでも減らしていきたいと思います。

その達成には、何らかのシステムで下記4ステップすべてが達成される必要があるでしょう。

1. 彼らの体調を24時間常に見守り、専門家ではない私たちにわかるように異常を知らせてくれる。
2. どこにどんな経歴を持った獣医さんがいることを知ることが可能となり、適切な治療場所を私たちが選べるようになる。
3. 治療に行った際には、過去のカルテを含め、獣医さんに適切な情報を提供し、正しい治療方法を選択していただく。
4. 治療結果を集約し、正しい行為を行える獣医さんが正当に評価・処遇され、彼・彼女の本当にやりたいことに集中できるようにする。

すべては、後悔しないように。彼らが、私たちがこの世界に生きていてよかったと思えるようにと考えています。

現行アプリ

1. CoVision Visioner

カメラアプリ。

2. CoVision Viewer

見守りアプリ。カメラアプリがストリーミングしている動画を見るアプリ。

HPは以下に用意しています。
https://covision.jp/

使い方

使い方を5ステップで説明します。

1. スマートフォンを2台用意する。

現在はAndroid版のみリリース対応していますが、iPhone版の準備も進行中です。
カメラ側のスマートフォンは古いもので構いません。カメラにするだけなので。

2. それぞれにアプリをインストールする。

カメラ側にVisionerを、見守り側にViewerをインストールします。

3. カメラを据え付ける

カメラを固定できる台や三脚を用意してください。Amazonで確認すると2,000円台からありますね・・・って安いね。
スマートフォンはつけっぱなしになるので、電源に接続してください。加えて、カメラ側のスマートフォンはWifiの利用を推奨します。通信量が多くなる想定（今後改修予定）です。

4. カメラアプリを起動・撮影

アカウントを作成・ログインしてください。

デバイス登録をして、名前を付けてください。見守りアプリ側で複数カメラを選択できるので、わかりやすい名前にするといいと思います。


あとは普通のカメラアプリのように、真ん中の白いボタンをクリックします。


撮影中です。これで問題ありません。


5. 見守りアプリを起動・動作確認

カメラアプリ側で作成したアカウントでログインできます。

確認したいカメラアプリをクリックします。


こちらの画面で、正常にカメラアプリが撮影中であれば確認が可能です。

※この画面は正常ではありません。

さいごに

何か不具合があれば、ここにコメントいただけると幸いです。
※HPはのちほど改修予定です。

はじめに

そろそろ蔓延防止処置が解除されそうですね。花粉症が酷くなっているれいです。ツライorz

家にいることがほとんどなので、動物行動監視アプリ（CoVision）は今のところそこまで必要ないかなと思います。やはり、1日以上家を開けるような時（旅行に行く、単身赴任先から家に戻る等）に使いたいなと思います。彼らを電車で連れて帰るわけにもいかず・・・。

出かけている間、何かソワソワして心配なんですよね。

あとは、特に小動物は、体調がいつ急変するかわからない怖さがあります。本当にあっという間に亡くなりますし、確率論的に多くの飼い主が体験しているハズなんですよね・・・。辛い。

というわけで、動物監視アプリ作成を進めています。

要件としては、チームの能力的にかなり制限がある（ハードウェア無理、ソフトウェアは分析とWeb系のみ対応）のでなかなか難しいですね～。提供はSaaS（月1,000～2,000円（多頭認識可能）：１回あたりの手術料から逆算）形式で行う予定です。

要件整理

1・機能開発の大別

このアプリは、カメラアプリと結果確認アプリを分けて開発します。

結果確認アプリはログ確認のみのため、考えることはほぼありません。カメラアプリの処理を考える必要があります。

2・ハードウェア開発はしない

ハードウェアはRaspberry Piならある程度制御できますが、製品を出せるほど品質が高いモノは作れないと判断しました。

ハードウェアを開発しないので、誰もが持っているモノ（選択し：カメラ、ガラケー、スマホ他）を使うとします。カメラや通信機能等が備わっており、かつ流通しているモノと言えばスマホしかないかなと。

3・画像認識をデバイス上で行えるようにする

カメラアプリの処理方針として大きくは、中央サーバー方式、分散処理方式の2つの方法があります。まず考えるべきは、実現可能性（処理速度、ログ送信のトラフィック量）でしょうか。

ただ、中央サーバー方式は無理があると思われます。例えば、もし中央サーバーに取得した画像を送るような処理フローにすると、単純な通信量が半端なくて詰む可能性大ですね。

分散処理方式であればトラフィック量は問題ありません。処理速度も、2017年発表のMask-RCNN（C++）だと、スマホ上でFPS（Frame per Second）1以上は達成しているそうなので問題ないと思われます。ある程度習熟しているPythonはデバイスの制限から使えそうにないですね。

というわけで、IoTライクにスマホ上で画像認識を動かしたいという要件になりました。

4・どこでも、だれでも、いつでも開発でき、使えるようにする

スマホはiOSとAndroidでネイティブの開発言語の書き方が大きく違うので、同じように開発できる言語がいい。表示はWeb、スマホ（iOS、Android）、タブレット関係なく使えるようにしたい。

整理結果

1・スマホでカメラアプリの開発を行う。
2・画像認識のためにC++を使用できる。
3・1コードでiOSとAndroid、どちらも対応できるようにする。

というわけで、Flutterにしました。ネイティブのJavaやSwift、React Nativeなどを検討したのですが要件に合わなさそうなのでやめときました。

今回利用するFlutterは、Dart言語を用いて1コードですべてのプラットフォームに対応できるように（Build apps for any screen）開発されています。英語の資料は豊富で、公式Flutter.devなどがあります。日本語解説はFlutter大学などを参考にコーディングしています。

今のところアプリの基礎（表示、ページ遷移、アラート等）や、データベースのCRUD（Create, Read, Update, Delete）の学習を完了しました。カメラ機能はなかなか骨が折れそうですね。

やっていきます( ^o^)/~
次：お試しカメラアプリできました

今後は千葉と東京のに拠点で生活します。

なぜ引っ越ししたか

仕事のために引っ越しました。

会社まで電車で10分の好立地、かつ飼い始めたココちゃん（と動物行動ロギングのCoVisionの開発）のために利用していきます。

20㎡程度なので、大半の一人暮らしかつ動物を飼っている人と同じ～小さいくらいのスペースとなるはずです。

予定

仕事

慣れてバリューを出せるようにします。

英語

6か月でTOEIC900を目標とします。
難易度は知りません。英語論文が少し読める程度なので、しっかり理解できて海外部門とコミュニケーションができるくらいまで進めたいですね。

文法が雑にしか覚えてないので、Youtubeなどを参考にしていきます。
参考：強いエンジニアになるために英語が必要と聞いたので４ヶ月でTOEICスコア400→900まで上げた話

CoVision

試作と仮説検証を行います。
動物（猫・犬・小動物）の飼い主は、特に独身女性が多くなってきているので、CoVisionで家の中をずっと写すことに抵抗はないのか・・・等々を調査していきます。

季刊コンピュータービジョン最前線など日本語の資料で調査しつつ、一緒にやってみたい人を募りますね。

さいごに

長いコロナ禍の後に、ウクライナ戦争。

予想がつかない世の中ですが、一つ一つ自分ができることをやっていきたいものです。

はじめに

烏骨鶏♀（命名：ココちゃん 生誕2021年12月20日週）をアライふぁーむさんから購入しました。

これから、動画を少しずつ上げるかもしれません。それにしても可愛らしいですね。行動原理はまだよくわかりませんが。

烏骨鶏の特徴

鶏の原種

あまり家畜化されていない鶏です。

肌はガン黒

肌は黒色です。
見た目は真っ白ですが。

飛ぶ

膝の高さ（50cm）なら乗ってきます。

卵

・120日齢程度から卵を産み始めます。
・卵はたまに産む程度で、鶏のように毎日産むことはありません。

懐くのか

ある程度懐きます。
・人の肩の上に乗るのが好きです。
・外に放鳥しているときに、少し離れて名前を呼ぶと傍に寄ってきます。
・名前を呼ぶと、鳴き声を出して振り向きます。
・餌を用意していると近づいてきます。

なぜ購入したか

直接の原因は、以前勤務していた動物実験施設で、鶏かわいいなと思っていたから・・・でしょうか。

鶏は人の顔を覚えますし、行動パターンも理解します。舐められる人もいれば、特定の人がいるとビクビクしてる、、、みたいな感情があるすごく可愛らしいんですよね。

あとは、CoVision（動物行動ログ取得アプリ）を作るためもあります。その背景としては、獣医学にまつわる治療の現状はDX云々の前の問題が多いんですよね。

①対象がヒトとは違って、専門分野が広すぎる。個体数・症例数が多くないため、専門分化できない。
②カルテの共有がしづらく、行動ログもなく、彼らは人語を話せないので、飼い主（非専門家）へのヒアリングでしか治療方針が立てづらい。
とかとか、、、何にしてもほぼ何もないところなので、定義をしていく必要があります。

産業用の鶏は病気になったら、治療するより淘汰した方が効率がよいのように、困っていても助けられず、殺すのが正みたいな世の中なんですよね。今は、仕方ないんですが。

そのため、データ分析のための烏骨鶏始めましたというタイトルにしました。

飼育に準備するモノ

・ケージ
　50cm×50cmくらいの床面積がストレスなく飼えるかと思います。ウサギ用ケージでOK。
・餌
　鶏用または小鳥用で十分です。
・水
　水道水で十分です。食酢をたまに添加するとよいらしい。
・ヒーター
　30日齢程度までは寒さ（暑さも）に弱いので必要です。
・エアコン
　30日齢以降は暑さに弱くなるので必要です。
・お金
　初期費用1万円、月1,000円程度で飼育が可能です。室内飼いのため、ここまで安くできています。

さいごに

飼ってみて1週間程度です。
もうすでにだいぶ慣れてきており、作業中に肩に乗ってきたり、膝の上で寝ていたり可愛らしいしぐさが見られて癒されます。乗られているときは・・・写真が撮れないのが問題ですね。

動物たちにも幸せに暮らせる世界が、どこにでもあってほしいものです。