機械学習のための「前処理」入門

2.2 欠損値の補完

前行で補完
f:id:bitop:20190623083702p:plain
前後の行で補完
f:id:bitop:20190623083802p:plain

2.4 特徴量の作成・その1

6時間単位の平均
f:id:bitop:20190623084331p:plain
6時間単位の標準偏差
f:id:bitop:20190623084548p:plain

2.5 目的変数の作成

特徴量は各パラメータ(電力とか温度、湿度)の平均・標準偏差とする。6時間単位
目的変数はevent.csvから作る
特徴量行列と、目的変数行列を結合(左)させた行列
f:id:bitop:20190623092401p:plain

2.6 特徴量の作成・その2

スライド窓(6時間)
f:id:bitop:20190623094810p:plain

3 教師データの作成

電力の表示(グラフ化)
f:id:bitop:20190623095604p:plain
異常スコアの可視化
f:id:bitop:20190623102113p:plain

3.3 オートエンコーダの仕組み

オートエンコーダ・ネットワーク
f:id:bitop:20190623102714p:plain
誤差の収束具合を描画
f:id:bitop:20190623102947p:plain
テストデータと出力データの可視化
f:id:bitop:20190623103232p:plain

機械学習のための「前処理」入門

5章 画像データの前処理

1.2 データの読み込みと確認

opencvはすでにinstall済みであった。
f:id:bitop:20190618083401p:plain

1.3 ピクセル値の確認(カラー画像)

f:id:bitop:20190618083449p:plain

1.4 ピクセル値の確認(グレースケース画像)

f:id:bitop:20190618083818p:plain
f:id:bitop:20190618083855p:plain

1.5 ピクセル値の確認(2値化画像)

cv2.THRESH_BINARY
f:id:bitop:20190618084030p:plain
他のオプションも試してみた
cv2.THRESH_BINARY_INV (反転)
f:id:bitop:20190618084207p:plain
cv2.THRESH_TRUNC
f:id:bitop:20190618084318p:plain
cv2.THRESH_TOZERO
f:id:bitop:20190618084408p:plain
cv2.THRESH_TOZERO_INV(反転)
f:id:bitop:20190618084458p:plain

2 機械学習のためのデータ準備

2.2 モルフォロジー変換

収縮
f:id:bitop:20190618092616p:plain
膨張
f:id:bitop:20190618092705p:plain
オープニング
f:id:bitop:20190618092932p:plain
クロージング
f:id:bitop:20190618093027p:plain

2.3 ヒストグラムの作成

f:id:bitop:20190618093136p:plain