アプリケーションエンジニアのためのApache Spark入門を読む

Chapter 5 Spark Streamingによるデータ処理

5-3 センサーデータのストリーム処理(イベント単位)

kafkaからのセンサデータ取得方法(05-04.py) f:id:bitop:20181025182011p:plain
このままではjsonの文字列を表示しているだけなのでカラムとして認識させるためパースさせた結果(05-05.py) f:id:bitop:20181025182248p:plain
データの変換方法
f:id:bitop:20181025182418p:plain
f:id:bitop:20181025182444p:plain

表示 f:id:bitop:20181025182639p:plain
f:id:bitop:20181025182710p:plain