2018-10-25から1日間の記事一覧
Chapter 5 Spark Streamingによるデータ処理 5-3 センサーデータのストリーム処理(イベント単位) kafkaからのセンサデータ取得方法(05-04.py) このままではjsonの文字列を表示しているだけなのでカラムとして認識させるためパースさせた結果(05-05.py) デ…
Chapter 5 Spark Streamingによるデータ処理 5-3 センサーデータのストリーム処理(イベント単位) センサーデータを用意して`/var/log/sensor_data/`にsensor_data.logとして保存しておく zookeeper,kafkaを起動しておく。 td-agentの`/etc/td-agent/td-age…