2018-10-25から1日間の記事一覧

アプリケーションエンジニアのためのApache Spark入門を読む

Chapter 5 Spark Streamingによるデータ処理 5-3 センサーデータのストリーム処理(イベント単位) kafkaからのセンサデータ取得方法(05-04.py) このままではjsonの文字列を表示しているだけなのでカラムとして認識させるためパースさせた結果(05-05.py) デ…

アプリケーションエンジニアのためのApache Spark入門を読む

Chapter 5 Spark Streamingによるデータ処理 5-3 センサーデータのストリーム処理(イベント単位) センサーデータを用意して`/var/log/sensor_data/`にsensor_data.logとして保存しておく zookeeper,kafkaを起動しておく。 td-agentの`/etc/td-agent/td-age…