アプリケーションエンジニアのためのApache Spark入門を読む

Chapter 5 Spark Streamingによるデータ処理

5-3 センサーデータのストリーム処理(イベント単位)

センサーデータを用意して`/var/log/sensor_data/`にsensor_data.logとして保存しておく
zookeeper,kafkaを起動しておく。
td-agentの`/etc/td-agent/td-agent.conf`をページ100の05-01.confに沿って変更する。

f:id:bitop:20181025094031p:plain
td-agentをrestartさせる。/var/log/td-agent/td-agent.logを確認して動作しているか確認する f:id:bitop:20181025094304p:plain kafkaからデータを取得する。起動させてから約1分待つ f:id:bitop:20181025094352p:plain /var/log/td-agent/pos/sensor_data.posになにが書き込まれているか確認する f:id:bitop:20181025094737p:plain