アプリケーションエンジニアのためのApache Spark入門を読む

Chapter 4 Fluentd,Kafkaによるデータ収集

4-4 データ収集フローの構築

本に従ってFluentdの設定ファイル`/etc/td-agent/td-agent.conf‘を書き換え
同じく本に従ってkafka側の設定

f:id:bitop:20181021120920p:plain

td-agent.confを変更したのでFluentdを再起動`systemctl restart td-agent`
kafkaの`cpnsole-consumer`を起動(既にデータを受け付けている)

f:id:bitop:20181021122653p:plain

curlでデータ(sensor-data)を送信(port=9999)

f:id:bitop:20181021122809p:plain

データはほぼ60secごとに送られてくる。変更が可能なのか調べた。
flush_intervalというパラメータを設定すればよい(デフォルトは60sec)
これを10にするとほぼ10secで送ってくる

f:id:bitop:20181021123003p:plain

4-5 実運用に向けて

Pass