Chapter 5 Spark Streamingによるデータ処理 5-1 ストリーム処理とは？ データが生成されてから直後の数秒以内にレスポンスよく処理をストリーム処理と呼ぶ バッチ処理とストリーム処理の結合=マイクロバッチ処理 5-2 Spark Structured Stremingによるストリ…

Chapter 4 Fluentd,Kafkaによるデータ収集 4-4 データ収集フローの構築 本に従ってFluentdの設定ファイル`/etc/td-agent/td-agent.conf‘を書き換え 同じく本に従ってkafka側の設定 td-agent.confを変更したのでFluentdを再起動`systemctl restart td-agent` …

Chapter 4 Fluentd,Kafkaによるデータ収集 Chapter 4 Fluentd,Kafkaによるデータ収集 4-3 データ収集詳細 - Apache Kafka詳細 kafkaのinstall 本の通りのurlでは、何故か接続できなかったので本家に行ってdownload kafka.apache.org Zookeeperの起動 /opt/ka…