アプリケーションエンジニアのためのApache Spark入門を読む

Chapter 4 Fluentd,Kafkaによるデータ収集

Chapter 4 Fluentd,Kafkaによるデータ収集

4-3 データ収集詳細 - Apache Kafka詳細

kafkaのinstall
本の通りのurlでは、何故か接続できなかったので本家に行ってdownload

kafka.apache.org

Zookeeperの起動
/opt/kafka/bin/zookeeper-server/start.sh -daemon /opt/kafka/config/zookeeper.properties 
Kafkaの起動
/opt/kafka/bin/kafka-server-start.sh -daemon /opt/kafka/config/server-properties  
この２つは仮想環境を停止・再起動したら止まってしまう。

producerからのメッセージをコンソールへの出力させる準備(page 62記載)
/opt/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic sample-topic --from-beginning
(本ではportを2181となっているが 9092を指定)
表示用プロンプトが立ち上がると書いてあったがプロンプトは立ち上がらなかったがリスリング状態にはなった。

受信の準備ができたのでproducer側からtopicを送る
/opt/ kafka/bin/kafka-console-producter.sh --broker-list localhost:9092 --topic sample-topic
送信プロンプトが立ち上がり送信可能状態となった