Appendix B Embulk & Digdag入門
B-2 EmbulkとDigdagのセットアップ
java install
Embulkのinstall
Digdagのinstall
example.dig
実行結果
「データ分析基盤構築入門」を読む
6-3 Fluentdの設定カスタマイズ
<label>ディレクティブ
6.28図 タグを条件にラベルを付け替えた設定例
dt-agentをリスタート してfludent-catでメッージを送る
送られてきたメッセージをlogで確認
「データ分析基盤構築入門」を読む
6-3 Fluentdの設定カスタマイズ
<filter>ディレクティブ
本文97page 図6.23のとうりではうまくいかなかったので以下のように変更
td-agentをrestartし、fluent-catからメッセージを送る
errorを含むメッセージのみ表示
confがちゃんと書けているかチエックするのに --dry-runを使った
/opt/td-agent/usr/sbin/td-agent --dry-run -c /etc/td-agent/td-agent.conf
regexp1が駄目といっているよう
変更後OKの様子
「データ分析基盤構築入門」を読む
6-2 Fluentdのセットアップ
fluent-catはツールの１つでtcpを使ってfluentdにデータを投げる。fluentdの<source></source>にforwardが設定されていれば
データを受信できる。PATHは/opt/td-agent/embedded/bin/
6-3 Fluentdの設定カスタマイズ
<system>ディレクティブ
まず<system>に設定する
fluentdをリスタート
interruptWorkersコマンドを送信
fluentdの停止を確認
killWorkersコマンドを送信、fluentdの停止を確認
process_nameを設定する前
process_nameの設定
「データ分析基盤構築入門」を読む
1 章 データ分析の概要
省略
2章 ログデータの基礎
省略
3章 データ分析基盤の構築
省略
4章 データ分析基盤の運用
省略
5章 ログ収集ミドルウェアの紹介
省略
6章 はじめてみようFluentd
C:\Users\USER\myproject\vagrant\fluentdで
vagrant up
vagrant ssh
としcentos環境を構築
vagrantfileの設定内容
VAGRANTFILE_API_VERSION = "2"
Vagrant.configure(VAGRANTFILE_API_VERSION) do |config|
config.vm.box = "centos7.2"
config.vm.box_url = "https://github.com/CommanderK5/packer-centos-template/releases/download/0.7.2/vagrant-centos-7.2.box"
config.vm.network "private_network", ip: "192.168.33.11"
config.vm.network "forwarded_port", guest: 9999, host: 8080
config.vm.provider "virtualbox" do |vm|
vm.memory = 4096
end
end
vimをinstall
sudo su
yum install vim
vimの設定、vagrantユーザ、rootユーザーとも同じ設定にしておく
それぞれのhomeフォルダに.vimrcファイルを作る
タイムゾーンがUTCになっているのでAsia/Tokyoに設定する
ちょっと時刻がずれているようなので
NTPサーバを構築する
6-2 Fluentdのセットアップ
curl -L https://toolbelt.treasuredata.com/sh/install-redhat-td-agent2.sh | sh
td-agentデーモンの起動
td-agentの設定編集
サンプルログ送信とログ確認
