2018-11-01から1ヶ月間の記事一覧

「データ分析基盤構築入門」を読む

Appendix B Embulk & Digdag入門 B-2 EmbulkとDigdagのセットアップ java install Embulkのinstall Digdagのinstall example.dig 実行結果

「データ分析基盤構築入門」を読む

6-3 Fluentdの設定カスタマイズ <label>ディレクティブ 6.29図 複数のデータパイプラインを作る設定例 プラグインのflowcounterをinstall 流れてくる(flow)データの個数を数える(counter)、byteを数える count_keysは count,bytes,count_ratio,bytes_ratio,すべてを</label>…

「データ分析基盤構築入門」を読む

6-3 Fluentdの設定カスタマイズ <label>ディレクティブ 6.28図 タグを条件にラベルを付け替えた設定例 dt-agentをリスタート してfludent-catでメッージを送る 送られてきたメッセージをlogで確認</label>

「データ分析基盤構築入門」を読む

6-3 Fluentdの設定カスタマイズ <label>ディレクティブ grepのregexpのところを変更 td-agentをrestartさせメッセージを送る ログをみるためtailコマンドを立ち上げる 表示されたメッセージ</label>

「データ分析基盤構築入門」を読む

6-3 Fluentdの設定カスタマイズ <filter>ディレクティブ 本文97page 図6.23のとうりではうまくいかなかったので以下のように変更 td-agentをrestartし、fluent-catからメッセージを送る errorを含むメッセージのみ表示 confがちゃんと書けているかチエックするのに -</filter>…

「データ分析基盤構築入門」を読む

6-2 Fluentdのセットアップ fluent-catはツールの1つでtcpを使ってfluentdにデータを投げる。fluentdの<source></source>にforwardが設定されていれば データを受信できる。PATHは/opt/td-agent/embedded/bin/ 6-3 Fluentdの設定カスタマイズ <system>ディレクティブ まず<system>に設定する </system></system>…

「データ分析基盤構築入門」を読む

1 章 データ分析の概要 省略 2章 ログデータの基礎 省略 3章 データ分析基盤の構築 省略 4章 データ分析基盤の運用 省略 5章 ログ収集ミドルウェアの紹介 省略 6章 はじめてみようFluentd C:\Users\USER\myproject\vagrant\fluentdで vagrant up vagrant ssh…