AmazonLinuxでfluentdを使ってApacheログをDynamoDBとmongoDBへ転送する
Published at February 21, 2015 · 3 min read
両者を比較する機会があり、ApacheのログをDynamoDBとMondgoDBに転送してみました。 DynamoDBへの転送 fluentdのインストール 転送手段はfluentdでと思ったら、http://docs....
AmazonLinuxでfluentdを使ってApacheログをDynamoDBとmongoDBへ転送する
Published at February 21, 2015 · 3 min read
両者を比較する機会があり、ApacheのログをDynamoDBとMondgoDBに転送してみました。 DynamoDBへの転送 fluentdのインストール 転送手段はfluentdでと思ったら、http://docs....
Apacheのアクセスログの日本語エスケープが適当な気がする
Published at April 14, 2014 · 1 min read
Apacheのアクセスログを以下のようなLTSVのフォーマットで管理しています。 LogFormat "host:%h\tforwardedfor:%{X-Forwarded-For}i\tident:%l\tuser:%u\ttime:%t\tmethod:%m\tpath:%U\tquery:%q\tstatus:%>s\tsize:%b\treqsize:%I\treqtime_microsec:%D\treferer:%{Referer}i\tua:%{User-Agent}i" combined_ltsv LTSVはそのままfluentdに渡すことができますし、コマンドで見やすく整形したりしやすいので便利です。...
fluentdからElasticSearch+kibana3に転送した文字列が分かち書きされるのを回避する
Published at April 6, 2014 · 1 min read
fluentdからElasticSearch+kibana3に文字列を転送すると、最初に必ず分かち書きの問題で困ることになると思います。 ここでは分かち書きの回避について書いてみます。...
AmazonLinuxにfluentdとElasticSearchとkibana3を入れてApacheのログを可視化
Published at February 9, 2014 · 1 min read
ElasticSearchはJSONでデータをPUT/GET可能なAPIを持つLuceneをベースとした全文検索エンジンです。ElasticSearchのフロントエンドにKibanaがあり、データを抽出してグラフィカルに表示することができます。 fluentdはもともとJSONでデータを扱っていますので、 fluent-plugin-elasticsearchというプラグインを使うとfluendで集めたログをElasticSearchへ転送するということが簡単にできます。...