Fluentdに巨大chunkがあって困っている - 日報 #119

非常に歯がゆい状況です。
現在複数のサーバからfluentdにてアクセスログのようなものをログサーバへ送信し、
受信したログサーバはS3経由でRedshiftにデータ送信をしておるのですが、
なぜだか分からない理由でログサーバからS3への送信が滞っておりました。

もちろん優秀なFluentdのことなので、
bufferプラグインが正しく働き、各サーバからのログ情報はchunkとして残っております。
ですが、1chunkのサイズが大きかったせいで、どでかいchunkがキュー状態のまま停止してしまったのです。

送りきれないで残っているbufferファイルを特設S3にぶちあげてやろうとも思ったのですが、
さすがにバイナリエンコードされてしまっているので、なんとも出来ない状態です。

とにかく、
http://qiita.com/tatsu-yam/items/bd7006e483f3b3c64309
ここの素晴らしい説明を読んで理解して、
http://togetter.com/li/651190?page=2
ここの議論を参考にしつつ、
https://gist.github.com/sonots/c54882f73e3e747f4b20#bufferedoutput-%E3%81%AE%E3%82%B9%E3%83%AC%E3%83%83%E3%83%89%E7%8A%B6%E6%85%8B
ここでしっかりとコードリーディングが必要になりそうです。

あぁ！さっさと送りきってしまいたい！！！