S3のログをLambdaを使ってEC2を踏み台にしてRedshiftへ送る - 日報 #158

前回の記事から数日経って。
やっぱしLambdaのIPを毎回Redshiftに刺すなんて、危険すぎて微妙だったというオチでした。
というのも、やっぱりRevokeのタイミングが難しく、結構securityの項目に残ってしまったりしちゃって、
結局 0.0.0.0/0 を通すよりほか安定しないという感じでした。
いやはや、マズイです。
やっぱりLambdaのIPを固定するのが最善策、ということで、
すっっっっごい苦しいけど「ちょっとだけ」EC2を使うことに。
要はTunnel-SSHを使って、ポートフォワーディングでRedshiftを叩く設計に変えました。

詳しくはコチラ。
https://github.com/hirayama

いやー、、、悔しいですが安定しました。
ただ固定のポートフォワーディングではどうやらエラーが起きるようで
（結構意外だったのですが、Lambdaは恐らくリソースが余っていれば同じインスタンス内で複数のラムダプロセスを叩くみたい。というのも、固定ポートにして何回か連打すると「そのポート使ってますけど？」エラーが生じたりしたので。）
毎回フリーポートをスキャンして使うように設計してあります。

うちでのラムダ利用はもっと増やしていきたいのですが、
なんかいいアイディアないものかね。。。