俺の報告

RoomClipを運営するエンジニアの日報(多分)です。

TensorFlowを使ってRoomClipの部屋診断 - 日報 #159

すごい久しぶりの更新です。 さすがにこんだけブログを書いてないと、かなり敷居が高くなってしまうものなのですが、今日はちょっとお土産ができたのでそれでご勘弁いただこうかと。 巷じゃDeep Leaningってなものが流行っているそうですね。 続々と論文がで…

S3のログをLambdaを使ってEC2を踏み台にしてRedshiftへ送る - 日報 #158

前回の記事から数日経って。 やっぱしLambdaのIPを毎回Redshiftに刺すなんて、危険すぎて微妙だったというオチでした。 というのも、やっぱりRevokeのタイミングが難しく、結構securityの項目に残ってしまったりしちゃって、 結局 0.0.0.0/0 を通すよりほか…

S3のログをLambdaを使ってRedshiftへ送る - 日報 #157

2015年12月19日 (追記) こっちの方法のほうが安定します。 久しぶり世界。 最近KinesisだのLambdaだのもうなんだの、いっぱいAWS界隈で便利げなものが活発化してきて、 僕も乗り遅れんと必死なわけです。 とはいえ、RoomClipとして「便利」でなければ意味も…

Slack上で入力したメッセージを元にRedmineのチケットを自動発行させた話 - 日報 #156

今日は平山じゃないよ! N氏の日報だよ! この記事を読んで下さっている皆様の会社では、メッセやタスク管理の環境はどのような体制で組まれているでしょうか? 弊社では、メッセでのコミュニケーションをSlackで行い、タスクに関してはRedmineで回していま…

GoogleAnalyticsをアドブロックされた時の対策例 - 日報 #155

iOS9.0からSafariでアドブロック機能が追加されたとかで、 各所盛り上がりを見せております。 特に問題なのはGoogleAnalyticsによる計測までブロックされている!という衝撃的事件でございまして、 広告以外の分野まで飛び火して大盛り上がりの様子です。 Ad…

Codeigniterで複数アプリケーション - 日報 #154

今日はサクッと。 PHPのフレームワークのベンチマークを久々調べてみましたら、 http://blog.a-way-out.net/blog/2015/03/26/php-framework-benchmark/ こんな素晴らしいサイトが。 CodeIgniterは非常に優秀な成績を納めておりまして、 嬉しい限りです。 Lar…

ベイズの定理の簡単な説明 - 日報 #153

機械学習周りの調査をしていると、 ベイズ推定の話がしょっちゅうでてきます。 (と同時に最尤法の話もでてきます。) 前職時代にMCMCを使ってガリガリベイジアン推定をしていたこともあり、 この手の話には馴染みがあるのですが、 しっかりと整理したことが…

TCPシェイクハンドとKeepAliveについて - 日報 #152

3ヶ月間ブログ休んでましたが、 まぁそういうこともあるよね。 大事なことは続けることだと思いますんで、グッと面の皮を厚くして今まで通りいきますね。 さて、 色々な求人媒体様ならびにFBでもさかんに言ってますが、 RoomClipのエンジニア大募集中でござ…

エフェメラルポート出現に見るGoogle検索ってすげぇなって思うこと - 日報 - #151

ネットワークACLの設定をしていたエンジニアから、 「ふえぇぇ…wgetできないよう…TCP80も開けているのにぃ…」 との報告を受けて、なんだとう!となったわけです。 とにかくAWS公式を読みましょう。 http://docs.aws.amazon.com/ja_jp/AmazonVPC/latest/UserG…

Arduinoでエアコンのリモコンを再現す。 - 日報 #150

梅雨入りしたそうですが、 日々暑いです。 今日はもう疲れたので、趣味のお話。 弊社オフィスはペッカペカで至極快適なのですが、 1個だけ不満がございます。 タイトルですこし触れましたが、、、 弊社は合計4つほどエアコンがあるのですが、 リモコンが1つ…

TCPソケットをつかって簡単なサーバクライアントプロセスを作る - 日報 #149

WebRTCが巷で流行っているそうです。 まだほとんど触っていないので詳細は分かりませんが、 リアルタイムコネクションとおっしゃっているのだから、 きっとなんかリアルタイムなコネクションがあるのでしょう。 そうなるときっとsocket系の話になるのでしょ…

innodb_stats_persistent_sample_pages と innodb_stats_transient_sample_pages の違い - 日報 #148

思えば「Windows 95」という地の果てのようなOSから、 色々なバージョンのOSを使ってきましたが、 最近では 「バージョンアップってなんかワクワクするよね」 という感覚がやや薄れてしまったように思えます。 あくまで個人的な話ですが。 今日はMySQL5.5か…

本郷で働くエンジニアの一日 - 日報 #147

地震こわいですね。 地震も怖いですが、CloudWatchからのアラートも個人的には結構怖いです。 今日は基本に立ち返り、「日報」をしてみようと思います。 朝。 見るべき数値をそーっと確認。 開発陣から「Fluentdとまってね?」と言われて絶望的な気持ちにな…

PHPのincludeとrequireの違いと使いドコロ - 日報 #146

fluentdのno nodes are availableがなんかよく分からんタイミングで出現する時は、 ハートビートのためのUDPが(なんかしらんけど)ドロップするのが原因の1つみたいなので、 UDPでのハートビート用のデータを増やすか、 TCPでハートビートするよう設定する…

Google Analyticsでみる数値運動の周期性をフーリエ解析で眺める - 日報 #145

Google Analyticsのアプリが綺麗になりましたね。 Web Master Toolも一部リッチになったみたいで、 益々世界はデータを無視する言い訳ができないようになってきました。 データアクセスコストが低いなら、そりゃ見るべきです。 さて、 ということで本当毎日…

MySQLのインデックスの運用 - 日報 #144

高速でGWが過ぎ去りましたが、日々充実しております。 ありがたいことですね。 さて、表題の通りMySQLのインデックスについて少し触れたいと思います。 というのも、とあるクエリが「インデックスを使ったり使わなかったりする」というような現象にでくわし…

スループットとレイテンシ - 日報 #143

日々色々なことが起きております。 スループットとレイテンシについて、ちょっと考える機会があったのでさわりだけ共有。 「スループットとレイテンシ」と聞くと、、、 なんだか愉快な小動物の兄弟がチーズ工場で大立ち回りをするような欧風昔話タイトルのよ…

オートスケーリングで気をつけること3つ - 日報 #142

AWS

さくら自作CDNが回りだして非常にいい感じだったのですが、 まだまだ課題は山積みです。 帯域制限、LBセッション、各サーバCPUという一般的なボトルネックに加えて、 NFSというボトルネック箇所もあり、 今後の展開は中々香ばしいものになりそうです。 今日…

bashでオプション取得 - 日報 #141

新しいオフィスはとてもいい感じです。 こんな雰囲気。 机がグッと広がりましたが、 さっさと狭くなるように人員増強、スケールアップしていきたいと思います。 ほいでほいで。 コードをシコシコ書く時間というのが減ってきておりまして、 (勿論まだ膨大に…

ハイフンとアンダースコアのSEO効果とコード上の対応 - 日報 #140

明日オフィス引っ越しでございます。 さておき。 SEOについて色々と調査し施策を突っ込んでおります。 色々と仮説は出てきていますが、 如何せん「なんもわかんねぇなぁ」という世界観で、 ほとほと困り果てております。 とにかく施策を小さく試して反応を見…

リクエストに対してレスポンスを返す、って難しいね - 日報 #139

今日はただの日記です。 技術的っぽいタイトルは詐欺です。 「相手の身になってサービスを提供する」というのは難しいんだなぁという体験をしたのでそれについて。 とある日、警察官を名乗る方がボクんちにいらっしゃいまして、 「災害時の連絡網などに使う…

slackにメッセージをpostするシェル - 日報 #138

何でもかんでもslackにぶち込みやがって! でもそれでいい〜んです。 今日はそんな話。 Notification系の情報はもうSlackに集約していいと思います。 なんせ便利だし。 ということなので、まずbashでslackポストが出来るようなシェルを手元にもっておきます…

今更聞けない、べき則、ロングテール、ジップ則について - 日報 #137

日々是勉強でございます。 RoomClipに対するアカデミックな側面からのアプローチも、 少しずつ形になりつつあります。 ということで今日はそんな話。 これ以降このブログでも乱発されるワードがあるので、 まずそいつについて少し。 べき則とかいうワードが…

GoogleAppScriptで添付ファイルをS3へアップロード - 日報 #136

何でもかんでも自動化というのが世界の要望みたいです。 まぁいんでないすかね、自動化。 概ね賛成です。 僕は自動化に対して意識が低かったのですが、 この姿勢はそろそろ修正しないと駄目ですね。 言い訳は「面倒」と「怖い」です。 「何が起こるか怖いか…

wordpressのwp_optionを直いじり - 日報 #135

なんかえれぇ疲れてるけど少しずつ進展がある日々で中々刺激的です。 フットサルやったらもんすげー足いたい。 それで。 wordpressをいじる作業が一旦終わり、 SEO的な調整最適化に入る前に、 ちょっと色々とチップスが発生したので共有を。 wordpressを無理…

PlanDoCheck IT NOW!! - 日報 #134

どの辺が日報なんだよ。 週報になってんじゃねぇかよ。 まったく、何してたんだよ仕事だけどよ。 なんかむちゃくちゃやることあるけど、 楽しい毎日です。 言うは易し行うは難し、略してPDCAですが、 自分の食う飯すらPDCAできない奴が、 属人的力でもって組…

寝る前にただ書いた文章 - 日報 #133

Wordpressというジャングルに迷いこんだ結果、 「もうワケワカランからここに村を作って自活します」的なコードを書くという結論に至りました。 数多あるプラグインコードは足の裏よりどうでもいいと切り捨てて、 とにかく途中でバイパスした自作スクリプト…

ワークフローから数値管理、そして数値計画へ - 日報 #132

なんかすげぇやることいっぱいだよ! 当たり前だけど! 最近シコシコと夜に1人作業をしております。 メインの開発ラインと数値管理や経営課題に8割をあてて、 残り2割程度でちょっと思いついたことをやっております。 何かというと。 今年の初めからちょいち…

GAで十分なはずなのにAPI使うのよ、なぜ? - 日報 #131

GAは僕の知る限りトップクラスに使い易く、かつ取得情報量が多い「無料の」アクセスログサービスです。 度肝抜かれるほど便利で充実したコンソールを使えば、 自分がコーディングしなければならないことなんて想像できないくらい複雑な情報を取得できます。 …

CDNをさくらクラウドで構築する - N氏の日報 #2

今日は僕の隣に鎮座DopeしているN氏の日報です。 RoomClipにさくらでCDNを構築した敏腕エンジニアのN氏です。 全三回程度で、ウチにCDNが導入される様子をご覧頂きます。 では、はじまりはじまり。 - 「男のCDN烈伝」第1話 搾取され続ける人生 - どうもこん…

ApacheユーザでPHPからsudo権限のシェルをたたく - 日報 #130

さて話すことないので、 お互い(?)のためにもさっさと終わらせましょう。 注意深く使用すればPHPスクリプトからシェルを叩くというのはとても強力です。 Apacheモジュールで起動したPHPスクリプトから叩ければなお可能性は広がります。 もちろんセキュリ…

意思決定フレームワークでいいのない? - 日報 #129

どんなレイヤーでも意思決定はありますよね。 戦略決定フェーズはもちろん、 実装フェーズでも意思決定の連続なわけです。 そして「よりよい」意思決定のためには、情報が必要です。 この意思決定に必要な情報の「適度な」量と質がイマイチ分かりません。 例…

CodeigniterのPDOドライバで安全にDB再接続 - 日報 #128

有名なフレームワークを使っていて、 なんか変だなぁと思う時は大体自分が変な時なんですが、 極稀に「やっぱり変だなぁ」ということもあります。 今日はそんな箇所があったので少しご報告。 バージョン2.2.1がリリースされ、さらに3.0もRCとなってにわかに…

PHPでの日付計算はDateTimeで - 日報 #127

コーディングしている最中に、 どこでストレスを感じますか? ストレスって言っても「こんな書き方しやがって!」的なものではなくて、 苦手意識というか、心理的ハードルが高くなる瞬間のことです。 例えば、僕は正規表現でのmatchパターンを書く時は結構ス…

td-agentのlogをslackで監視 - 日報 #126

続々と日本中から花粉が集まっております。 集合場所は俺の粘膜だそうで、 村を上げての大祭りです。 さて、本日はFluentd先生のお話。 せっかくfluentd使ってログ取得しているんだから、 td-agent自体のログもfluentdで回収したいものです。 というより、fl…

このポストは意味無いです。 - 日報 #125

この状態で花粉以外の話をしろという方が無理あるだろう。 薬の飲み過ぎで乾燥した上に、鼻をかみまくったせいで、 若干血の味の匂いがし始めた鼻腔の季節になりましたね。 嫌いじゃないですよ、鉄の匂い。 さて、本日はガチャガチャとタスクキルをしており…

MySQLでバージョン形式を認識する関数 - 日報 #124

花粉がどえらいことになっとるようです。 僕のCloudWatchはずーっとAlert出しっぱなしです。 対策は修正コードをpatchすればいいのですが、 このpatchは有効期限があって定期的な運用が必要になります。 だるいわぁ。。。 なんか大量の花粉対策薬を事前に腹…

PHPで手軽にページネーション サンプルコード - 日報 #123

ページネーションって面倒ですよね。 きっとよいプラクティスがあるはずですし、 色んなフレームワークに既に入っているものかと思います。 ですが、毎度毎度自分で書いている気がしますのは何故でしょうか。 なんか要求と合わない実装が多いんですよね、、…

季節とか変動要素っておしなべられないかね - 日報 #122

引き続き日々作業でございます。 特に報告することもないので、今日は形骸日報。 飼ってるインコのお千代さんが随分沢山フケを飛ばすようになりました。 季節の変わり目なんでしょうか。 僕の鼻がグチョグチョなのも季節のせいですしね。 前回も少し触れまし…

Product Advertising API の SOAPリクエスト aws:Client.RequiresSSL エラーについて - 日報 #121

さて金曜日になりました。 RoomClipは曜日変動が微妙にあるサービスなのですが、 想像しやすい事象とはいえ、中々この曜日変動というのは不思議なものだと感じます。 1週間というループが仮に10日だったら、10日なりの変動周期になっていただろうと考えると…

突発案件が多いとケアレスミスが増えますよ - 日報 #120

PHP

AM 3:30くらいの静寂が永遠だったらな、 なんて思う時点で腰が引けてますよね。 ここんところ突発案件ばかりでちょいとパッツパツでした。 全項目において知見が一応ありますので、 ゆるやかーに共有していければいいと思っています。 ということで、ここ3日…

Fluentdに巨大chunkがあって困っている - 日報 #119

非常に歯がゆい状況です。 現在複数のサーバからfluentdにてアクセスログのようなものをログサーバへ送信し、 受信したログサーバはS3経由でRedshiftにデータ送信をしておるのですが、 なぜだか分からない理由でログサーバからS3への送信が滞っておりました…

AWSでコスト計算する時はData Transfer Out Byteが重要です - 日報 #118

お金の話です。 AWSの。 一般的なアプリのサービスの場合、 サーバサイドのメインコストは下記の3つです。 RDS固定費 EC2固定費 S3固定費 転送料金 使っていれば大物コストになりうるのはRedshiftやDynamo、CloudSearchあたりだと思いますが、 まぁ一旦ここ…

ロジスティック方程式を使った適当な数値シミュレーショングラフを作ってみる - 日報 #117

最近めっきりと技術的な内容がなくなってきております。良くない傾向です。 作業的なコーディングをしなければならない時はもちろんありますが、 かといって新しい知識のインプットや、 試行錯誤のような脳の運動を絶やしてはならないわけです。 数値シミュ…

グロースハックはデータ観察が大事という当たり前のこと - 日報 #116

お休みを頂いておりました。 残念ながら、飽きたとかじゃないんです。 続きますよ、しつこくしつこく。 とか言っておきながら、休み明けで話すことがないので、 グロースハックとインコについて。 ウロコインコという南国の鳥を飼っているのですが、 僕はど…

管理・計画について、ボンヤリと - 日報 #115

管理や計画というのは何か、と最近よく考えます。 管理する、計画する、とは何をすることで、 何にコストを払い、 何を得ているのかが、しっかり分かっていないといけません。 しかしこれがなかなか、難しいようです。 うちのオフィスが入っているビルが全面…

広告ついて注意していること - 日報 #114

目がシパシパしますが、もう少しがんばりましょう。 今日は表題の通り、広告について。 もっと言うと、インターネット広告でも最も原始的な形式である、 バナー広告・いわゆる純広告について少し思うところを。 インターネット上にあるサイトAがありました。…

microインスタンスのCPU使用率はCloudWatchを信じろ - 日報 #113

解せぬ解せぬと思っていたことがようやく分りました。 嬉しい半面、異常に時間をロスしたことに地団ステップを踏まざるを得ません。 結論から先に書きます。 しかも箇条書きで。 t1.microのtopコマンドやvmstatでのCPU使用率は信じるな t1.microのCloudWatch…

MBAのバッテリーの交換数理 - 日報 #112

書きだそうとして書くことないことにジンワリ気づいたので、 さっさと終わらすパターンの日報にします。 僕のMac Book Airのバッテリーが、 交換修理という状態になってるのですが、 これって放置してたらまずいの? Now絶賛バッテリー起動中なんですが、特…

コーヒー好きになるためにやること - 日報 #111

飼ってるインコが「オハヨウ」と言うようになりました。 多分。 もしかしたら「おわあぁよ」かもしれませんが。 聞く人によっては「あぁあぁよ」かもしれませんが。 さくらでCDN構築、 SQSで大量安定即時Push送信などなど、 サーバサイドが慌ただしくなって…