論文メモ Finding a Needle in Haystack: Facebook's Photo Storage

Finding a Needle in Haystack: Facebook's Photo Storage
画像ストアについて Facebook の論文を流し読みしました。

ざっくりいえば NFS 上に Haystack システムを構築しており

Haystack Directory
Haystack Cache
Haystack Store

がコア。

Cache はブラウザ等からの画像の Store へのリクエストのキャッシュをためておく。
Store にデータが連なって保存されており、それを検索する index ファイルがある。
Directory は Store の論理ボリュームを決定する。

ファイルシステムは XFS を利用している。

なおキャッシュは Haystack のキャッシュだけでなく Akamai 上の CDN にも設置しておりそちらで基本的にはさばけるが、データはロングテールなので CDN だけに頼った形ではさばけない。
ので Haystack の登場というわけ。

ちと miruco の画像保管方法に困っており、
関連論文がないかなーとちょっとみていた。

あまりに大規模なので参考にならないかなと思ったけど Haystack Store の部分についてはちょっと興味深かった。
つらねて画像を保存するというアイデアとはなるほど。
自分なりに実装してみよう。