自作サーバカンファレンスに参加してきました
いやー、2時間ぶっ通しで自作サーバの話ということでかなりボリュームがありました。箇条書きで全部まとめようと思ってメモしてたんだけど、無理でしたorz後半でバテてしまった。
資料はおそらく後日それぞれ公開してくれるであろうということで、気になる方はそれぞれの発表者の方をチェックするとよいのではと思います。
メディアの記事もリンクしときます。
というわけで簡単なまとめというかメモ(ほとんど自分用)。
プログラム
- 19:15 オープニング
- 田中慎司(id:stanaka,twitter:@stanaka)
- 19:25 トーク#1 はてな
- 吉田晃典(id:marqs)
- 19:45 トーク#2 pixiv
- 神薗竜太(id:kamipo)
- 20:05 トーク#3 CyberAgent
- 桑野章弘(id:akuwano)
- 20:25 トーク#4 Cerevo
- 20:45 トーク#5 チームラボ
- 21:15 カンファレンスクローズ
敬称略
はてな
プレゼン動画：はてな, 2009/11/25 自作サーバカンファレンス rakuten_tech on USTREAM. Computers
書いてたデータが飛んだので途中から(-_-;)
- 電源スイッチ
- プリント基板業者に依頼して一括作成
- ユニバーサル基盤使用してるよ
- アイドル時0.5A
- 負荷時1.1A
- 1電源あたり15台
- 1ラックに45台
- 用途
- アプリケーションサーバ構成
- マザー：DQ45CB
- メモリ：8G
- HDD：2.5インチHDD
- マザー搭載のAMT(IPMIっぽいやつ)でリモートで電源on/off
- DDR2メモリ高騰してるけど買いだめしてるよ
- アプリケーションサーバ構成
- ストレージサーバ
pixiv
イラストコミュニケーションサービス pixiv(ピクシブ)
プレゼン動画：pixiv, 2009/11/25 自作サーバカンファレンス rakuten_tech on USTREAM. Computers
- 全部自社サーバールームで動いてる
- 旧型はホームラックに直置きして、パーツの固定もされていなかった
- 新型はベニヤの上に固定してる
- googleがマジックテープ使ってたからガムテープも使ってるよ
- サーバルームが暑いからエアコン導入(14kw 6馬力)
- 現在170台で125A使用。1台あたり0.7〜0.8A
| 電気代 | |
|---|---|
| 07年10月 | 91666円 |
| 08年10月 | 175696円 |
| 09年8月 | 312226円 |
- ビル停電なし。地震対策なし。防火対策なし。
感想
自社サーバルームはうちでもやってるけど、今後DCに移転する。
うちもPCサーバ中心だけど160台ぐらい稼動してて電気代とか似たような数字。
家賃あわせるとDCの方が安いんだよなーと。停電もあるし、これが一番めんどくさい。
災害対策ないのはpixiv規模のサイトでどうなのとは思った。
家事とか起こしたらサービスできないどころか補償問題とかにもなるかもしれないし、すべてが吹き飛ぶ可能性がある。そのあたりはちゃんと考えておいた方がいいんじゃないかなぁ。
サイバーエージェント
アメーバピグ｜ 自分だけのアバターでチャットやきせかえを楽しめるAmebaの仮想空間
プレゼン動画：サイバーエージェント, 2009/11/25 自作サーバカンファレンス rakuten_tech on USTREAM. Computers
- 現在200台前後稼動中
- すべてmini-ITXで統一して高密度に集積している
- アクリル板を使用している(業者発注)
- 固定はネジ止めと両面テープ
- 電源はボールペンでショートさせてるのがほとんど
- 6U16台単位で1ラック最大96台
- AtomとQuadの使い分け
- Quad構成
- DG41MJ
- Core2Quad 8400s
- ファン：DynatronT135
- 2Gメモリ2枚
- ATX200w電源(変換効率75%以上)
- Atom
- D945GCLF2*4。CPUはボード一体のAtom330
- 2.5インチHDD
- QuadはwebサーバやAPIサーバなどバランサで負荷分散される、CPUパワーを要するもの
- AtomはKVS(Key Value Store)の分散KVSノードに使用。マスターはベンダーのサーバ使ってる
- その他
- 常に同じ機材が入手できるわけではないので無駄が出る
- HDDは100台ぐらいまとめてかってる。というかまとめて買えるディスクを使ってる。
- 組み立てに個人の力量が問われる
- サーバはタグVLANで管理
- ベンダサーバとは住み分けして比べない
- 課題
- 耐震
- 廃熱
- 現在は前面背面両側から吸気してるので廃熱が課題（両サイドへ排気）
感想
画像を見た感じ集積度がすごかった。縦にラックされていてブレード見たいな感じでした。
Atomをうまく使ってるなーと思った。
アクリルはいい感じだ。参考にしよう。
CEREVO
株式会社 CEREVO
プレゼン動画：Cerevo, 2009/11/25 自作サーバカンファレンス rakuten_tech on USTREAM. Computers
初耳の会社名だった。CEREVO LIFEというのがテーマらしい。画像を自動でサーバにアップしてメールでそのまとめを通知してくれるらしい。ユーザーはそれをブログやSNSに振り分けて公開するとか。
ハードウェア(カメラ？)も販売するらしい。
- 画像扱うからストレージ容量いる
- 画像加工もするからCPUパワーもいる
ということでEC2はストレージ高いから自作
感想
ラックをしっかり自作していたのですごかった。
picoPSUは面白いと思った。電源に工業用の電源を使っていて5年保障らしい。
こだわりは徹底した省電力とのことで、うちとは大違いだ。省電力とかもちゃんと考えないとね(-_-;)
チームラボ
オモロ検索エンジン SAGOOL サグール
次世代動画検索サービス「サグールテレビ」
プレゼン動画：チームラボ, 2009/11/25 自作サーバカンファレンス rakuten_tech on USTREAM. Computers
- 自作金属ケース
- 漏電してケースとラック触ると感電とかあった
- 漏電対策してたら熱のトラブルが発生した
- データセンター8ラック(2880万/年)を4ラック(1440万)にしたがまだランニングコストが高い
- サーバーオフィスを作る
- 家賃15万
- 回線4つ 5万
- 電気代20万
- 月額40万で年間480万になった
総括
自作サーバの話オンリーで堪能しました。みんなすごく楽しそうで、その気持ちはすごくよくわかる。
データセンターのラッキングの画像とか見てると、うちでも将来的にはやはり取り組みたいと思う。実質このあたりは自分一人しかやれる人間がいないのであきらめかけてたけど、いい刺激になった。
ただ今回思ったのは、どの会社も大規模サービスのスケールアウトとしての自作サーバの位置づけだなーということ。
うちは数十の小規模なサービスがそれぞれ独立して動いていてDBも含めて全部1台構成になっている。それを自作サーバにしてハードウェアの信頼性の問題でトラブルが起こったときにサービスが落ちてしまう。そのあたりの冗長化の問題や、保守する人のハードウェア知識のレベルの問題がクリアされないと難しい。メールサーバあたりから取り組んでみるしかないか。
まあそれはともかく、今回のカンファレンスを開いていただいた関係者の方々にこの場でお礼をいわせていただきます。
いい勉強になりました。また来年もお願いしますm(_ _)m
[09/11/26追記]
- 各プレゼンの動画リンク追加
[09/11/27]
- BB Watchリンク追加
- CNET Japanリンク追加
