石狩DC外見
やっと、その4。
本題のデータセンター見学です!
ここで基本的なデータセンターの概要を見てみたいと思います。
・延床面積 11,392㎡
・敷地面積 51,448㎡ (山手線の内側の半分ぐらい)
・建築面積 7,091㎡
・受電電圧 66,000Ⅴ(特別高圧)
・供給電力 標準8kVA/ラック(最大15kVA/ラック)※1号棟
→kVAの単位についてはコチラ。
・最大の特徴 北海道の涼しい気候を利用した外気での冷却 →省エネでエコ
(旅のしおりより)
その3でのいしかり丼を食してからの出発です。
今回見学したのは2年前に開所した1号棟ともうそろそろ利用される2号棟です。
第1期工事では1,2号棟が建設され、最終的には8号棟までできて合計で4000ラックのデータセンターとなるそうです。
全て建設されたらまた見に行きたいです。
おら、すっげーわくわくすっぞー。
電気周りについて
カタカナでかくと、「ハイ ボルテージ トランスフォーマ ルーム」やばカッコイイ!!!
法律の関係で中に立ち入ることはできません。
なので窓の外側から覗き見ます。
ここには電力会社から直接引き込んだ6万6000ボルトの交流電気がきています。
30,0000kVAのトランス(2系統)だそうです。
これをこの部屋で6600ボルトの電圧まで落として高圧電気室に向かいます。
特別高圧電気室で6600ボルトの電圧に落とされた電気がきています。
ここでさらに400ボルトの電圧までさげて各サーバルームのUPSに向かいます。
列内の話は2日目のオプショナルツアーの記事で書こうと思います。
セキュリティ対策はバッチシ、堅牢な入室ゲート
ある特定の操作をすると入室できる仕組みです。
共ずれ対策で一人が通るぐらいのスペースしかありません。
LEDのチカチカがかっこよいです。
これぞサーバルームって感じですごく良いところでした。
UPS
UPSは分散配置でサーバ室のラック列ごとにUPSがあります。
高圧電気室で400ボルトに落とされた電気がきています。
ここらでPDUにより230ボルトに落とされてサーバ本体へ給電しています。
一部100ボルトでしか利用できない機器もそこらのUPSでカバーできるらしいです。
ここでサーバに電気が送られるまでをまとめてみた
電力会社からの引き込み6万6000ボルト→特高電気室、6600ボルトへ降下→高圧電気室400ボルトへ降下→サーバ室UPSで230ボルトへ降下→サーバ本体
といった感じですかね。
4kVAコンセントボックスかな?もしかしたらHVDCの電源てきなのかも。
そんな気がするけど違うかもしれません。DCて書いてあるので、HVDC関係の電源かもしれませn。
違ってたらごめんなさい。
4kVA用のコンセントボックスが2~3個あります。
家庭用100Vのコンセントとは形状がまったくことなります。
Bゾーン・直流給電(HVDC 12V方式)サーバ
このラックの印字がかっこよい。
従来のAC方式は電力効率が70~80%にくらべ、このDC方式の電力効率は90%以上。
AC方式と比較して10~20%の電力量を削減できるそうです。
配線
天井が高く、配線はほとんど上部に設置されていました。
冷却周りについて
外気温が非常に高いとき(気温と湿度も関係する)などにもサーバが冷却できるように、水冷式のターボ冷却器を完備しています。
ドデカイ菅とかくゾーンへ送るポンプが設置されています。
サーバ自体は空冷だそうです。
冷却器は一年を通しても稼働する率はかなり低いらしい。
・2号棟の話
1号棟ではターボ冷凍機による集中熱源(1台で全部まかなう)タイプを採用しているが、2号棟では空冷チラーによるモジュール(複数台で冷やす)タイプになるそうです。
ゾーン毎の負荷に合わせた運転ができるそうです。
(※旅のしおりより)
イメージ図は下記のようです(旅のしおりより)
まず、外気を取り入れます。
鳥やなにかしらの生物の侵入、巣作りを防ぐために網が貼ってあります。
先ほどの網を超えたところには写真の右のようなフィルターがあります。
このフィルターで荒い粒子のチリとかゴミとか虫を取り除きます。
この外のフィルターは定期的に掃除機と水洗いでの掃除を行っているそうです。
この後ろに写真の左のような除塩フィルターがあります。
このあとミキシングチャンバーに送られ排気と混合し空調機の方へ送られます。
弁の開け閉めで外気の取り入れ量などを調節できるみたいです。
ここでサーバに外気が送られるまでをまとめると
外気→フィルタ→ミキシングチャンバーで排気と混合→加湿・空調機→ファン→サーバ→天井ダクト→排気ファン→外気
といった感じですかね。
言葉で説明するよりも図をみていただいたほうが早いと思います。(旅のしおりより)
な感じです。なかなか言葉で説明するのも難しいのがお分かりいただけたでしょうか?
Aゾーンの空調室の様子です。
その他
煙のサンプリング
天井にあるこの菅、実は小さな穴が複数空いています。
ハードウェアや配線などが焼け焦げて煙があがると、この穴から煙の粒子を取りサンプリングして煙を検知しています。
実はこの設備、すごい高精度らしく、近所で火災があったり、近所の畑が野焼きをした時も反応することがあるそうです。
窒素ガスによる消火
出火をすると窒素ガスにより消火が始まります。
ラッパ状の部分から窒素ガスが噴射されるそうです。
ガスタービン発電機ではなくてディーゼル発電機だそうです。
SL機関車の先頭の車両ぐらいの大きさと形です。
ディーゼルの方が出力の調整が容易だそうです。
そして燃料の節約にもなるんだとか。
その大きな燃料タンクは、外の道路の下にあります。
発電機を全部まわすとものすごい騒音になり、一台まわしたとしてもかなりの振動があるそうですが、石狩DCの近くには民家がないので大丈夫そうです。
側面にはたくさんの排気ファンが設置されています。
管理室てきなところに大きなモニタがありサーバ室の空調やラックの温度などが見れるようになっていました。
外気の導入割合やPUE(サーバ以外の負担割合的な値)なども見れます。
PUE1.08は最新鋭のシステムを使っているFacebookのPUEに匹敵するほどエコな値だそうです。
その他にも開業前の2号棟やMDF室(大元の光ファイバーがきているところ)などを見学しました。
MDF室に関しては2日目は内部見学できました。
1号棟で採用されているラックは700mmですが、2号棟で採用されるサーバラックは600mmとなるそうです。
幅が狭くなった分、設置できるラック数が増加するそうです。
ネットワークラックの一部には700mmのラックもあるそうです。
さくらの石狩データセンターの2年間のエピソードなどいろいろなお話を聞かせていただきました。
最後にはサーバのリブート実演をされました。
リブートするサーバに間違いがないかなど入念に何重にもチェックを行っておられました。
こういうスタッフの方々によってデータセンターはできているんだなと思いました。
ちなみにリブートは遠隔で行えるときには基本的に遠隔で行うそうです。ICMP。
一通り予定をすましてデータセンターを後にます。
バスで札幌市内ヘ!!
なんか会場が結婚式場らしい
お酒飲んでる人が大半でしたね。
未成年なので俺は我慢してオレンジジュースを飲みまくってました。
毛ガニ がありました!!毛ガニ初めて食べました!!むちゃくちゃうまかった!!!
刺身 てか 船盛
たくさんの方々とお話をして名刺交換をさせていただきました。
ほんとうに楽しい一日でした。
その後ホテルへ ・・・。就寝とおもいきや。
まだ終わってない
すごいねーちゃんがいっぱいいる街でした。結構おれにぴったりの街かも。
途中レッドブルを配ってるねーちゃんとかがいましたね。
初めて遭遇しましたわ。
そして、レッドブルのねーちゃんに名刺を渡す。→LINE来ること期待してたが来ず><。
経済的なことで2次会にいくのを断念して学生4人でラーメンを食べに。
札幌といえば味噌ラーメン。うまかたー。
なんかこの店、名刺がたくさん貼ってあったので、貼ってくれるかな?とおもって店員に名刺を渡す。→バイトの中国人からLINEがくるという大誤算。
来てほしかった、レッドブルのねーちゃんから来ず、来ないでもいいラーメン屋のバイトからLINEが来るというね・・。
まあ、こんなバカなことをしながら1日目 の終了です!
その5に続く・・・。
やっと、その4。
本題のデータセンター見学です!
ここで基本的なデータセンターの概要を見てみたいと思います。
石狩データセンター
・場所 北海道石狩某所(セキュリティのため非公開)・延床面積 11,392㎡
・敷地面積 51,448㎡ (山手線の内側の半分ぐらい)
・建築面積 7,091㎡
・受電電圧 66,000Ⅴ(特別高圧)
・供給電力 標準8kVA/ラック(最大15kVA/ラック)※1号棟
→kVAの単位についてはコチラ。
・最大の特徴 北海道の涼しい気候を利用した外気での冷却 →省エネでエコ
(旅のしおりより)
その3でのいしかり丼を食してからの出発です。
出発進行!!
今回見学したのは2年前に開所した1号棟ともうそろそろ利用される2号棟です。
第1期工事では1,2号棟が建設され、最終的には8号棟までできて合計で4000ラックのデータセンターとなるそうです。
全て建設されたらまた見に行きたいです。
おら、すっげーわくわくすっぞー。
電気周りについて
特高(※特別高圧)電気室 (High voltage Transformer room)
カタカナでかくと、「ハイ ボルテージ トランスフォーマ ルーム」やばカッコイイ!!!
法律の関係で中に立ち入ることはできません。
なので窓の外側から覗き見ます。
ここには電力会社から直接引き込んだ6万6000ボルトの交流電気がきています。
30,0000kVAのトランス(2系統)だそうです。
これをこの部屋で6600ボルトの電圧まで落として高圧電気室に向かいます。
高圧電気室
特別高圧電気室で6600ボルトの電圧に落とされた電気がきています。
ここでさらに400ボルトの電圧までさげて各サーバルームのUPSに向かいます。
サーバ室
1日目の見学ではサーバの列内の見学をすることはできませんでした。列内の話は2日目のオプショナルツアーの記事で書こうと思います。
セキュリティ対策はバッチシ、堅牢な入室ゲート
ある特定の操作をすると入室できる仕組みです。
共ずれ対策で一人が通るぐらいのスペースしかありません。
LEDのチカチカがかっこよいです。
これぞサーバルームって感じですごく良いところでした。
UPS
UPSは分散配置でサーバ室のラック列ごとにUPSがあります。
高圧電気室で400ボルトに落とされた電気がきています。
ここらでPDUにより230ボルトに落とされてサーバ本体へ給電しています。
一部100ボルトでしか利用できない機器もそこらのUPSでカバーできるらしいです。
ここでサーバに電気が送られるまでをまとめてみた
電力会社からの引き込み6万6000ボルト→特高電気室、6600ボルトへ降下→高圧電気室400ボルトへ降下→サーバ室UPSで230ボルトへ降下→サーバ本体
といった感じですかね。
4kVAコンセントボックスかな?もしかしたらHVDCの電源てきなのかも。
そんな気がするけど違うかもしれません。DCて書いてあるので、HVDC関係の電源かもしれませn。
違ってたらごめんなさい。
4kVA用のコンセントボックスが2~3個あります。
家庭用100Vのコンセントとは形状がまったくことなります。
Bゾーン・直流給電(HVDC 12V方式)サーバ
このラックの印字がかっこよい。
従来のAC方式は電力効率が70~80%にくらべ、このDC方式の電力効率は90%以上。
AC方式と比較して10~20%の電力量を削減できるそうです。
配線
天井が高く、配線はほとんど上部に設置されていました。
冷却周りについて
熱源機械室
外気温が非常に高いとき(気温と湿度も関係する)などにもサーバが冷却できるように、水冷式のターボ冷却器を完備しています。
ドデカイ菅とかくゾーンへ送るポンプが設置されています。
サーバ自体は空冷だそうです。
冷却器は一年を通しても稼働する率はかなり低いらしい。
・2号棟の話
1号棟ではターボ冷凍機による集中熱源(1台で全部まかなう)タイプを採用しているが、2号棟では空冷チラーによるモジュール(複数台で冷やす)タイプになるそうです。
ゾーン毎の負荷に合わせた運転ができるそうです。
(※旅のしおりより)
外気冷却
石狩DCでは北海道の涼しい気候を利用して外気をとりいれた冷却を採用しています。イメージ図は下記のようです(旅のしおりより)
まず、外気を取り入れます。
鳥やなにかしらの生物の侵入、巣作りを防ぐために網が貼ってあります。
先ほどの網を超えたところには写真の右のようなフィルターがあります。
このフィルターで荒い粒子のチリとかゴミとか虫を取り除きます。
この外のフィルターは定期的に掃除機と水洗いでの掃除を行っているそうです。
この後ろに写真の左のような除塩フィルターがあります。
このあとミキシングチャンバーに送られ排気と混合し空調機の方へ送られます。
弁の開け閉めで外気の取り入れ量などを調節できるみたいです。
ここでサーバに外気が送られるまでをまとめると
外気→フィルタ→ミキシングチャンバーで排気と混合→加湿・空調機→ファン→サーバ→天井ダクト→排気ファン→外気
といった感じですかね。
サーバ室冷却方式
1号棟で今回見学したのはA,B,Cゾーンですが、この3つのゾーンすべて冷却の仕方が異なっています。言葉で説明するよりも図をみていただいたほうが早いと思います。(旅のしおりより)
な感じです。なかなか言葉で説明するのも難しいのがお分かりいただけたでしょうか?
Aゾーンの空調室の様子です。
その他
火災対策
煙のサンプリング
天井にあるこの菅、実は小さな穴が複数空いています。
ハードウェアや配線などが焼け焦げて煙があがると、この穴から煙の粒子を取りサンプリングして煙を検知しています。
実はこの設備、すごい高精度らしく、近所で火災があったり、近所の畑が野焼きをした時も反応することがあるそうです。
窒素ガスによる消火
出火をすると窒素ガスにより消火が始まります。
ラッパ状の部分から窒素ガスが噴射されるそうです。
停電対策、発電機室
ガスタービン発電機ではなくてディーゼル発電機だそうです。
SL機関車の先頭の車両ぐらいの大きさと形です。
ディーゼルの方が出力の調整が容易だそうです。
そして燃料の節約にもなるんだとか。
その大きな燃料タンクは、外の道路の下にあります。
発電機を全部まわすとものすごい騒音になり、一台まわしたとしてもかなりの振動があるそうですが、石狩DCの近くには民家がないので大丈夫そうです。
側面にはたくさんの排気ファンが設置されています。
サーバ室等のモニタリング
管理室てきなところに大きなモニタがありサーバ室の空調やラックの温度などが見れるようになっていました。
外気の導入割合やPUE(サーバ以外の負担割合的な値)なども見れます。
PUE1.08は最新鋭のシステムを使っているFacebookのPUEに匹敵するほどエコな値だそうです。
その他にも開業前の2号棟やMDF室(大元の光ファイバーがきているところ)などを見学しました。
MDF室に関しては2日目は内部見学できました。
サーバラックの話
1号棟で採用されているラックは700mmですが、2号棟で採用されるサーバラックは600mmとなるそうです。
幅が狭くなった分、設置できるラック数が増加するそうです。
ネットワークラックの一部には700mmのラックもあるそうです。
さくらの中の人によるスライド
さくらの石狩データセンターの2年間のエピソードなどいろいろなお話を聞かせていただきました。
最後にはサーバのリブート実演をされました。
リブートするサーバに間違いがないかなど入念に何重にもチェックを行っておられました。
こういうスタッフの方々によってデータセンターはできているんだなと思いました。
ちなみにリブートは遠隔で行えるときには基本的に遠隔で行うそうです。ICMP。
一通り予定をすましてデータセンターを後にます。
バスで札幌市内ヘ!!
懇親会
なんか会場が結婚式場らしい
お酒飲んでる人が大半でしたね。
未成年なので俺は我慢してオレンジジュースを飲みまくってました。
毛ガニ がありました!!毛ガニ初めて食べました!!むちゃくちゃうまかった!!!
刺身 てか 船盛
たくさんの方々とお話をして名刺交換をさせていただきました。
ほんとうに楽しい一日でした。
その後ホテルへ ・・・。就寝とおもいきや。
まだ終わってない
いざ、すすきのの繁華街へ
すごいねーちゃんがいっぱいいる街でした。結構おれにぴったりの街かも。
途中レッドブルを配ってるねーちゃんとかがいましたね。
初めて遭遇しましたわ。
すすきのの街頭でRedBull配ってた。さっそく1本ゲットだぜ! #石狩DC http://t.co/RGIdShceVn
— 田中邦裕 (@kunihirotanaka) 2013, 11月 23
そして、レッドブルのねーちゃんに名刺を渡す。→LINE来ること期待してたが来ず><。
経済的なことで2次会にいくのを断念して学生4人でラーメンを食べに。
みそラーメンなう #石狩DC pic.twitter.com/BGyNckfyma
— Fire (@fire_fire_2) 2013, 11月 23
札幌といえば味噌ラーメン。うまかたー。
なんかこの店、名刺がたくさん貼ってあったので、貼ってくれるかな?とおもって店員に名刺を渡す。→バイトの中国人からLINEがくるという大誤算。
来てほしかった、レッドブルのねーちゃんから来ず、来ないでもいいラーメン屋のバイトからLINEが来るというね・・。
さっきのレッドブルねーちゃんに名刺渡してきた。 #石狩DC
— Fire (@fire_fire_2) 2013, 11月 23
レッドブルの娘っ子からまだLINEこない。せっかく名刺渡したのに。#石狩DC
— Fire (@fire_fire_2) 2013, 11月 23
調子に乗って、ラーメン屋で名刺だしたらバイトの子からLINEが来てしまった・・・。 これは大誤算だ。#石狩DC
— Fire (@fire_fire_2) 2013, 11月 23
まあ、こんなバカなことをしながら1日目 の終了です!
その5に続く・・・。