このページはJavaScriptを使用しています。JavaScriptを有効にして、または対応ブラウザでご覧下さい。

PUE 1.07を達成!省電力データセンターの検証を加速

液浸スモールデータセンターのPoCに見る
省電力のブレークスルー

地球環境保全に向けた長期計画KDDI GREEN PLAN 2030」を遂行中のKDDIでは、絶縁性オイルでICT機器直接冷却する「液浸技術」と12フィート小型コンテナ活用した「液浸スモールデータセンター」のPoC (Phase2) を、三菱重工業株式会社様とNECネッツエスアイ株式会社様共同で進めている。同PoCではすでに、「PUE (注1) 1.07」という高い電力使用効率達成しており、省電力データセンター実現する新しい手法を求める多くの企業組織関心期待を集めている。

  • 注1) PUE:データセンター消費電力をICT機器消費電力で割った数値。「1.0」に近いほどセンター電力使用効率が高い。
  • ※ 記事内の会社名、部署名、役職名は取材当時のものです。

深刻化するデータセンターの電力問題を解決する“液浸”

KDDI株式会社 サービス企画開発本部 プラットフォーム技術部 インフラ基盤2グループ エキスパート 加藤 真人
KDDI株式会社
サービス企画開発本部 プラットフォーム技術部
インフラ基盤2グループ エキスパート

加藤 真人

加速するデジタル化の中で、日々の暮らしやビジネスでのクラウドサービス利用活発化し、それがデータセンター需要大幅拡大へとつながっている。

「ここ数年来データセンター需要はみるみる伸びていき、多くの事業者設備増強を続けています。KDDIでもデータセンター新設しなければ、ハイペースで伸び続けるデータセンター需要対応し切れない状況です」と話すのは、KDDI サービス企画開発本部 エキスパート加藤 真人だ。

こうした中で深刻度を増しているのが、データセンター電力問題だ。増え続けるデータセンター電力消費相当量のCO2排出へとつながり、地球環境に負のインパクトを与えかねない状況になっている。

ただし、この問題解決するにはデータセンターキャパシティを上げながら、電力消費を抑えるという相反する条件整理しなければならない。一般的データセンターでそれを実現するのは難しいとKDDI 同本部コアスタッフ谷岡 功基指摘する。

「例えば、サーバー性能を上げることで機器集約収容場所キャパシティは増やせますが、それによってサーバーのCPUやGPUの排熱処理が難しくなり、結果として冷却により多くの電力必要とされます」(谷岡)

加えて、ラックへの集積度を高めようとすると、各サーバー冷却ファンから排出される熱風隣接したサーバー影響を及ぼし故障を引き起こしかねない。

KDDI株式会社 サービス企画開発本部 プラットフォーム技術部 インフラ基盤1グループ コアスタッフ 谷岡 功基
KDDI株式会社
サービス企画開発本部 プラットフォーム技術部
インフラ基盤1グループ コアスタッフ

谷岡 功基

高性能サーバー場合実質的排熱を考えると1ラックに3台までしか収納できず、単体性能をいくら上げても、ラック当たりのキャパシティ一向に増えないといった問題を抱えています」(加藤)

このような問題抜本的解決する手段としてKDDIが想起したアイデアが、データセンターにおけるICT機器冷却方式を「空冷」から「液浸」へと切り替えることだった。

基礎検証でPUE 1.09を達成し“液浸”の効力を実証

熱交換を空気では無く特殊なオイルで行う。オイルは電気を通さないものを使っているため、既存機器をそのまま浸しても問題は出ない。
熱交換を空気では無く特殊なオイルで行う。オイルは電気を通さないものを使っているため、既存機器をそのまま浸しても問題は出ない。

前述したとおり、液浸とは電気を通さない絶縁性オイルによってICT機器直接冷却する手法だ。各国威信をかけて開発しているスーパーコンピュータに使われている基盤冷却する手段として古くから使われており、空冷方式に比べて冷却効率何倍も高いという特長を持つ。

液浸技術一般データセンター汎用サーバーにあまり使われなかっただけで、技術としては成熟したテクノロジーです。この液浸を用いることで、空冷よりも少ない電力でICT機器冷却でき、データセンター電力使用効率大幅に高められると考えました。そこで、液浸技術を核にPUE値が限りなく『1.0』に近い省電力データセンター実現し、CO2排出量低減貢献しようと考えました」(加藤)

こうして2020年7月から2021年1月にかけて液浸技術を使ったデータセンター基礎実証 (PoC Phase1) を台湾実施した。この実証は、液浸技術と20フィートコンテナ、さらには外気空冷を組み合わせたコンテナデータセンターを使って行われ、最終的に「PUE 1.09」を達成した。

「これまでのデータセンターのPUE値は1.7〜2.0ですので、PUE 1.09はきわめて優秀な値と言え、この結果によって液浸有効性が改めて実証されました」(加藤)

三菱重工とNECネッツエスアイとの共同で “Phase2”を推進

台湾での基礎実証液浸技術有効性確認したKDDIは、液浸データセンター製品化普及見据えた「PoC Phase2」の実施に向けて動き始めた。PoC Phase2では、基礎検証から得られたデータ設備設計ベース排熱能力向上設置スペース削減日本消防法建築基準クリアするといった目標が定められた。

Phase2の最初ステップは、液浸技術を使った省電力データセンター意義可能性共感し、ともに推進してくれる日本パートナーを探すことだ。三菱重工とNECネッツエスアイの2社がメインパートナーとして名乗りを上げ、有力プロセッサメーカーやIT機器メーカーを巻き込んだ「液浸スモールデータセンター」の開発実証プロジェクトが、三菱重工「Yokohama Hardtech Hub」で立ち上がった。

液浸スモールデータセンターは、基礎検証で使われた20フィートコンテナよりさらに小さい12フィートコンテナ使用して作られている。
ICT機器収納する「液浸装置」、「オイル熱交換器 (CDU)」「外気冷却装置」から成り、そのラックには1Uサイズ最大で24台のサーバー収納することができる (PoC用として収納されていたのは10台のサーバー)。

12フィートコンテナは2室に分かれている。 ICT機器をオイルで冷却する液浸装置部分 (左側) オイル熱交換機および外気冷却装置 (右側)
12フィートコンテナは2室に分かれている。
ICT機器をオイルで冷却する液浸装置部分 (左側)
オイル熱交換機および外気冷却装置 (右側)
三菱重工業株式会社 技術戦略推進室 ビジネスインテリジェンス &イノベーション部 MTIグループ 主席部員 磯部 勇介様
三菱重工業株式会社
技術戦略推進室 ビジネスインテリジェンス &イノベーション部
MTIグループ 主席部員

磯部 勇介 様

また、オイル熱交換器では、液浸装置内で熱せられたオイルパイプを通じて循環し、外気冷却装置冷却水で冷やされた後に再び液浸装置へと戻される仕組みになっている。さらに、外気冷却装置は、ラジエーター外気空冷用ファンから成り、ラジエーター外気により直接冷やされた冷却水パイプを通じて、オイル熱交換器供給され、オイル同様密閉循環している。

この外気冷却装置を含めて液浸スモールデータセンターファシリティ設計製造はすべて三菱重工とNECネッツエスアイが担っている。

「12フィートコンテナ内は想像以上に狭く、そこに液浸装置外気冷却機構を入れ込むのは難しかったのですが、発電プラントで培った配置空間設計や、冷熱機器冷却設計に関する当社ノウハウがうまく生かせたと感じています」(三菱重工 技術戦略推進室 磯部 勇介様)

「PUE 1.07」を達成し、さらに膨らむ期待

液浸スモールデータセンターが、PUE 1.07という高い電力使用効率実現できた要因の1つは、オイル上限温度設定が60度にされている点にある。

「60度は外気温が35〜40度となってもオイル冷却装置外気空冷ファンだけで担保できるオイル温度です。つまり、この高めの温度設定によって、オイル冷却電力消費を小さく保てるわけです」と加藤説明を加える。

また、オイル温度が60度でもサーバー安定稼働を続けると谷岡指摘し、以下のように説明を続ける。

液浸装置内であれば、オイルが60度でも従来空冷と異なり熱伝導率が高く冷却効率が良いのでサーバー安定して動き続けます。ただし、汎用サーバーでは安全稼働させるため、稼働保証温度50℃程度サーバー稼働制限を設けています。そこで、サーバーメーカーファームウェア変更してもらい、オイル温度が60度超に達するまでサーバー稼働制限されないようにしています。また、液浸装置内には空冷ファン不要となるので、その分の電力削減されるというメリットも生まれます」(谷岡)

さらに、電力使用効率を高める仕組みを備えている。NECネッツエスアイ三菱重工共同開発した電力マネジメントシステムだ。Zabbix (注2)汎用的なDCIMシステム (注3) を組み合わせすることにより統合的監視制御実現している。

液浸スモールデータセンターの概念図
液浸スモールデータセンターの概念図

「このシステムは、サーバー内各パーツ温度を細かくモニタリングし、温度がしきい値を超えた際には信号を送り、ラジエーターポンプ外気空冷用ファンなどを自動的制御する仕組みです。これによって、サーバー負荷状況に合わせて、PUEをバランスよく下げていくことが可能になります」とNECネッツエスアイ エンジニアリング&サポートサービス事業本部グループマネージャー 松田 光昭 様は説明する。

液浸スモールデータセンターで使われている液浸装置は、すでにKDDIのデータセンター試験的導入されることが予定されている。このように、液浸技術コンテナだけではなくデータセンター導入されることは、加藤構想していることの一つだ。

NECネッツエスアイ株式会社 エンジニアリング&サポートサービス販売推進本部 グループマネージャー 松田 光昭 様
NECネッツエスアイ株式会社
エンジニアリング&サポートサービス販売推進本部
グループマネージャー

松田 光昭 様

液浸技術外気空冷の組み合わせが、電力使用効率アップにきわめて有効であることはPoCを通じて実証されています。しかも、液浸装置通常ラックに比べてサーバー集積率が高く、静音性にも優れています。今後は、こうしたメリット訴求しながら、データセンターでの利用促進したいと願っています」(加藤)

一方コンテナ型の液浸スモールデータセンターについても、自治体臨時イベント会場工場での利用など、さまざまな可能性があり、加藤はそれにも期待を寄せている。屋外設置にはセキュリティ面の対応必要となるため、NECネッツエスアイでは、高精度の「顔認証」を用いた入退室制御など、実際使用想定したセキュリティソリューション提供計画している。

「これからもデータセンター需要は増えていくことは間違いなく、東京ではすでにデータセンター密集問題視され、地域への分散化必要とされはじめています。こうした中で、従来型冷却アプローチ踏襲し続けると、電力問題に必ず突き当たります。そのとき、液浸というキーワードを思い出してほしいと願っています」(加藤)

液浸によって、データセンター省電力化の新しい道筋が切り拓かれる日は近い。

  • 注2) Zabbix:サーバーネットワークアプリケーション集中監視するためのオープンソース統合監視ソフトウェア
  • 注3) DCIMシステムデータセンター インフラストラクチャ マネジメント消費電力温度湿度測定空調コントロール機器稼働状況把握異常検出をするシステム