本文へジャンプ

DB技術 IoT向けスケールアウト型データベースGridDB 東芝デジタルソリューションズ株式会社 ソフトウェア&AIテクノロジーセンター 知識・メディア処理技術開発部

DB技術 IoT向けスケールアウト型データベースGridDB 東芝デジタルソリューションズ株式会社 ソフトウェア&AIテクノロジーセンター 知識・メディア処理技術開発部

自律データ再配置技術により、IoTに適したスケールアウト型データベースを実現

マシンやセンサーなどから大量のデータが集まるIoTシステムでは、分や秒周期、さらにそれ以下の周期で発生する膨大な時系列データを扱うことが求められます。また、各センサーのデータについては、欠損や矛盾などがないように一貫性や整合性が求められます。従来のスケールアウト型データベースは、スケールアップ型のRDBとは異なり複数のサーバをネットワークで接続して大量のデータを取り扱いますが、データを分散化するがゆえにデータの一貫性の維持が難しくなり、逆に一貫性のレベルを強めるとパフォーマンスが落ちるという問題があり、IoTシステムに適用する上で大きな課題がありました。そこで、この課題を解決するスケールアウト型データベースGridDBを開発しました。

GridDBでは、独自開発した自律データ再配置技術(ADDA)により、DBサーバ間のデータ配置やデータ複製を決定することで、クライアントとDBサーバの間に位置する管理サーバや仲介サーバ等を取り除くことができました。その結果、通信やデータ変換処理などのコストが大幅に削減され、高いデータ一貫性や可用性、高いパフォーマンスを同時に実現しています(図1)[1]

また、キーバリュー型インターフェイスとSQLインターフェイスをサポートしたデュアルインターフェイスもGridDBの特長となっています。SQLの処理については、タスク、データ、パイプラインの3層にわたる分散並列処理技術を新たに開発することで、高速な処理を実現しています(図2)[2]

このGridDBは2014年に商用化し、今までにエネルギー監視や電力自由化システムなど社会インフラのアプリケーションに適用されています(図3)

現在、ビッグデータの技術革新はオープンソース(OSS)が主導しており、エコシステムが形成されつつあります。このエコシステムに参加すべく、2016年にGridDBの基本機能をGridDB Community Editionとしてオープンソース化しました[3]。ビッグデータの主要OSSとの連携を可能にするソフトウェアや、様々な開発言語でのクライアント・ライブラリのソース公開など、グローバルなコミュニティ活動を行っています。

自律データ再配置技術(ADDA)

自律的にDBサーバ間でデータを再配置する技術です(ADDA:Autonomous Data Distribution Algorithm)。

自律データ再配置技術(ADDA)のイメージ図

自律データ再配置技術(ADDA)のイメージ図

分散並列処理技術

スケールアウトが容易なキーバリュー型データベース(KVS)のデータに対して、タスク、データ、パイプラインの3つのレベルの分散並列処理技術で高速SQL処理を実現します。

分散並列処理技術のイメージ図

分散並列処理技術のイメージ図

GridDBの活用イメージ

エネルギー監視や電力自由化システムなど社会インフラのアプリケーションに適用されています。

GridDBの活用イメージ図

GridDBの活用イメージ図