Cloudera、Cloudera Enterprise 5.10リリースに伴い、Apache Kuduのサポート開始（GA)を発表
2017年1月31日 米国カルフォルニア州パロアルト発 － 最新のオープンソーステクノロジーをベースに、データ管理と機械学習に向けた、最も高速で使い易くセキュアなプラットフォームを提供するClouderaは、本日、Cloudera Enterprise 5.10 のコンポーネントとして、ファストデータ (fast moving data) を高速に分析するためのオープンソースソフトウェア (OSS) ストレージエンジン、Apache Kudu の一般提供開始を発表しました。Kuduによって、リアルタイムな分析が容易となり、発生したデータにユーザーが素早くに反応できるため、より優れたビジネス上の意思決定を行うことが可能となります。
Clouderaの製品担当バイスプレジデントであるCharles Zedlewskiは、次のように述べています。
「リアルタイムのデータ分析は、企業にとって決して容易なものではありませんでした。これは、リアルタイムストリーム処理とバッチ分析の融合に向け、非常に複雑なLambdaアーキテクチャーが必要となるためです。Kuduでは、単一のストレージエンジンによってアーキテクチャーを劇的に容易なものにすることで、これら双方の要件を満たすことができます。新しい機械学習モデルをはじめ、今日のハイデマンドなワークロードは、サイバーセキュリティ攻撃の検知や産業用モノのインターネット (IoT) における予防保守問題などにも応用が可能で、あらゆるタイプのオンラインレポートの精度をより高いものにしています」
Kuduは、SSDやメモリが手頃となったハードェアの革新を活用するために、まったくゼロベースからデザインされました。スタンドアロンのストレージエンジンとして、数100ノードのクラスタによって毎秒数100万件のINSERT処理を行うなど、既にミッションクリティカルな業務で実績を上げています。Kuduは、高速で大規模な分析用途のスキャンが必要となるユースケースへの対応に加え、時系列データの処理、マシンデータの分析、オンラインレポーティング、その他の分析や運用ワークロードで必要とされる高速なデータの更新にも対応しています。
「Apache Kuduは、Apache Hadoop®プラットフォームがいかに厳密に定義されたApacheプロジェクトをベースにオープンソースとプロプラエタリなテクノロジーを融合し、ビッグデータの業務運用環境にまで発展させているかということを示す典型的な例と言えます。Kuduによって、これまでハードルとなっていた複雑なLambdaアーキテクチャーを避けながら、変化が速いデータに向け、高速にデータベースを変更および更新する必要があるユースケースにも対応することができるようになります」とOvumのプリンシパルアナリストであるTony Baer氏は話します。
これまでKuduは、Clouderaやパートナー経由でベータプログラムに参加している特定のお客様のクリティカルな業務環境で活用されてきました。しかし、リアルタイム分析を求めるClouderaのお客様は増加の一途をたどっており、今後は、これらのお客様によるKuduの採用がいっそう増えると予想されています。
Meridian Healthのエンタープライズ インフォメーションマネージメント担当ディレクター Michael Reed氏は、次のように述べています。「分析処理と同時にコンプライアンス遵守や運用レポートの制作を実現するためには、大規模データを処理して傾向を発見するだけでなく、特異値を素早く検知し、それに対応できなければなりません。Kuduによって、分析処理とリアルタイム処理が同時に行えるようになり、構築済みシステムの簡素化が図れるものと期待しています」
Cloudera 5.10（およびCloudera Director 2.3のリリース）では、Kuduに加えClouderaのエンタープライズに対応した機能の更なる強化に加え、これらの環境におけるコスト効果の一層の改善が図られています。新機能には以下が含まれています：
・Amazon S3のデータに対するApache Hiveのパフォーマンス向上によって、一時的なワークロードにおけるバッチ処理のコストを低減
・Amazon S3に対するCloudera Navigatorのサポートによって、クラウドでのより包括的な監査およびリネージ機能を実現
・Cloudera Directorによってクラウド環境でのクラスタの初期デプロイまでの時間を短縮
Clouderaは、2015年9月にApache Kuduのパブリックベータリリースを発表し、その2ヶ月後には、KuduをApache Software Foundation (ASF) に寄贈しました。開発コミュニティに対してKuduをより幅広く公開することで、State Farm、Xiaomi、Intelなどのエンジニアによるコントリビューションを受けることができるようになりました。現在Kuduは、Cloudera Enterpriseの標準コンポーネントとして一般出荷が開始され、NoSQL、HDFS、オブジェクトストア、リレーショナルなどの強力なストレージエンジンを提供することで、個々のユーザーニーズに応えられるようになっています。
本発表に伴う、業界各社様からの声
Agil Data (SI)
「Apache Kuduは、オープンソースデータベーステクノロジーにおける大きな進歩であり、これまで実現が極めて難しかったリアルタイム分析を可能にします。InsurTech（保険テクノロジー）分野をはじめ、幅広いユースケースを目にしており、当社のクライアントや今後のプロジェクトに対して良い影響を与えるものと期待しています」
— Cory Isaacson, Executive Chairman
Arcadia Data
「Apache KuduとArcadia Enterpriseを統合することで、データセントリックな業務アプリケーションに対してリアルタイムかつレスポンシブなストレージエンジンを提供できるものと考えています。アプリケーション開発者にとって、Apache ImpalaやApache Spark、あるいは直接Arcadia Enterpriseで使用できるクリーンなAPIの存在は素晴らしいものです。Kuduによって、単にHadoop上でデータの投入や分析を行うだけでなく、データを一切移動する必要なく、Arcadiaによるデータの生成や更新が実質的に可能となるのです」
— Shant Hovsepian, co-founder and chief technology officer
Avalon Consulting, LLC
「Avalonの現在のクレジットカード処理プロジェクトにおける重要なゴールは、クライアントの伝統的なバッチ中心の処理システムのアーキテクチャーを見直すことで、そのアジリティを改善し、リアルタイムでの成りすまし検知アラート機能を追加し、さらにエグゼクティブダッシュボードにもニアリアルタイムにアラートを提供することでした。KuduとImpalaを使用することで、新システムからのクエリで求められる2秒以内という応答時間を実現することができました。これを既存のEDWで実装しようとすると、Clouderaを活用した場合とは桁違いの費用が必要となりますが、Kuduによって私達のよりクリティカルなレイテンシ要件をクリアすることができました」
— Tom Reidy, chief executive officer
Capgemini
「Capgeminiのクライアントは、既にビッグデータの活用や分析、そしてデータサイエンスに精通しており、IoTやストリーミングデータなど、ビッグデータやファストデータに対するリアルタイム分析が話題の中心となっています。Kuduが一般提供されたことで、よりクリティカルでインサイトセントリックな処理を業務分析プラットフォーム上に構築できるようになり、クライアントのデジタル革命がより加速されることになると思われます」
— Anne-Laure Thieullent, VP Global Big Data Solutions, Insights & Data
RCG Global Services
「RCG Global Servicesは、Kuduこそがビッグデータに向けたデータストレージにおける重要な進歩だと考えています。Kuduによって、Clouderaクラスタ上でREADやWRITE処理を低レイテンシかつ高パフォーマンスで行えるようになり、リアルタイム分析など、要望の高いアプリケーションの要件にも対応できるようになります。RCG Global Servicesでは、銀行、ヘルスケア、ホスピタリティ、保険、小売業向けのCloudera認定RCG|enableTM インダストリーソリューションとKuduを連携させることで、その利点を取り込んで行こうと考えています」
— Rick Skriletz, Global Managing Principal
Softserve
「Softserveでは、極めて優れたカラムナストレージであるApache Kuduを、データの集中化とアクセス性、そしてセキュリティの確保に活用しています。Softserveの開発者は、「ビッグフォー」プロフェッショナルサービス会社を巻き込んだ最近の支払処理プロジェクトの一部において、膨大なデータセットをサポートしトランザクションの一貫性を維持するためにKuduを選択しました。Kuduは、両方の特性を持ち合わせながら、総合的なパフォーマンステストや信頼性テストに合格した唯一のツールであり、これによって私達は、クライアントのビジネゴール達成を支援する革新的なソリューションを提供することができました」
— Todd Lenox, VP, Digital Partnerships
Streamsets
「Apache KuduをCDHに取り込むことで、お客様がエンタープライズデータウェアハウスとリアルタイムストリームをHadoopに移行する際に、それぞれの特性を持つワークロードを非常に容易かつ同時に実行できるようになります。Cloudera認定のStreamSets Data Collectorは、プラグアンドプレイ方式のデータフロー先としてKuduをネイティブにサポートし、またStreamSets Dataflow Performance Managerによって、Kuduに対するデータフローの持続的な可用性と正確性を確保することができます」
— Arvind Prabhakar, chief technology officer
TCS
「Kuduは、最新のデジタルシステムおける高速データを苦もなく処理できる、ファストデータサービスレイヤを必要とするクライアントとの関係構築に飛躍的な進展をもたらしています。例えば、TCSでは、最新のハイパフォーマンスIoTシステムにおいて、Apache SparkとApache Kuduを組み合わせたデザインをお客様に提供し、システム要件を満たすことが基本となっています。さらに重要なメリットとしては、Apache Hadoop HDFSテクノロジーのスキルを持った開発者をApache Kuduのために再教育する必要がないという点をあげることができます。TCSでは、Apache Kuduの一般リリースを歓迎すると共に、クライアントに広くこれを適用していきたいと考えています」
— Dr. Satya, vice president, TCS Digital Business
Zoomdata
「Cloudera EnterpriseでKuduが一般リリースされたことは、ストリーミング分析における重要なマイルストーンと言えます。Zoomdataは、その開発初期段階からKuduに注目し、Clouderaのエンジニアリングチームと共同でKuduを使用したビッグデータ分析機能の開発に関わってきました。仮想分析クエリをリアルタイムに実行できるようになったことで、現在では、ClouderaとZoomdataのお客様に対してより大きな価値を提供できるようになっています」
— Ruhollah Farchtchi, chief technology officer
Apache Kuduに関する追加リソース
・コントリビューションを始める
http://kudu.apache.org/
・ウェビナーシリーズに登録
http://www.cloudera.com/about-cloudera/events/webinars/kudu-webinar-series.html?src=sdr
・VISIONブログを読む（日本語）
https://blog.cloudera.co.jp/24c3f6efda2f
Cloudera 5.10に関する追加リソース
・Clouderaエンジニアリングブログで詳しく知る（日本語）
https://blog.cloudera.co.jp/ad61ac8c6996
・Cloudera 5.10をダウンロード
http://www.cloudera.com/downloads/cdh/5-10-0.html
・リリースノートを読む
http://www.cloudera.com/documentation/enterprise/release-notes/topics/rg_release_notes.html
【報道関係者の方からのお問い合わせ先】
Cloudera株式会社
マーケティング&PR：風間
press-jp@cloudera.com
「リアルタイムのデータ分析は、企業にとって決して容易なものではありませんでした。これは、リアルタイムストリーム処理とバッチ分析の融合に向け、非常に複雑なLambdaアーキテクチャーが必要となるためです。Kuduでは、単一のストレージエンジンによってアーキテクチャーを劇的に容易なものにすることで、これら双方の要件を満たすことができます。新しい機械学習モデルをはじめ、今日のハイデマンドなワークロードは、サイバーセキュリティ攻撃の検知や産業用モノのインターネット (IoT) における予防保守問題などにも応用が可能で、あらゆるタイプのオンラインレポートの精度をより高いものにしています」
Kuduは、SSDやメモリが手頃となったハードェアの革新を活用するために、まったくゼロベースからデザインされました。スタンドアロンのストレージエンジンとして、数100ノードのクラスタによって毎秒数100万件のINSERT処理を行うなど、既にミッションクリティカルな業務で実績を上げています。Kuduは、高速で大規模な分析用途のスキャンが必要となるユースケースへの対応に加え、時系列データの処理、マシンデータの分析、オンラインレポーティング、その他の分析や運用ワークロードで必要とされる高速なデータの更新にも対応しています。
「Apache Kuduは、Apache Hadoop®プラットフォームがいかに厳密に定義されたApacheプロジェクトをベースにオープンソースとプロプラエタリなテクノロジーを融合し、ビッグデータの業務運用環境にまで発展させているかということを示す典型的な例と言えます。Kuduによって、これまでハードルとなっていた複雑なLambdaアーキテクチャーを避けながら、変化が速いデータに向け、高速にデータベースを変更および更新する必要があるユースケースにも対応することができるようになります」とOvumのプリンシパルアナリストであるTony Baer氏は話します。
これまでKuduは、Clouderaやパートナー経由でベータプログラムに参加している特定のお客様のクリティカルな業務環境で活用されてきました。しかし、リアルタイム分析を求めるClouderaのお客様は増加の一途をたどっており、今後は、これらのお客様によるKuduの採用がいっそう増えると予想されています。
Meridian Healthのエンタープライズ インフォメーションマネージメント担当ディレクター Michael Reed氏は、次のように述べています。「分析処理と同時にコンプライアンス遵守や運用レポートの制作を実現するためには、大規模データを処理して傾向を発見するだけでなく、特異値を素早く検知し、それに対応できなければなりません。Kuduによって、分析処理とリアルタイム処理が同時に行えるようになり、構築済みシステムの簡素化が図れるものと期待しています」
Cloudera 5.10（およびCloudera Director 2.3のリリース）では、Kuduに加えClouderaのエンタープライズに対応した機能の更なる強化に加え、これらの環境におけるコスト効果の一層の改善が図られています。新機能には以下が含まれています：
・Amazon S3のデータに対するApache Hiveのパフォーマンス向上によって、一時的なワークロードにおけるバッチ処理のコストを低減
・Amazon S3に対するCloudera Navigatorのサポートによって、クラウドでのより包括的な監査およびリネージ機能を実現
・Cloudera Directorによってクラウド環境でのクラスタの初期デプロイまでの時間を短縮
Clouderaは、2015年9月にApache Kuduのパブリックベータリリースを発表し、その2ヶ月後には、KuduをApache Software Foundation (ASF) に寄贈しました。開発コミュニティに対してKuduをより幅広く公開することで、State Farm、Xiaomi、Intelなどのエンジニアによるコントリビューションを受けることができるようになりました。現在Kuduは、Cloudera Enterpriseの標準コンポーネントとして一般出荷が開始され、NoSQL、HDFS、オブジェクトストア、リレーショナルなどの強力なストレージエンジンを提供することで、個々のユーザーニーズに応えられるようになっています。
本発表に伴う、業界各社様からの声
Agil Data (SI)
「Apache Kuduは、オープンソースデータベーステクノロジーにおける大きな進歩であり、これまで実現が極めて難しかったリアルタイム分析を可能にします。InsurTech（保険テクノロジー）分野をはじめ、幅広いユースケースを目にしており、当社のクライアントや今後のプロジェクトに対して良い影響を与えるものと期待しています」
— Cory Isaacson, Executive Chairman
Arcadia Data
「Apache KuduとArcadia Enterpriseを統合することで、データセントリックな業務アプリケーションに対してリアルタイムかつレスポンシブなストレージエンジンを提供できるものと考えています。アプリケーション開発者にとって、Apache ImpalaやApache Spark、あるいは直接Arcadia Enterpriseで使用できるクリーンなAPIの存在は素晴らしいものです。Kuduによって、単にHadoop上でデータの投入や分析を行うだけでなく、データを一切移動する必要なく、Arcadiaによるデータの生成や更新が実質的に可能となるのです」
— Shant Hovsepian, co-founder and chief technology officer
Avalon Consulting, LLC
「Avalonの現在のクレジットカード処理プロジェクトにおける重要なゴールは、クライアントの伝統的なバッチ中心の処理システムのアーキテクチャーを見直すことで、そのアジリティを改善し、リアルタイムでの成りすまし検知アラート機能を追加し、さらにエグゼクティブダッシュボードにもニアリアルタイムにアラートを提供することでした。KuduとImpalaを使用することで、新システムからのクエリで求められる2秒以内という応答時間を実現することができました。これを既存のEDWで実装しようとすると、Clouderaを活用した場合とは桁違いの費用が必要となりますが、Kuduによって私達のよりクリティカルなレイテンシ要件をクリアすることができました」
— Tom Reidy, chief executive officer
Capgemini
「Capgeminiのクライアントは、既にビッグデータの活用や分析、そしてデータサイエンスに精通しており、IoTやストリーミングデータなど、ビッグデータやファストデータに対するリアルタイム分析が話題の中心となっています。Kuduが一般提供されたことで、よりクリティカルでインサイトセントリックな処理を業務分析プラットフォーム上に構築できるようになり、クライアントのデジタル革命がより加速されることになると思われます」
— Anne-Laure Thieullent, VP Global Big Data Solutions, Insights & Data
RCG Global Services
「RCG Global Servicesは、Kuduこそがビッグデータに向けたデータストレージにおける重要な進歩だと考えています。Kuduによって、Clouderaクラスタ上でREADやWRITE処理を低レイテンシかつ高パフォーマンスで行えるようになり、リアルタイム分析など、要望の高いアプリケーションの要件にも対応できるようになります。RCG Global Servicesでは、銀行、ヘルスケア、ホスピタリティ、保険、小売業向けのCloudera認定RCG|enableTM インダストリーソリューションとKuduを連携させることで、その利点を取り込んで行こうと考えています」
— Rick Skriletz, Global Managing Principal
Softserve
「Softserveでは、極めて優れたカラムナストレージであるApache Kuduを、データの集中化とアクセス性、そしてセキュリティの確保に活用しています。Softserveの開発者は、「ビッグフォー」プロフェッショナルサービス会社を巻き込んだ最近の支払処理プロジェクトの一部において、膨大なデータセットをサポートしトランザクションの一貫性を維持するためにKuduを選択しました。Kuduは、両方の特性を持ち合わせながら、総合的なパフォーマンステストや信頼性テストに合格した唯一のツールであり、これによって私達は、クライアントのビジネゴール達成を支援する革新的なソリューションを提供することができました」
— Todd Lenox, VP, Digital Partnerships
Streamsets
「Apache KuduをCDHに取り込むことで、お客様がエンタープライズデータウェアハウスとリアルタイムストリームをHadoopに移行する際に、それぞれの特性を持つワークロードを非常に容易かつ同時に実行できるようになります。Cloudera認定のStreamSets Data Collectorは、プラグアンドプレイ方式のデータフロー先としてKuduをネイティブにサポートし、またStreamSets Dataflow Performance Managerによって、Kuduに対するデータフローの持続的な可用性と正確性を確保することができます」
— Arvind Prabhakar, chief technology officer
TCS
「Kuduは、最新のデジタルシステムおける高速データを苦もなく処理できる、ファストデータサービスレイヤを必要とするクライアントとの関係構築に飛躍的な進展をもたらしています。例えば、TCSでは、最新のハイパフォーマンスIoTシステムにおいて、Apache SparkとApache Kuduを組み合わせたデザインをお客様に提供し、システム要件を満たすことが基本となっています。さらに重要なメリットとしては、Apache Hadoop HDFSテクノロジーのスキルを持った開発者をApache Kuduのために再教育する必要がないという点をあげることができます。TCSでは、Apache Kuduの一般リリースを歓迎すると共に、クライアントに広くこれを適用していきたいと考えています」
— Dr. Satya, vice president, TCS Digital Business
Zoomdata
「Cloudera EnterpriseでKuduが一般リリースされたことは、ストリーミング分析における重要なマイルストーンと言えます。Zoomdataは、その開発初期段階からKuduに注目し、Clouderaのエンジニアリングチームと共同でKuduを使用したビッグデータ分析機能の開発に関わってきました。仮想分析クエリをリアルタイムに実行できるようになったことで、現在では、ClouderaとZoomdataのお客様に対してより大きな価値を提供できるようになっています」
— Ruhollah Farchtchi, chief technology officer
Apache Kuduに関する追加リソース
・コントリビューションを始める
http://kudu.apache.org/
・ウェビナーシリーズに登録
http://www.cloudera.com/about-cloudera/events/webinars/kudu-webinar-series.html?src=sdr
・VISIONブログを読む（日本語）
https://blog.cloudera.co.jp/24c3f6efda2f
Cloudera 5.10に関する追加リソース
・Clouderaエンジニアリングブログで詳しく知る（日本語）
https://blog.cloudera.co.jp/ad61ac8c6996
・Cloudera 5.10をダウンロード
http://www.cloudera.com/downloads/cdh/5-10-0.html
・リリースノートを読む
http://www.cloudera.com/documentation/enterprise/release-notes/topics/rg_release_notes.html
【報道関係者の方からのお問い合わせ先】
Cloudera株式会社
マーケティング&PR：風間
press-jp@cloudera.com
