Cloudera、NVIDIAとの連携によりクラウドコンピューティングコストを削減し、Apache Sparkパイプラインを高速化

Cloudera Data EngineeringのApache Spark向けNVIDIA GPUアクセラレーションで、コード変更なしで性能向上、コスト削減、AI対応データパイプラインの高速化を実現

あらゆる場所のデータにAIを提供する企業 Cloudera 株式会社（所在地：東京都中央区、社長執行役員 山賀裕二）は本日、Cloudera Data Engineeringにおいて、NVIDIAのCUDA-Xライブラリ「cuDF」を活用したApache Spark 4.1のネイティブGPUアクセラレーションに対応したことを発表しました。Apache Spark向けNVIDIA cuDFプラグインは、本日発表したCloudera Anywhere Cloud™に対応する予定です。これにより、既存のPySparkやSQLコードを書き換えることなく、SparkワークロードをGPUで高速化でき、AIや分析に必要なデータの準備時間を短縮するとともに、ハイブリッド環境全体でクラウドインフラコストの削減を支援します。

企業でAI活用が広がるにつれ、大量のデータをAIや分析に利用できる状態へ迅速に整えることが課題となっています。特に大規模なSparkワークロードでは、データの処理に数時間を要するケースもあり、分析やAIアプリケーションの実行に時間がかかるだけでなく、処理時間の長期化によるクラウドコンピューティングコストの増加にもつながります。Cloudera Data EngineeringにGPUアクセラレーションを組み込むことで、既存のSparkアプリケーションや運用ワークフローを変更することなく処理を高速化し、こうしたデータ準備にかかる時間とコストの削減を可能にします。

エンタープライズAIに向けたSparkの高速化 

Apache Sparkは、企業における大規模なデータ処理やデータパイプラインを支える基盤として広く利用されています。Cloudera Data EngineeringにネイティブGPUアクセラレーションを組み込むことで、本番環境に求められるセキュリティとガバナンスを維持しながら、Sparkのデータ処理を高速化できます。NVIDIA cuDFをSparkワークロードに活用することで、従来のCPUベースのインフラと比較して、NVIDIA GPU上で最大4倍の処理性能を実現し、大規模なデータ処理にかかる時間を大幅に短縮します。

NVIDIA CUDA-X™ライブラリによって高速化されたCloudera Data Engineeringは、以下を実現します。

•  既存コードを変更することなく、Apache Spark 4.1ワークロードをGPUで高速化 

• 分析やAIに必要なETL処理およびデータ準備を高速化 

• 処理時間の短縮によるクラウドインフラコストの削減 

• ドライバーを手動で設定することなく導入可能 

• Cloudera Unified Data Fabricによるエンタープライズレベルのセキュリティとガバナンス 

• パブリッククラウド、プライベートクラウド、ソブリンクラウド、オンプレミスを問わず、一貫したパフォーマンスを提供

GPUアクセラレーションを特定のクラウドプロバイダー上で提供するサービスとは異なり、Clouderaでは、一貫したガバナンスと運用性を維持しながら、ハイブリッド環境全体でGPUによるSparkの高速化を利用できます。オンプレミス、クラウド、エッジなど、データが置かれている環境を問わず、セキュリティや柔軟性を維持したままSparkワークロードを高速化できます。

データパイプラインを高速化し、インフラコストを削減 

AIや分析を効果的に活用するには、信頼できるデータを迅速に、かつ適正なコストで準備できることが重要です。Clouderaが最近実施した「AIアーキテクチャの大転換 調査（The Great Re-Architecture Survey）」では、回答者の84％が、AIワークロードの増加に伴いインフラコストが上昇したと回答しています。Sparkの処理を高速化することで、企業はAIモデルや分析に利用できる高品質なデータをより短時間で準備できるようになります。これにより、データ処理にかかるインフラコストを抑えながら、データエンジニアリング、AI、分析に携わる各チームの生産性向上にもつなげることができます。

Clouderaの最高製品責任者（CPO）であるレオ・ブルニック（Leo Brunnick）は、次のように述べています。「多くの企業にとって、AI活用の制約となっているのはモデルそのものではなく、ローデータから信頼できる有用なインサイトをいかに迅速に引き出せるかという点です。Cloudera Data EngineeringでSparkを高速化することで、このボトルネックの解消を支援し、お客様はガバナンス、セキュリティ、運用の一貫性を維持しながら、データ準備から分析、AI活用までのプロセスをより迅速に進めることができます」

NVIDIAのStrategic Enterprise Partnerships担当バイスプレジデントであるパット・リー（Pat Lee）氏は、次のように述べています。「AI導入を加速するには、企業が現在利用しているシステムや運用方法を生かせるアプローチが重要です。NVIDIA AIインフラストラクチャとCUDA-XライブラリがCloudera Data Engineeringにネイティブに組み込まれたことで、企業はPySparkやSQLのコードを一行も変更することなく、コストを削減しながらApache Sparkパイプラインを大幅に高速化できます。これにより、企業が持つビジネスデータをAI活用の基盤として生かすことができます」

Apache Spark向けGPUアクセラレーション機能は、2026年8月20日にEVOLVE Singaporeで発表したCloudera Anywhere Cloud™の一環として、Cloudera Data Engineeringで提供します。また、今年後半に開催されるNVIDIA GTC BerlinおよびCloudera EVOLVE New Yorkでは、本機能に関する追加のデモンストレーションや技術セッションを予定しています。

詳細についてはCloudera.comをご覧いただくか、今後開催予定のEVOLVEカンファレンスにご登録ください。企業がハイブリッド環境全体でデータエンジニアリングとAIをどのように高速化しているかをご紹介します。

Cloudera について
Clouderaは、あらゆる場所に存在するデータにAIを提供するハイブリッドデータ＆AIプラットフォーム企業として、大手企業から高い信頼を得ています。実績あるオープンソース基盤を活用し、パブリッククラウド、データセンター、エッジを統合する一貫したクラウド体験を提供します。ビッグデータのパイオニアとして、Clouderaは企業があらゆる形態のデータを100%活用し、AIを適用するとともに制御できるよう支援します。これにより、統合されたセキュリティとガバナンス、そしてリアルタイムの予測的インサイトを提供します。世界中のあらゆる業界の大手組織が、意思決定の高度化、収益性の向上、脅威への対策、そして人命の保護のために、Clouderaを活用しています。

 

詳細については、 ホームページをご参照、 Facebook および X をフォローください。Clouderaおよび関連するマークは、Cloudera Inc.の商標または登録商標です。その他すべての企業名および製品名は、それぞれの所有者の商標または登録商標です。