top of page

Generatived(Beta)|生成AIの最新ニュースとトレンドを提供

logo.png

フォーチュン 100 小売業者がJSONデータ処理を高速化

Generatived

25/1/30 5:00

フォーチュン 100 の小売企業は、 JSON形式をうまく活用して、非構造化情報を処理する柔軟性を活かし、膨大な在庫データを管理しています。同社が GPU アクセラレーションを実装したことで、データ処理ワークロードの効率が大幅に向上しました。これらのワークロードを GPU で実行することで、実行時間が 16.7 時間からわずか 3.8 時間へと大幅に短縮され、CPU クラスターを使用する場合と比較して 80% のコスト削減につながっています。

小売業者のデータ処理の進歩は、それぞれ NVIDIA T4 GPU を搭載した GCP n1-standard-16 インスタンスの使用によって可能になりました。このセットアップは、単一のインスタンスで数十テラバイトを超えることもある、 JSONデータの広範なクエリを伴う小売業者の Spark ワークロードの処理に効果的であることが証明されています。

GPU でJSONデータを処理する際の課題は、Apache Spark 用の RAPIDS Accelerator によって解決されました。特に、Spark の get_json_object 関数を使用してSQLクエリ内のJSON文字列を解析する場合に課題が顕著でした。文字列のサイズが大きく、関数の呼び出しが頻繁であることによる当初の困難にもかかわらず、指定されたパスに基づいてJSONレコードからオブジェクトを抽出する関数の機能は、小売業者の ETL パイプラインにとって非常に重要でした。

GPU でのJSON処理、特にスパース データを最適化するために、一連の戦略的な改善が実装されました。これには、スレッドの相違を最小限に抑えるためにワープ内で類似データをグループ化することや、相違をさらに減らすためにクエリをソートすることなどが含まれます。RAPIDS cuDF ライブラリのデータ並列トークナイザーの使用も、パフォーマンスの大幅な向上に貢献しました。これらの最適化により、処理時間が 5.6 倍高速化され、年内にさらなる機能強化がリリースされる予定です。RAPIDS Accelerator for Apache Spark は、cuDF と連携してJSONデータの GPU 処理を改善するのに役立ち、企業にコード変更なしで既存の Spark ワークロードを GPU に移行する機会を提供します。

この記事を共有:

最新のニュース
Reflect新人育成AIオンボーディング

Reflect新人育成AIオンボーディング

25/2/27 4:30

リフレクト(東京都品川区)は、生成AIを駆使した新人育成の新標準モデル「生成AI時代の従業員オンボーディングマニュアル2025」を発表。

YOZBOSHIデジタル化支援開始

YOZBOSHIデジタル化支援開始

25/2/27 4:30

YOZBOSHI(東京都練馬区)は、デジタルトランスフォーメーションを支援する「Connected Base」のトライアル利用を開始した。

ソフトクリエイトAI新プラン発表

ソフトクリエイトAI新プラン発表

25/2/27 4:30

ソフトクリエイト(東京都渋谷区)は、企業・団体向け生成AIサービス「Safe AI Gateway」に「マルチテナントプラン」を追加したと発表。

オフィスちゃたに生成AI導入調査報告

オフィスちゃたに生成AI導入調査報告

25/2/27 4:30

オフィスちゃたに(東京都)は、従業員数1,000名以上の企業の経営者を対象に「生成AI導入の実態と経営層のAIリテラシー」に関する調査を実施。

Copyright © 2024 Generatived - All right Reserved.

この記事を共有:

この記事を共有:

Generatived AI Logo

Generatived は、Generative AIに特化した情報やトレンドをお届けするサービスです。大きく変わりゆく世界の情報を全力でお届けします。

  • Facebook
  • X

フォローをお願いします

言語

最新のニュース
Reflect新人育成AIオンボーディング

Reflect新人育成AIオンボーディング

25/2/27 4:30

リフレクト(東京都品川区)は、生成AIを駆使した新人育成の新標準モデル「生成AI時代の従業員オンボーディングマニュアル2025」を発表。

YOZBOSHIデジタル化支援開始

YOZBOSHIデジタル化支援開始

25/2/27 4:30

YOZBOSHI(東京都練馬区)は、デジタルトランスフォーメーションを支援する「Connected Base」のトライアル利用を開始した。

ソフトクリエイトAI新プラン発表

ソフトクリエイトAI新プラン発表

25/2/27 4:30

ソフトクリエイト(東京都渋谷区)は、企業・団体向け生成AIサービス「Safe AI Gateway」に「マルチテナントプラン」を追加したと発表。

オフィスちゃたに生成AI導入調査報告

オフィスちゃたに生成AI導入調査報告

25/2/27 4:30

オフィスちゃたに(東京都)は、従業員数1,000名以上の企業の経営者を対象に「生成AI導入の実態と経営層のAIリテラシー」に関する調査を実施。

bottom of page