理論および計算科学ジャーナル
オープンアクセス

概要

イベントストリーミングプラットフォームで機械学習アーキテクチャを簡素化

カイ・ウェーナー

機械学習 (ML) は、モデルトレーニングとモデル推論に分かれています。ML フレームワークは通常、HDFS や S3 などのデータレイクを使用して履歴データを処理し、分析モデルをトレーニングします。モデル推論と実稼働規模でのリアルタイムのモニタリングは、データレイクを使用する際のもう 1 つの一般的な課題です。ただし、イベント ストリーミング アーキテクチャを使用すると、このようなデータ ストアを完全に回避できます。この講演では、最新のアプローチを従来のバッチおよびビッグ データの代替手段と比較し、簡素化されたアーキテクチャ、さまざまなモデルをトレーニングするために同じ順序でイベントを再処理する機能、手間や問題を大幅に削減してリアルタイム予測を行うためのスケーラブルでミッション クリティカルな ML アーキテクチャを構築する可能性などの利点について説明します。この講演では、オープンソース フレームワークの Apache Kafka と TensorFlow を活用してこれを実現する方法について説明します。