Dans cet atelier, les étudiants construiront un pipeline de données en flux continu en utilisant Amazon Kinesis Data Streams et AWS Glue pour ingérer et transformer des données en temps réel. En utilisant Kinesis Data Streams pour l'ingestion de données et AWS Glue pour la transformation de données, les apprenants développeront une compréhension approfondie du traitement de données en temps réel à grande échelle. Cet atelier simule une entreprise de services financiers collectant et analysant des données de marché boursier en temps réel pour fournir des tableaux de bord analytiques à leurs clients. Les participants mettront en place des flux de données, configureront des travaux AWS Glue pour les processus ETL, et valideront le flux de données à travers le système. Cela inclura des tâches critiques comme la mise en place de producteurs Kinesis, le traitement des données avec les travaux AWS Glue, et l'assurance que les données transformées sont stockées correctement dans Amazon S3.
Global Financial Services Inc. nécessite la capacité de traiter des données de marché boursier en temps réel pour fournir des analyses en direct à leurs clients pour une meilleure prise de décision. Ils ont besoin d'un système robuste et évolutif pour gérer l'ingestion et la transformation de données haute fréquence. Le défi actuel est de mettre en place un processus de streaming fluide utilisant Amazon Kinesis et AWS Glue pour garantir une analyse des données rapide et précise.
