Automatiser l'Ingestion de Données avec Amazon Kinesis et AWS Glue

INTERMEDIATE
90 minutes
5 tâches

Dans cet atelier, vous apprendrez à automatiser l'ingestion de données en utilisant Amazon Kinesis et AWS Glue pour créer un pipeline de traitement de données fiable et évolutif. Vous configurerez un flux de données Kinesis pour capturer des données en streaming et utiliserez AWS Glue pour extraire, transformer et charger (ETL) des données dans Amazon S3 pour le stockage. Cet atelier vous enseignera comment ces composants fonctionnent ensemble pour traiter les données en temps réel de manière efficace, permettant des insights rapides.

Scénario

Une entreprise de vente au détail doit simplifier son processus d'ingestion de données pour gérer des volumes croissants de données de vente en temps réel depuis sa plateforme e-commerce. Elle vise à utiliser les services AWS pour créer un pipeline de données capable d'ingérer et de traiter les données de manière efficace, réduisant ainsi la latence dans les rapports de vente et l'analyse.

Objectifs d'Apprentissage

  • Comprendre l'intégration entre Amazon Kinesis Data Streams et AWS Glue.
  • Apprendre à configurer AWS Glue pour traiter les données des flux Kinesis.
  • Mettre en œuvre un pipeline d'ingestion de données évolutif utilisant les services AWS.

tâches (5)

tâche 1: Créer un flux de données Kinesis

15 min

tâche 2: Configurer AWS Glue pour le travail ETL

20 min

tâche 3: Vérifier les Données Sorties dans S3

15 min

tâche 4: Configurer la Surveillance avec CloudWatch

20 min

tâche 5: Optimiser le Stockage des Données dans S3

20 min

Prérequis

  • Compréhension de base des services AWS tels que Kinesis, S3, et Glue.
  • Familiarité avec les concepts de traitement des données et les opérations ETL.

Compétences Testées

Automatiser l'ingestion de données avec Amazon Kinesis et AWS Glue.Orchestration et dépannage de pipeline de données.Traiter les données efficacement à l'aide des services AWS.

Références