Implémentation d'un flux de données en temps réel avec Amazon Kinesis

INTERMEDIATE
110 minutes
5 tâches

Dans cet atelier pratique, vous apprendrez à mettre en œuvre un pipeline de traitement de données en temps réel à l'aide d'Amazon Kinesis. Vous ingérerez des données de streaming à l'aide d'Amazon Kinesis Data Streams, traiterez ces flux à l'aide d'AWS Lambda et Amazon Kinesis Data Analytics, et livrerez les données traitées à Amazon S3 pour stockage. Cet atelier démontrera les aspects pratiques de la mise en place d'un pipeline de données en temps réel capable de gérer de grands volumes de données dans un scénario commercial, vous permettant de réagir aux changements en temps réel et de prendre des décisions basées sur les données rapidement. L'atelier couvre les concepts clés de l'ingestion, du traitement et du stockage des données dans une architecture sans serveur. Vous apprendrez également à garantir la qualité des données tout au long du pipeline de traitement des données. À la fin de cet atelier, vous devriez avoir une solide compréhension de la gestion d'un pipeline de données en temps réel sur AWS et être préparé à des sujets de certification AWS de niveau associé impliquant l'ingénierie des données avec des flux en temps réel.

Scénario

Une entreprise de vente au détail souhaite surveiller en temps réel les interactions des clients sur son site e-commerce pour améliorer l'expérience utilisateur et augmenter les ventes. L'entreprise a besoin d'un pipeline de données fiable et évolutif capable de capturer et d'analyser les événements des clients au fur et à mesure de leur occurrence. Votre tâche consiste à construire un pipeline de traitement de données en temps réel en utilisant Amazon Kinesis Data Streams pour capturer les données, des fonctions AWS Lambda pour traiter les flux entrants, et en stockant les résultats dans Amazon S3 pour une analyse plus approfondie.

Objectifs d'Apprentissage

  • Configurer Amazon Kinesis Data Streams pour ingérer des données en temps réel.
  • Traiter les données de streaming à l'aide d'AWS Lambda et Amazon Kinesis Data Analytics.
  • Stocker les données traitées dans Amazon S3 avec des paramètres de stockage appropriés.
  • Assurer la qualité des données pendant tout le processus du pipeline.

tâches (5)

tâche 1: Créer un flux de données Amazon Kinesis

15 min

tâche 2: Créer une fonction Lambda pour le traitement des flux

20 min

tâche 3: Analyser les données des flux avec Amazon Kinesis Data Analytics

20 min

tâche 4: Stocker les données traitées dans Amazon S3

25 min

tâche 5: Surveiller le traitement des flux avec CloudWatch

30 min

Prérequis

  • Compréhension des concepts de traitement de données en temps réel
  • Connaissance de base des services AWS tels que IAM, S3 et Lambda

Compétences Testées

Mise en œuvre de pipelines de données en temps réel à l'aide d'Amazon KinesisConfiguration du traitement des données sans serveur à l'aide d'AWS LambdaUtilisation d'Amazon S3 pour le stockage et la gestion des donnéesSurveillance du flux de données et de l'analyse avec CloudWatch