Construire un pipeline de données en streaming avec Amazon Kinesis et AWS Lambda

INTERMEDIATE
80 minutes
5 tâches

Dans cet atelier, vous créerez un pipeline de données en streaming en temps réel en utilisant Amazon Kinesis Data Streams et AWS Lambda. Vous apprendrez comment ingérer des données avec Kinesis, les traiter en temps réel avec Lambda et stocker les données traitées dans Amazon S3. Ce pipeline peut être utilisé dans diverses applications réelles telles que la surveillance des journaux d'applications, les flux de données IoT ou les transactions financières. À la fin de cet atelier, vous aurez une compréhension approfondie de la création de flux de travail de données sans serveur et de l'intégration de différents services AWS.

Scénario

Une entreprise de vente au détail souhaite surveiller et analyser le comportement des clients en temps réel. Elle vise à collecter des données à partir de diverses sources comme les applications web et les capteurs en magasin pour améliorer l'expérience client. Vous êtes chargé de construire un pipeline de données évolutif et fiable qui traite ces données en temps réel et fournit des informations à l'équipe d'analyse.

Objectifs d'Apprentissage

  • Implémenter Amazon Kinesis Data Streams pour capturer des données en temps réel
  • Utiliser AWS Lambda pour traiter des flux de données en temps réel
  • Stocker les données traitées dans Amazon S3 pour une analyse ultérieure
  • Comprendre les flux de travail de données sans serveur avec AWS

tâches (5)

tâche 1: Créer un flux de données Kinesis pour l'ingestion de données en temps réel

10 min

tâche 2: Configurer AWS Lambda pour traiter les données entrantes de Kinesis

15 min

tâche 3: Stocker les données traitées dans Amazon S3

15 min

tâche 4: Implémenter la gestion des erreurs et la surveillance avec CloudWatch

20 min

tâche 5: Optimiser le pipeline de données pour la performance

20 min

Prérequis

  • Compréhension de base d'AWS et de l'informatique en nuage
  • Familiarité avec les architectures sans serveur

Compétences Testées

Implémenter l'ingestion de données en temps réel avec Amazon KinesisTraiter les flux à l'aide de fonctions AWS LambdaStocker et gérer les données traitées dans Amazon S3
    Construire un pipeline de données en streaming avec Amazon Kinesis et AWS Lambda - Hands-On Lab - CertiPass