CertiPass LogoCertiPass

Construire un Pipeline de Flux de Données avec Amazon Kinesis et AWS Lambda

INTERMEDIATE
100 minutes
5 tâches

Dans cet atelier, vous allez construire un pipeline de flux de données en utilisant Amazon Kinesis Data Streams et Amazon Kinesis Data Firehose. Vous configurerez AWS Lambda pour traiter les données en streaming et les enregistrer dans Amazon S3 pour une analyse ultérieure. Cet atelier vous aidera à comprendre les architectures de données en streaming et l'intégration de ces services pour automatiser et faciliter les pipelines de traitement de données.

Scénario

Une nouvelle entreprise de commerce électronique, FastCommerce, souhaite mettre en place un système de recommandation en temps réel qui traite les données d'interaction des utilisateurs sur sa plateforme. L'entreprise a besoin d'une solution évolutive pour ingérer, traiter et stocker les données avec une latence minimale. Ils nécessitent un système qui exploite des architectures serverless pour maximiser l'efficacité des coûts et l'évolutivité.

Objectifs d'Apprentissage

  • Comprendre comment configurer Amazon Kinesis Data Streams et Data Firehose.
  • Apprendre à traiter les données en streaming avec les fonctions AWS Lambda.
  • Stocker les données traitées dans Amazon S3 pour une analyse future.
  • Revoir les architectures serverless pour l'évolutivité et l'efficacité des coûts.

tâches (5)

tâche 1: Créer un Flux de Données Kinesis

15 min

tâche 2: Configurer une fonction AWS Lambda pour traiter les données

25 min

tâche 3: Configurer Kinesis Data Firehose pour livraison vers S3

20 min

tâche 4: Vérifier et surveiller le flux de données vers S3

20 min

tâche 5: Optimiser et examiner les paramètres de sécurité

20 min

Prérequis

  • •Familiarité avec la console de gestion AWS et la navigation de base.
  • •Compréhension de base des concepts de flux de données.
  • •Savoir créer et gérer des rôles et des politiques IAM.
  • •Compréhension des principes de l'architecture serverless.

Compétences Testées

Configurer et gérer Kinesis Data Streams et Data Firehose.Créer et déployer des fonctions AWS Lambda pour le traitement des données.Utiliser S3 pour la persistance des données et assurer la sécurité via le chiffrement et les politiques IAM.Surveiller les flux de données avec CloudWatch.

Références