Implémentation d'un Pipeline de Traitement de Données en Streaming avec Amazon Kinesis

INTERMEDIATE
95 minutes
5 tâches

Dans cet atelier, vous allez construire un pipeline de traitement de données en temps réel en utilisant les services Amazon Kinesis. Vous configurerez Kinesis Data Streams pour ingérer des données en streaming, les traiterez avec des fonctions AWS Lambda, et stockerez les résultats dans Amazon S3. De plus, vous configurerez AWS Glue pour cataloguer les données et permettre un accès rapide avec Amazon Athena pour l'analyse des données. Cet atelier vous fournira une expérience pratique avec des services AWS essentiels pour des solutions d'analytique en temps réel, démontrant comment intégrer efficacement des processus de streaming et de batch.

Scénario

Une plateforme vidéo en streaming doit traiter les données d'activité des utilisateurs en temps réel pour fournir des informations sur l'engagement des spectateurs et la popularité des contenus. En tant qu'ingénieur en données, vous allez implémenter un pipeline de traitement capable de gérer simultanément des centaines de flux de données et d'offrir des analyses quasi en temps réel.

Objectifs d'Apprentissage

  • Configurer Amazon Kinesis Data Streams pour ingérer des données en temps réel.
  • Traiter les données en streaming avec des fonctions AWS Lambda.
  • Stocker les données traitées dans Amazon S3 pour la persistance.
  • Utiliser AWS Glue pour cataloguer les données S3 pour l'analyse.
  • Interroger les données cataloguées en utilisant Amazon Athena.

tâches (5)

tâche 1: Créer un flux de données Kinesis pour l'ingestion de la plateforme vidéo

15 min

tâche 2: Développer une fonction Lambda pour traiter les données entrantes

25 min

tâche 3: Stocker les données traitées dans Amazon S3

20 min

tâche 4: Cataloguer les données S3 avec AWS Glue

20 min

tâche 5: Interroger les données traitées à l'aide d'Amazon Athena

15 min

Prérequis

  • Compréhension de base des services AWS tels que Lambda et S3
  • Familiarité avec les concepts de streaming de données

Compétences Testées

Implémenter l'ingestion de données en temps réel avec Amazon Kinesis Data StreamsConfigurer le traitement de données sans serveur avec AWS LambdaStocker et gérer les données traitées dans Amazon S3Utiliser AWS Glue pour le catalogage des donnéesEffectuer des requêtes de données avec Amazon Athena