Diffusion de données en temps réel avec Amazon Kinesis et AWS Glue

INTERMEDIATE
100 minutes
5 tâches

Dans cet atelier, vous allez construire une architecture de diffusion de données en temps réel en utilisant Amazon Kinesis Data Streams et AWS Glue. Vous allez mettre en place un pipeline d'ingestion de données qui capture, traite et catalogue les données pour les rendre prêtes pour l'analyse en temps réel. Cette solution AWS aide à réduire la latence dans le traitement des données, garantissant que les analyses sont disponibles à la vitesse des besoins de votre entreprise. Construisez un scénario où vous intégrez des données de plusieurs sources sur une seule plateforme pour des flux de travaux analytiques cohérents et simplifiés.

Scénario

Votre entreprise, DataStreamTech, se concentre sur l'amélioration de ses capacités d'analyse en temps réel pour concurrencer dans le marché technologique rapide. En utilisant Amazon Kinesis et AWS Glue, votre équipe est chargée de gérer les flux de données provenant des appareils IoT déployés dans diverses régions, en veillant à ce que les données soient traitées avec un minimum de délai pour maintenir un avantage concurrentiel.

Objectifs d'Apprentissage

  • Configurer Amazon Kinesis Data Streams pour l'ingestion de données en temps réel
  • Configurer les rasteurs AWS Glue pour mettre à jour le catalogue de données
  • Intégrer des travaux AWS Glue pour le traitement des données dans le pipeline
  • Concevoir et vérifier les politiques de cycle de vie des données pour le stockage persistant dans Amazon S3

tâches (5)

tâche 1: Créer un flux de données Kinesis pour l'ingestion de données

15 min

tâche 2: Configurer le rasteur AWS Glue pour le catalogage des données

20 min

tâche 3: Intégrer un travail AWS Glue pour le traitement ETL

25 min

tâche 4: Concevoir des politiques de cycle de vie S3 pour la gestion des données

15 min

tâche 5: Vérifier l'intégrité des données avec AWS Glue Data Catalog

25 min

Prérequis

  • Compréhension de base des services AWS Glue et Kinesis
  • Familiarité avec le stockage AWS S3 et les politiques de cycle de vie

Compétences Testées

Mettre en œuvre l'ingestion de données en temps réel en utilisant Amazon KinesisConfigurer le catalogue de données AWS Glue et les rasteursGestion des tâches ETL en utilisant AWS GlueConcevoir des politiques de cycle de vie S3 pour l'optimisation des coûts
    Diffusion de données en temps réel avec Amazon Kinesis et AWS Glue - Hands-On Lab - CertiPass