IICS | Transmettez des données d'une tâche de mappage à une autre dans un flux de travail Informatica Cloud
Table des matières
- Introduction
- La méthodologie du chargement incrémentiel
- Scénario 1 : Comment transférer la valeur d'une tâche de mappage à une autre en utilisant le paramètre d'entrée/sortie
- Source de données
- Création de la première tâche de mappage pour obtenir la date de mise à jour maximale
- Conversion des données dans la tâche de mappage
- Configuration de la variable de mappage pour stocker la date de mise à jour maximale
- Initialisation de la variable de mappage
- Mappage de la variable de mappage à une colonne cible
- Création de la deuxième tâche de mappage pour obtenir le salaire maximal
- Conversion des données dans la deuxième tâche de mappage
- Utilisation de la variable de mappage pour filtrer les enregistrements
- Publication et exécution du flux de tâches
- Conclusion
📝 Introduction
Dans cette vidéo, nous allons aborder le deuxième sujet que j'ai mentionné dans mon précédent article : comment transférer la valeur d'une tâche de mappage à une autre en utilisant le paramètre d'entrée/sortie.
🏷️ La méthodologie du chargement incrémentiel
Avant de commencer, permettez-moi de vous rappeler rapidement la méthodologie du chargement incrémentiel. Le chargement incrémentiel est une technique utilisée pour mettre à jour uniquement les données qui ont été modifiées depuis la dernière exécution du processus ETL (extraction, transformation et chargement). Cela permet d'économiser du temps et des ressources en évitant de recharger l'ensemble des données à chaque fois.
🔐 Scénario 1 : Comment transférer la valeur d'une tâche de mappage à une autre en utilisant le paramètre d'entrée/sortie
Dans ce scénario, nous allons nous concentrer sur la façon de transférer la valeur de la date de mise à jour maximale d'une tâche de mappage à une autre. Nous allons aborder deux cas d'utilisation différents : comment obtenir l'enregistrement ayant la date de mise à jour maximale et comment obtenir l'enregistrement ayant le salaire maximal. Voyons comment cela peut être réalisé.
Source de données
Nous utiliserons un fichier plat comme source de données pour cet exemple. Vous pouvez trouver le fichier dans la section de discussion de la vidéo. Il contient des enregistrements avec différentes valeurs de salaire et de date de mise à jour.
Création de la première tâche de mappage pour obtenir la date de mise à jour maximale
La première étape consiste à créer une tâche de mappage qui se charge de l'obtention de la date de mise à jour maximale à partir du fichier source. Nous la nommerons "Mapping 1 - Date de mise à jour maximale". Cette tâche doit être configurée pour charger l'ensemble des données du fichier source.
Conversion des données dans la tâche de mappage
Dans cette tâche de mappage, nous devons convertir les données du fichier source en types de données appropriés. Par exemple, la date de mise à jour doit être convertie en format date et le salaire doit être converti en format décimal.
Configuration de la variable de mappage pour stocker la date de mise à jour maximale
Nous devons maintenant configurer une variable de mappage pour stocker la date de mise à jour maximale obtenue dans la première tâche de mappage. Cette variable sera utilisée comme paramètre d'entrée/sortie pour transférer la valeur d'une tâche à l'autre.
Initialisation de la variable de mappage
Avant de pouvoir utiliser la variable de mappage dans la deuxième tâche de mappage, nous devons l'initialiser avec la valeur de la date de mise à jour maximale obtenue dans la première tâche de mappage. Cela se fait en utilisant une fonction intégrée dans l'outil ETL.
Mappage de la variable de mappage à une colonne cible
Pour que la valeur de la date de mise à jour maximale soit utilisée dans la deuxième tâche de mappage, nous devons la mapper à une colonne cible appropriée. Cette colonne recevra la valeur de la date de mise à jour maximale qui sera utilisée pour filtrer les enregistrements.
Création de la deuxième tâche de mappage pour obtenir le salaire maximal
Maintenant que nous avons configuré la première tâche de mappage pour obtenir la date de mise à jour maximale, nous pouvons créer la deuxième tâche de mappage pour obtenir le salaire maximal. Cette tâche sera similaire à la première, mais elle se concentrera sur le salaire plutôt que sur la date de mise à jour.
Conversion des données dans la deuxième tâche de mappage
Comme dans la première tâche de mappage, nous devons également convertir les données du fichier source en types de données appropriés dans la deuxième tâche de mappage. Cette fois-ci, nous nous concentrerons sur la conversion du salaire en format décimal.
Utilisation de la variable de mappage pour filtrer les enregistrements
Dans la deuxième tâche de mappage, nous utiliserons la variable de mappage (contenant la date de mise à jour maximale) comme filtre pour n'obtenir que les enregistrements correspondant à cette valeur maximale. Cela garantit que seuls les enregistrements ayant le salaire maximal seront chargés.
Publication et exécution du flux de tâches
Une fois que nous avons terminé de configurer les deux tâches de mappage et de mettre en place le flux de tâches, nous pouvons publier le flux et l'exécuter. Cela permettra de transférer la valeur de la date de mise à jour maximale de la première tâche de mappage à la deuxième tâche de mappage et de charger les enregistrements correspondants dans la cible.
📝 Conclusion
Dans cet article, nous avons exploré la façon de transférer la valeur d'une tâche de mappage à une autre en utilisant le paramètre d'entrée/sortie. Nous avons couvert deux scénarios différents : obtenir l'enregistrement ayant la date de mise à jour maximale et obtenir l'enregistrement ayant le salaire maximal. J'espère que vous avez trouvé ces informations utiles et que vous pourrez les appliquer dans vos propres projets ETL.