4.2. Nœud cible

4.2.1. Description

Icône : image93

  • Nombre d’entrées : 1.

  • Nombre de sorties : 0.

Définition

Un nœud cible (Sink en anglais) permet d’envoyer des lignes vers un système de stockage.

Paramétrage

L’utilisateur doit spécifier la cible des données image94. Il peut, au besoin, créer une nouvelle cible pour les données (Répertoire fichier distant, base de données, etc.) image95.

Pour certains types de cibles (notamment les fichiers), des paramètres spécifiques sont proposés image96.

Note

Lorsqu’une cible de données est modifiée, les changements sont appliqués automatiquement dès lors que la configuration de la cible est valide.

Exemple

image97

Ici, par exemple, on peut observer le paramétrage d’un nœud cible.

Ce nœud permettra de récupérer les données traitées dans le flow dans un fichier csv.

4.2.2. Mode de sauvegarde

Le mode de sauvegarde image98 permet de déterminer le comportement du flow lorsqu’une cible existe déjà. Une variété de modes de sauvegarde sont disponibles en fonction du type de cible dont il s’agit :

  • Ecraser (Overwrite) :

    écraser le fichier existant.

  • Ajouter (Append) :

    insérer les enregistrements à la fin d’une table ou d’un fichier existant.

  • Créer (Create) :

    créer une nouvelle table ou un nouveau fichier. Dans ce cas, une erreur se produit si la table (ou le fichier) existe déjà.

  • Insérer ou remplacer un onglet :

    ce mode existe pour les feuilles Excel. Cette option permet d’insérer un onglet supplémentaire dans un fichier Excel existant afin d’y insérer les lignes envoyées vers ces types de cible. Si le fichier Excel n’existe pas, il sera créé. Si un onglet du même nom existe déjà dans le fichier Excel, cet onglet sera écrasé.

  • Ecraser (conserver la table cible si elle existe) (Overwrite) :

    disponible pour les bases de données, avec l’option suivante (Truncate). La table sera détruite, récréée puis remplie avec les données.

  • Ecraser (conserver la table cible si elle existe) (Truncate) :

    disponible pour les bases de données, avec l’option précédente. La table sera conservée, vidée puis remplie avec les données.

  • Mettre à jour (Update) :

    disponible pour le connecteur Snowflake. Permet de mettre à jour les données dans le CRM. Pour plus d’informations, voir la section concernée.

Indication

Pour les fichiers Excel, il est ainsi possible de créer des flows avec plusieurs cibles écrivant dans différents onglets du même fichier Excel. Pour ce faire, il est indispensable que toutes les cibles pointant vers ce fichier Excel utilisent le mode de sauvegarde Insérer un onglet. Si tel n’est pas le cas (i.e. si une des cibles pointant vers ce fichier Excel utilise le mode de sauvegarde Ecraser ou Créer), une erreur de configuration sera déclenchée empêchant l’exécution du flow.

4.2.3. Limite d’enregistrements

Il s’agit du nombre d’enregistrements image99 à envoyer vers la cible. Ce nombre doit être strictement positif.

Ne pas spécifier de valeur signifie que l’on souhaite envoyer tous les enregistrements.

Avertissement

La limite du nombre d’enregistrements à écrire est prise en compte après l’échantillonnage.

La limite du nombre d’enregistrements est prise en compte en production (ce qui n’est pas le cas pour un nœud source).

4.2.4. Échantillonnage - ou sampling (en %)

Cette option est à utiliser lorsque l’on ne souhaite pas envoyer la totalité ni les N premiers enregistrements vers la cible. Contrairement à un nœud source, un nœud cible applique cette option en production.

Il s’agit d’un échantillonnage aléatoire d’enregistrements image100 que l’on exprime en pourcentage de la taille totale du jeu de données à envoyer vers la cible. Pour des raisons de performances, ce pourcentage est estimé.

Une valeur de 100 signifie : pas d’échantillonnage : dans ce cas, on souhaite soit envoyer la totalité des enregistrements (pas de limite spécifiée) ou les N premiers enregistrements (limite fixée à N).

4.2.5. Alertes

Il est possible de paramétrer l’envoi d’alertes sur chacune des cibles afin d’être informé lorsque les enregistrements écrits dans une cible valident un critère d’activation. Pour configurer une alerte, se reporter au chapitre Mise en place d’une alerte dans un flow.

4.2.6. Fonctionnement du mode Ajouter (Append) en fonction des types de cibles

Le mode Ajouter (voir modes de sauvegarde) se comporte avec certaines différences en fonction du type de cible. Ceci est visible si la structure des données ne correspond pas à celle de la cible existante telle qu’elle se présente au moment de l’exécution du flow.

Les principaux cas à signaler sont :

  • écriture dans une table de base de données

    Si les données à écrire ont des colonnes en moins par rapport à la cible existante au moment de l’exécution, alors ces colonnes seront remplies avec null pour les lignes ajoutées. Si il existe des colonnes en plus de celles de la cible existante au moment de l’exécution, alors le flow rencontrera une erreur au moment de l’exécution.

  • écriture dans un fichier parquet

    Si les données à écrire ont des colonnes en moins par rapport à la cible existante au moment de l’exécution, alors ces colonnes seront remplies avec null pour les lignes ajoutées. Si il existe des colonnes en plus de celles de la cible existante au moment de l’exécution, alors ces colonnes seront ajoutées au fichier parquet et remplies avec null pour les lignes précédentes.

  • écriture dans un fichier CSV ou Excel

    Les données seront rajoutées à la suite des précédentes sans vérification par rapport à la structure des colonnes existantes. Le respect de l’ordre des colonnes par le créateur du flow sera impératif pour conserver l’intégrité du fichier.