4.2. Sink node

4.2.1. Description

Icon: image93

  • Number of inputs: 1.

  • Number of outputs: 0.

Definition

Sink nodes let you send rows to a storage system.

Configuration

You must specify the data sink image94. If necessary, you can create a new data sink (remote file repository, database,, etc.) image95.

Specific settings are suggested for some types of sink (files in particular) image96.

Note

When a data sink is altered, the changes are applied automatically as soon as the sink configuration has been validated.

Example

image97

This example shows the configuration for a sink node.

The node lets you retrieve data processed in the flow in a csv file.

4.2.2. Save mode

Save mode image98 lets you decide how a flow is to behave if a sink already exists:

  • Ecraser (Overwrite) :

    Overwrite: overwrite an existing table or file.

  • Ajouter (Append) :

    Append: add records to the end of an existing table or file.

  • Créer (Create) :

    Create: create a new table or file. An error will be flagged if the table (or file) already exists.

  • Insérer ou remplacer un onglet :

    ce mode existe pour les feuilles Excel. Cette option permet d’insérer un onglet supplémentaire dans un fichier Excel existant afin d’y insérer les lignes envoyées vers ces types de cible. Si le fichier Excel n’existe pas, il sera créé. Si un onglet du même nom existe déjà dans le fichier Excel, cet onglet sera écrasé.

  • Ecraser (conserver la table cible si elle existe) (Overwrite) :

    disponible pour les bases de données, avec l’option suivante (Truncate). La table sera détruite, récréée puis remplie avec les données.

  • Ecraser (conserver la table cible si elle existe) (Truncate) :

    disponible pour les bases de données, avec l’option précédente. La table sera conservée, vidée puis remplie avec les données.

  • Mettre à jour (Update) :

    disponible pour le connecteur Snowflake. Permet de mettre à jour les données dans le CRM. Pour plus d’informations, voir la section concernée.

Hint

You can therefore create flows with multiple sinks by writing to different tabs in the same Excel file. To do this, all sinks linked to that Excel file MUST use the Insert a tab backup mode. If this is not the case (i.e. if any sink linked to the Excel file uses the Overwrite or Create backup mode), a configuration error will be triggered, preventing the running of the flow.

4.2.3. Record limit

This is the number of records image99 that can be sent to the sink. The number MUST be positive.

If no number is specified, this means that all the records are to be sent.

Warning

The limit on the number of records to be written will be taken into account after sampling.

The limit on record numbers will be taken into account during production (this does not apply to sink nodes).

4.2.4. Sampling (%)

Use this option if you do not want to send all, or the first N, records to the sink. Unlike a source node, a sink nœud uses this option during production.

This is a randomized sample of records image100 expressed as a percentage of the total size of the dataset that is to be sent to the sink.. On performance grounds, the percentage is an estimate.

Value 100 = no sampling. This means you either want to send all the records (no specified limit) or the first N records (max limit N)

4.2.5. Notifications

You can configure notifications for each sink to tell you when records written to a sink validate an activation setting. To configure a notification, see Setting a notification in a flow.

4.2.6. Fonctionnement du mode Ajouter (Append) en fonction des types de cibles

Le mode Ajouter (voir modes de sauvegarde) se comporte avec certaines différences en fonction du type de cible. Ceci est visible si la structure des données ne correspond pas à celle de la cible existante telle qu’elle se présente au moment de l’exécution du flow.

Les principaux cas à signaler sont :

  • écriture dans une table de base de données

    Si les données à écrire ont des colonnes en moins par rapport à la cible existante au moment de l’exécution, alors ces colonnes seront remplies avec null pour les lignes ajoutées. Si il existe des colonnes en plus de celles de la cible existante au moment de l’exécution, alors le flow rencontrera une erreur au moment de l’exécution.

  • écriture dans un fichier parquet

    Si les données à écrire ont des colonnes en moins par rapport à la cible existante au moment de l’exécution, alors ces colonnes seront remplies avec null pour les lignes ajoutées. Si il existe des colonnes en plus de celles de la cible existante au moment de l’exécution, alors ces colonnes seront ajoutées au fichier parquet et remplies avec null pour les lignes précédentes.

  • écriture dans un fichier CSV ou Excel

    Les données seront rajoutées à la suite des précédentes sans vérification par rapport à la structure des colonnes existantes. Le respect de l’ordre des colonnes par le créateur du flow sera impératif pour conserver l’intégrité du fichier.