10. Fonctionnalités d’IA générative

Note

Un tutoriel vidéo complet sur l’IA générative est disponible ici.

Cette section documente la configuration et l’utilisation de l’IA générative pour la transformation des données dans l’éditeur de préparation.

10.1. Introduction

Cette transformation permet d’utiliser le langage naturel pour :

Obtenir un diagnostic qualité de l’état du jeu de données avant la transformation.
Transformer les lignes du jeu de données.

La transformation est accessible ici :

Bien que la transformation soit conçue pour utiliser tous types d’IA génératives (ChatGPT, Mistral AI, Llama-2, Falcon LLM,…) seul ChatGPT 4-turbo (« gpt-4-1106-preview ») est supporté pour le moment car il est le seul à proposer une compréhension du langage naturel compatible avec une utilisation de Tale of Data par des non-informaticiens.

Pour pourvoir utiliser cette fonctionnalité, vous devez donc disposer d’une clé d’API OpenAI autorisant l’accès à ChatGPT 4 turbo (nom de code du modèle LLM : « gpt-4-1106-preview »)

10.2. Paramétrer sa clé d’API

Sélectionnez l’item Sécurité et Autorisations dans le menu déroulant utilisateur en haut à gauche :

Dans la fenêtre de dialogue qui s’ouvre, dans l’onglet API ChatGPT, saisissez :

l’URL du point d’accès à l’API (ex : https://api.openai.com/v1/)
Votre clé d’API

Important

Cliquez sur le bouton Enregistrer avant de fermer la fenêtre pour activer le stockage crypté de votre clé d’API.

10.3. Obtenir un diagnostic qualité

Cliquez sur le bouton Audit qualité en haut à droite pour générer un diagnostic qualité pour l’échantillon de données affiché.

Note

Qu’il s’agisse d’obtenir un audit qualité ou d’effectuer une transformation de données, Tale of Data n’envoie à l’IA générative qu’un échantillon des données affichées dans l’éditeur de préparation. Cette échantillon contient au plus une centaine de lignes.

Une fois configurée et validée par l’utilisateur sur l’échantillon, la transformation de données s’appliquera, à l’exécution du flow, sur la totalité du jeu de données.

Pour plus d’efficacité, le bouton Renouveler l’échantillon permet de faire un nouveau sampling de cent lignes à fournir à l’IA générative.

L’IA générative va créer la liste des anomalies détectées dans l’échantillon de données en cours d’édition (avant la transformation). Une fois générée, cette liste s’affichera dans l’onglet Audit qualité avant transformation :

Indication

Attention, selon la bande passante disponible lors des appels au service d’IA générative que vous utilisez, la finalisation de l’Audit Qualité peut prendre de quelques secondes à un peu plus d’une minute

10.4. Transformer les données

En suivant les instructions que vous tapez dans la zone de prompt, l’IA générative effectuera, pour chaque ligne du jeu de données, les transformations que vous lui demandez.

Avertissement

Les lignes sont traitées indépendamment les unes des autres. Autrement dit, vous ne pouvez pas utiliser les données d’une ligne pour transformer une autre ligne. Utilisez les fonctions fenêtre si vous avez besoin, dans votre calcul, d’inclure les lignes avoisinantes d’un enregistrement.

10.4.1. Exemples d’instruction

Sépare les prénoms et les noms de famille
Sépare les composants d’adresse en 3 colonnes : « Rue « , « Code postal » et « Ville »
Formate les numéros de téléphone
Mets la première lettre de chaque mot en majuscule
Dans la colonne C supprime le préfixe « XX »
Supprime les mots de moins de 3 lettres dans la colonne C
etc.

Donnez vos instructions le plus précisément possible.

Vous pouvez par ailleurs utiliser cette transformation pour créer ou déplacer des colonnes

En revanche, vous ne pouvez ni ajouter, ni supprimer des lignes avec cette transformation.

10.4.2. Bonnes pratiques

Pour améliorer la robustesse et la maintenabilité, optez pour une suite de transformations simples et lisibles plutôt que d’essayer de faire une seule transformation contenant plusieurs instructions complexes.
N’hésitez pas à donner des exemples concrets de ce que vous cherchez à accomplir.
Nommez explicitement les colonnes à créer, sans quoi, l’IA le fera pour vous et ce n’est peut-être pas ce que vous souhaitez.

Note

Cette transformation n’envoie de requêtes vers l’IA générative qu’au moment de l’analyse de vos instructions. Ensuite du code est généré. C’est ce code qui sera exécuté à l’exécution du Flow, ce qui présente deux avantages :

L’exécution du flow est rapide.
L’exécution du flow, quel que soit le volume de données, ne consomme aucun token d’API et n’entraîne donc aucun coût financier.

10.4.3. Configuration

Tapez vos instructions dans la zone de prompt
L’onglet Échantillon des données avant transformation affiche des données (avant transformation) dans la table du bas (100 lignes maximum)
Cliquez sur le bouton Transformer les données : l’IA générative va renvoyer une suite d’instructions pour corriger et/ou transformer chaque ligne. Tale of Data contrôlera ces instructions, puis les appliquera à l’échantillon afin que l’utilisateur puisse prévisualiser les résultats.

10.4.4. Analyse des résultats

Un fois la transformation appliquée à l’échantillon, les données transformées s’affichent dans l’onglet Échantillon des données après transformation

Par défaut, seules les colonnes impliquées dans la transformation s’affichent. Si la transformation a créé des nouvelles colonnes, celles-ci s’affichent sur fond bleu clair (un clic sur la boîte à cocher Afficher toutes les colonnes permet de visualiser la totalité des colonnes du jeu de données transformé).

L’onglet Échantillon des données après transformation permet à l’utilisateur de vérifier que le résultat de la transformation correspond bien à ses attentes.

Une vérification plus poussée, mais plus technique est possible : il suffit pour cela de cliquer sur l’onglet Code généré pour la transformation afin d’accéder au code généré (c’est ce code qui sera invoqué à l’exécution du flow).

Le code généré est lisible, concis et facilement contrôlable par quelqu’un qui a l’habitude des scripts ou des macros :

Cliquez sur le bouton rouge Appliquer en bas à gauche pour effectivement appliquer la préparation et l’intégrer au flow :

10.4.5. Édition de la transformation

Comme la plupart des transformations de l’éditeur de préparation, la transformation IA-Générative est facilement éditable :

Cliquez sur l’icône de crayon associée à la transformation dans le volet coulissant de l’historique des préparations :

Il suffit alors de modifier votre prompt à votre convenance et de réappliquer la transformation :