Tweet
Partager
Envoyer

AWS re:Invent Jour 5 : tout sur l’édition 2023

JOUR 5

GenAI omniprésente et annonce d’une solution d’IA responsable

La cinquième et dernière journée de l’AWS Re:Invent 2023 s’est conclue par des sessions d’approfondissement de certaines des nouveautés annoncées cette semaine. Deep Dive sur trois d’entre elles…

1. Amazon Q, le nouveau compagnon de productivité d’AWS

L’ère numérique actuelle est marquée par une quête incessante de gains de productivité, et les technologies d’intelligence artificielle générative (AI Gen) se placent au cœur de cette transformation. Selon une étude de McKinsey, jusqu’à 25 % de nos activités quotidiennes pourraient être automatisées, libérant ainsi jusqu’à deux heures par jour pour chaque employé. Cela concerne une multitude de domaines, y compris le marketing, la R&D, l’analyse financière et le support technique.

Cependant, l’adoption de l’AI Gen n’est pas sans défis. La précision des réponses, la confiance dans les sources et les citations, la sécurité des données et le contrôle d’accès sont des préoccupations majeures. De plus, il est essentiel de démontrer rapidement la valeur ajoutée de ces technologies.

C’est dans ce contexte qu’Amazon a développé Q, un assistant AI Gen qui s’adapte spécifiquement aux besoins des entreprises en matière de données, de code et d’opérations. Amazon Q est applicable dans une vaste gamme de scénarios, agissant à la fois comme un compagnon polyvalent pour les entreprises (façon GPT), ou encore comme aide à la mise en œuvre des services AWS (Q est par exemple intégré dans des outils comme Glue ou QuickSight).

Mais ce qui est très fort avec Q c’est la simplicité d’enrichissement avec les données d’entreprises pour les interroger au travers de l’outil (grâce à la technique du RAG).

Ainsi, Q se connecte à plus de 40 sources de données avec ingestion intégrée et indexation vectorielle. Les cas d’utilisation typiques comprennent la recherche d’informations stockées dans SharePoint, Confluence, Salesforce et des wikis internes, l’accélération de la création de contenu, la synthèse de documents et l’extraction d’insights pour comparaison. Quant aux caractéristiques clés d’Amazon Q, elles incluent des interfaces conversationnelles, l’exécution d’actions via des plugins et des mesures de sécurité et de sûreté robustes, telles que la prévention de la toxicité et l’application de la sécurité d’entreprise sur des données propres, indexées au travers de la technique du RAG.

Un exemple concret est l’intégration d’Amazon Q dans Slack, où il suffit de mentionner @AmazonQ pour démarrer une conversation avec l’assistant. Des démos pratiques montrent également comment créer une application et ajouter des données depuis S3, soulignant la facilité d’utilisation et l’efficacité de Q dans la gestion des données d’entreprise.

En résumé, Amazon Q représente un pas de géant vers l’automatisation intelligente et sûre dans l’entreprise, promettant non seulement des gains de productivité substantiels mais aussi une meilleure gestion des données d’entreprise.


2. L’intégration de données simplifiée et augmentée avec la GenAI

AWS propose depuis de nombreuses années Amazon Glue, un service Serverless d’intégration de données de type ETL permettant de développer et d’exécuter des jobs en PySpark ou Scala, essentiellement destiné donc à des populations de Big Data Engineers. Depuis quelques années, un outil graphique nommé Glue Studio avait fait sont apparition, avec pour vocation d’offrir une expérience plus intuitive de type drag & drop aux développeurs (inspirée des outils de self-ETL du marché) afin de leur permettre de créer des jobs d’extraction et de transformation de données plus rapidement.

Toutefois, la gestion des connecteurs à des données sources externes demeuraient complexe avec Glue, et ralentissait significativement le Time to Data pour de nouvelles sources de données. AWS vient donc d’annoncer la disponibilité de connecteurs Glue natifs pour les principales sources de données Cloud ou on premises du marché (parmi lesquelles Snowflake, Azures CosmosDB et SQL DB, GCP BigQuery, SAP Hana, Teradata, Oracle, SQL Server…) afin de simplifier significativement la connexion des jobs Glue à ces sources. Les connexions à ces sources de données se configurent à présent simplement au travers de quelques écrans en fournissant les paramètres requis.

Pour compléter sa suite d’intégration des données, AWS avait par ailleurs introduit en août dernier Glue Data Quality, une solution Serverless conçue pour définir et exécuter des règles de qualité sur les données en s’appuyant sur une centaine de fonctions intégrées (test d’unicité, de non-nullité, d’intégrité référentielle, de décompte de lignes, calcul d’entropie, etc.) et du langage structuré DQDL (Data Quality Definition Language) qui permet de combiner ce règles de manière intuitive pour en élaborer de plus complexes.

Là aussi, AWS enrichit sont outil en introduisant des règles dynamiques, c’est à dire dont les seuils / valeurs de comparaison ne sont plus statiques mais calculés, et généralement indexés sur la valeur historique des données elles-mêmes. Cela contribue à réduire voire supprimer le temps nécessaire aux développeurs pour ajuster pour ajuster ces valeurs seuils au fur et à mesure de l’évolution des données. AWS a également annoncé la disponibilité d’une fonctionnalité de détection d’anomalies parmi les données, qui s’appuie sur des algorithmes de Machine Learning pour calculer et analyser des statistiques sur les données, générer des observations sur de potentiels problèmes de qualité de données ou des patterns de données difficiles à détecter ou anticiper, et générer les règles correspondantes pour superviser de manière continue leur évolution dans le temps.

Enfin, l’IA générative fait également son apparition dans Glue avec l’intégration d’Amazon CodeWhisperer dans les Notebooks de Glue Studio, capable de générer le code Spark correspondant à un traitement décrit en langage naturel (ex. Write Spark DataFrame into Redshift »), et d’Amazon Q capable de générer des jobs complets d’intégration à partir d’une phrase descriptive, mais également de corriger certaines erreurs ou encore de répondre instantanément aux questions du développeurs via un chat intégré comme le ferait un SME (Subject Matter Expert).

Vers une IA générative plus responsable avec Guardrails pour Amazon Bedrock

Les apports de l’IA générative en matière de productivité professionnelle (création de contenu, recherche et résumé d’informations, génération de rapports BI ou de Code, etc.), d’expérience utilisateur enrichie (assistants virtuels & chatbots, agents d’assistance pour centres de services, analyse de feedbacks ou de conversations…) ou

d’optimisation des processus métiers ne sont déjà plus à démontrer.  Toutefois, le développement d’applications « génératives » présente de nouveaux défis qu’il convient d’anticiper et d’adresser, tels que : le traitement de questions controversées ou la fourniture de réponses éthiquement inappropriées, les risques de sécurité (fuite d’information) liés aux marques, la protection des données utilisateurs sensibles (PII), ou encore la génération toujours possible de réponses biaisées ou stéréotypées.

La plupart des modèles de fondations (FM) d’IA générative tels que Jurassic, Claude ou LLama2 embarquent déjà leurs propres mécanismes de contrôles (« guardrails »), mais ces mécanismes restent limités au cadre général dans lequel ils ont été entraînés. AWS proposent d’aller plus loin avec l’introduction de Guardrails for Bedrock, une solution permettant de définir ses propres règles de sécurité et d’éthique spécifique à chaque application générative.

Ces garde-fous (« safeguards ») peuvent indistinctement s’appliquer à n’importe quel modèle de fondation ainsi qu’aux agents Bedrock conçus pour aider les utilisateurs à accomplir des tâches complexes en utilisant l’intelligence artificielle générative. Ils permettent de filtrer à différents degrés le contenu inapproprié (à caractère haineux, insultant, sexuel ou violent) –tant pour les prompts que pour les réponses générées, de définir et bloquer des sujets interdits à l’aide de descriptions courtes en langage naturel, ou encore de censurer tout ou partie d’une information sensible dans la réponse du modèle FM avant de la retourner à l’utilisateur.

La création de ces règles se fait sans aucun code, simplement au travers d’écrans de configuration et à l’aide de prompts en langage naturel, ce qui rend leur mise en œuvre accessible à des populations non techniques, et les règles peuvent être testées en saisissant des prompts directement dans la console.

Charles Moureau

Charles Moureau

Directeur Cloud4Data

Thomas Dallemagne

Thomas Dallemagne

Partner Advisory

Comment les chatbots transforment nos interactions avec la donnée

Comment les chatbots transforment nos interactions avec...

Les chatbots sont depuis plusieurs années maintenant, rentrés dans nos habitudes de…
Optimisation de la gestion des données produits : un défi structurant remporté par Galeries Lafayette et Micropole

Optimisation de la gestion des données produits :...

Levallois-Perret, le 5 janvier 2024. Micropole, groupe international de conseil spécialisé dans…
Datavisualisation : les 5 pièges à éviter

Datavisualisation : les 5 pièges à éviter

Récolter et stocker sa donnée est devenu plutôt usuel pour les entreprises,…
ACCÉLÉREZ AVEC NOUS
ÊTES-VOUS DATA FLUENT ?

Contactez-nous