Success Story

Véolia et la création de Secure GPT

Challenge

Au printemps 2023, la direction IT groupe de Veolia a décidé la création de Secure GPT, avec l’objectif de maîtriser cette technologie et d’éviter l’usage d’outils grand public. L’ambition était de l’ouvrir d’abord aux 5 000 collaborateurs IT du groupe. Au vu des résultats (taux d’adoption, scalabilité, maîtrise des coûts…), l’application est désormais accessible aux quelque 200 000 collaborateurs de Veolia dans le monde, avec plusieurs mois d’avance sur le calendrier.
Secure GPT offre aujourd’hui 3 services :

  • un chat conversationnel, dont le niveau de créativité peut être ajusté ;
  • la traduction en 95 langues ;
  • la possibilité d’uploader des PDF et fichiers textes pour les interroger en chat (le temps d’une session).

Les premiers développements ont utilisé Google Cloud pour le front et Azure OpenAI pour le LLM et l’embedding, orchestrés via Langchain sur Google Cloud Run. Veolia travaille aujourd’hui à étendre sa plateforme, avec l’implémentation d’AWS Bedrock (Llama2, Claude2, Stability) et de Google Vertex AI (Palm2), ainsi que la mise en œuvre de pgvector dans PostgreSQL, ce qui offrira de la persistance pour interroger les bases de connaissance Veolia.

A terme, l’enjeu pour Veolia sera d’investir sur ce qui apportera de la valeur aux collaborateurs et ne risquera pas de se retrouver dans la roadmap des éditeurs SaaS. En d’autres termes, Veolia n’ira pas optimiser un CRM, mais se focalisera par exemple sur des solutions spécifiques au bon fonctionnement de ses usines.

Secure GPT offre aujourd’hui 3 services :

  • un chat conversationnel, dont le niveau de créativité peut être ajusté ;
  • la traduction en 95 langues ;
  • la possibilité d’uploader des PDF et fichiers textes pour les interroger en chat (le temps d’une session).

Solution

C’est une révolution dans l’IT.
Il y aura forcément des déceptions, des retours en arrière sur tel ou tel PoC, mais globalement, la GenAI va drastiquement changer notre façon de travailler et de développer des logiciels.
Notre devoir est de maîtriser ces nouvelles technos pour accompagner la transition de Veolia.

Fouad Maach

Head of Architecture and Industrialization for Veolia , Group IS&T

Les enseignements de Fouad Maach

Head of Architecture and Industrialization for Veolia Group IS&T

Quelles sont les compétences requises ?
Une personne bien choisie peut faire le boulot mais il faut très vite paralléliser : on peut démarrer avec une très petite équipe pour initier le développement, mais la montée à l’échelle demande la création d’une vraie organisation, où on va faire monter les gens en compétences.
On n’a pas forcément besoin d’être data scientist, mais il faut comprendre les concepts de base, avoir des compétences de développement back et de fortes compétences Cloud – et y ajouter des compétences front et DevOps pour le passage à l’échelle. Les développeurs doivent aussi s’adapter à un changement de paradigme : on passe d’une programmation algorithmique classique à des agents Langchain qui gèrent une partie des décisions : c’est un changement à faire accepter.

Quels autres conseils pouvez-vous donner ?
Soigner la partie juridique : l’équipe “legal” nous a grandement aidé. Les choses auraient été problématiques sans leur validation. Il faut aussi accompagner les utilisateurs : on croit que tout le monde sait utiliser de la GenAI, mais nous nous sommes rendu compte qu’il y avait un besoin de formation ; nous allons déployer un module de e-learning.

Langchain est au cœur de l’architecture ; le framework a donc donné satisfaction ?
Oui, il est simple à utiliser et très puissant. Il répond bien aux attentes d’agnosticité : on peut changer de LLM sans souci. Il y a une petite courbe d’apprentissage, mais après, ce n’est que du bonheur !