Vers un Datalake opérationnel
Nous n'avons jamais généré autant de #data que maintenant, on parle d'une multiplication des volumes et de la diversité des flux en constante augmentation, c'est une réalité. C'est la nouvelle énergie de toutes les entreprises mais elle se doit d'être canalisée et exploitée sereinement.
Aucun texte alternatif pour cette image
Dans mon parcours de ces dernières années, j'ai identifié plusieurs obstacles qui compromettent les investissements des entreprises dans leur projet #Data. En tant qu'entrepreneur je suis là pour résoudre ces problématiques de gestion de la Data.
Aucun texte alternatif pour cette image
Le premier élément déstructurant pour l’entreprise est une conjoncture RH difficile avec une demande en compétences Data supérieure à l'offre du marché. Les profils Data sont rares et beaucoup recherchés, ce qui engendre un turnover important, lui-même, source de perte de connaissance métier.
Le second est la perte de la connaissance. En effet, tout doit toujours aller vite et les collaborateurs passent d'un projet à l'autre le plus rapidement possible en bâclant souvent la documentation technique et fonctionnelle par manque de temps et d'intérêt. Ce phénomène crée une perte de productivité importante dans l'entreprise par l'impossibilité de suivre correctement la compréhension, la maintenance et l'évolution des projets. Il faut parfois reprendre à zéro les sujets car il n'est pas envisageable de faire perdurer des processus fantômes qui exécutent des actions sans pilote.
Aucun texte alternatif pour cette image
La troisième problématique est l’instabilité des flux #Data entrants. Celle-ci est plus sournoise et beaucoup plus difficile à anticiper. En effet, il arrive très souvent que des flux entrants soient modifiés par des partenaires externes ou internes sans information préalable et sans prise de conscience de l'impact de ces évolutions sur l'exploitation du flux. Un flux entrant modifié sans notification vers l'exploitation est en réalité une véritable bombe à retardement.
Après maintes recherches, des échanges avec mes pairs, des recherches de solutions, j’ai compris qu’il fallait prendre le problème dans sa globalité et trouver une organisation couplée à un processus sécurisant.
Depuis toujours, l’Homme a créé des organisations et des règles pour combler des manquements humains en mettant en place des processus à suivre et des outils pour embarquer les automatismes et les contrôles.
L’industrie de la Data ne déroge pas à ce principe avec une organisation qui découpe et qui répartit les responsabilités et les rôles. La #datagouvernance est le fil d’Ariane de la politique d’une entreprise dans son périmètre. On parlera de stratégie et de vision pour préparer l’avenir tant au niveau du pilotage de l’entreprise que de l’innovation.
Pour l’organisation, le chemin est déjà tracé suivant les rôles bien déterminés suivants :
Le #dataowner se concentre sur les règles de Qualité et sur le fait que l’information délivrée corresponde bien aux attendus. Il assure la #datagouvernance de l’entreprise en la transcrivant en actions opérationnelles. On y retrouve souvent des experts des métiers car il faut comprendre les finesses spécifiques à l’entreprise pour bien cadrer la #data à produire.
Le #datasteward est le guide dans l'entreprise pour maintenir la connaissance liée à la stratégie définie. Chaque collaborateur peut présenter ses projets et problématiques il sera épaulé par le #datasteward qui orientera sur les bonnes sources de données.
Le #datacustodian est le gardien du temple de la Data sous l'angle de la sécurité, de l'accessibilité et de la confidentialité. Il structure les sources de Data pour répondre aux attendus du #datasteward, documente les processus et les partage auprès des collaborateurs de l'entreprise. Le #datacustodian est le pendant du #dataowner sous l’angle technique de la Data et aussi le binôme du #datasteward sur l’aspect documentaire des flux, la mesure de la #Qualité et la mise en place des évolutions.
Le #datascientist et le #dataengineer exploitent et font parler la Data afin de révéler les Cas Métiers, les animer et apporter plus d’opportunités dans l’entreprise.
Maintenant que l’organisation est posée, il nous faut l’outillage nécessaire pour opérer l’ensemble des attendus.
C’est là que l’automatisation des processus prend toute son importance. En effet, rappelons nous le contexte, peu de ressources, les collaborateurs surchargés, un besoin de contrôle permanent pour s’assurer des bonnes pratiques des cas d’usages et de la réactivité pour faire face à la concurrence.
La solution qui s’est imposée après un long travail de recherches se décline par les étapes suivantes :
Création d’un environnement auto-apprenant sur les flux afin de faciliter le travail préalable des équipes,
Préparation des #MetaData c'est-à-dire la connaissance synthétique des flux ainsi que leur spécificité.
Restitution des indicateurs de #Qualité de Data pour le pilotage de la Gouvernance.
Production d’une pré-documentation automatique qui sera complétée par le Métier.
Fixation des règles de nettoyage à appliquer afin de respecter les obligations #RGPD ou internes permettant la bonne maîtrise de la #Data,
Contrôle, à chaque itération, des éléments livrés en conformité avec les attendus et proposition de solutions de versionning dans le cas contraire.
Cette offre est une réalité et elle fonctionne de manière agnostique aux environnements Clouds actuels. Elle s’appuie sur des solutions modernes et dans une vision futuriste pleine de promesses.
L'apport de valeur est énorme car il couvre les lacunes rencontrées par le manque de ressources, garantit une documentation standardisée tout en sécurisant et en opérant les traitements dans les règles définies.
Ce talon d’Achille de l'entreprise est donc sécurisé et il ouvre les portes des nouveaux cas d'usages imaginés par le Métier, autorise des processus plus avancés et permet de garantir l'investissement des entreprises et d’aborder l'avenir avec plus d’ambitions.
Nous pouvons parler d’un Combo parfait qui ne peut que répondre aux attentes des directions #marketing et #Data dans leur course à la connaissance et à l'action éclairée.
#data #datalake #rgpd #datagouvernance #datacustodian #datasteward #dataowner #datamanagement #capagile
