Consommer mieux grâce au Big Data

Consommer mieux, c’est avant tout ne consommer que ce dont nous avons vraiment besoin et uniquement quand nous en a vraiment besoin. Et pour savoir ce dont nous avons besoin, il faut avoir une connaissance détaillée à tous les niveaux de ce qui est consommé.

En connaissant mieux les besoins des clients, le producteur et le distributeur d’énergie pourront ajuster leur offre et accompagner les clients dans leurs optimisations. Ils pourront également détecter des anomalies afin de les corriger de manière efficace, telles que la consommation excessive d’un équipement défectueux. Le tout, en temps réel.

Les différents compteurs intelligents et la grande variété de capteurs présents dans les lieux de consommation et de production nous rapportent de grosses quantités d’informations.

Le traitement en temps réel de ces données, grâce notamment à l’Intelligence artificielle permet, entre autres, une gestion proactive des incidents, une meilleure planification de la distribution et la maintenance prédictive des différents équipements impliqués.

Le volume de données généré quotidiennement par un millier de compteurs remontant chacun une seule valeur dépasse le million. Pour pouvoir réellement analyser et comprendre ces données, définir les algorithmes, faire des comparaisons en temps réel, et détecter les signaux faibles :

  • Il est essentiel de conserver l’historique et d’y avoir accès en temps réel ;
  • Les informations des compteurs doivent pouvoir être croisées et corrélées avec d’autres informations telles que la température ou les journaux de fonctionnement de certains équipements ;
  • La fréquence des mesures doit être le plus haut possible.

Il ne s’agit donc plus de millions, voire de milliards de données qui doivent être intelligemment ingérées, stockées et rendues accessibles en temps réel, mais de quantités vertigineuses pouvant atteindre l’équivalent des données déjà stockées depuis des décennies, selon la taille du parc d’habitations pris en compte.

En raison de leur conception, les solutions de base de données actuelles ne peuvent pas traiter correctement ces volumes de données en temps réel.

En effet, les bases de données relationnelles disposent de la richesse fonctionnelle nécessaire aux analyses, mais n’ont pas les possibilités de mise à l’échelle requises ni la capacité de comprimer suffisamment les données. Les bases de données de type noSQL, utilisés dans le Big Data, permettent de stocker de très gros volumes de données, mais ne sont pas du tout adaptées pour la gestion fine demandée par l’Intelligence Artificielle ou le Machine Learning.

Né dans la Finance de Marché, afin de traiter des problématiques similaires, QuasarDB a développé une solution hautement résiliente combinant stockage à grande échelle et interrogation en temps réel qui relève le défi.

QuasarDB est optimisé pour le type de données « Time Series », un format utilisé dans la Finance de Marché, mais qui correspond également à l’information issue de capteurs, compteurs, et Objet connectés.

Par ailleurs, afin d’apporter l’intelligence au plus proche de l’utilisation et de pallier à d’éventuels problèmes de congestion ou d’indisponibilité du réseau, QuasarDB est aussi disponible à un niveau local, ( « Edge Computing »), fonctionnant parfaitement dans de petits équipements peu gourmands (par exemple à base de processeur ARM 32) qui se coordonnent avec les Data Centers du Cloud.

Enfin, une attention particulière a été apportée à la compression optimisant le stockage par un facteur de 100 à 1000 versus les solutions utilisées dans les projets initiaux.

Avec QuasarDB, les différents programmes analytiques ou d’intelligence artificielle sont lancés en production tant au niveau local que du Cloud en s’appuyant sur :

  • la facilité d’utilisation de QuasarDB (requêtes de type SQL, visualisation Grafana intégrée, intégration en Python, R, C/C++, Java, etc.).
  • la notion de « Tags » (meta-data) qui sont disponibles à tous les niveaux et qui facilitent les analyses.
  • les performances en ingestion de données (le Data center supporte plusieurs centaines de millions d’entrées par seconde provenant d’autant de compteurs ou capteurs) et en requête temps réel (QuasarDB est par exemple 3 000 fois plus rapide qu’InfluxDB).

QuasarDB, base de données Time Series, distribuée, transactionnelle, orientée colonne, gère parfaitement le flux d’information provenant de millions de compteurs et capteurs.

QuasarDB, permet de structurer les données de ces flux, les utiliser quand nécessaire, alerter sur les anomalies et grâce à l’intégration de logiciels prédictifs, identifier les causes réelles et les traiter proactivement.

Pour parvenir à ces performances, l’équipe R&D de l’éditeur français QuasarDB a dû développer des algorithmes de compression et de distribution extrêmement complexes, associés à une approche « zero-copy » et transactionnelle.

Mais c’est aussi et surtout grâce à l’expérience acquise dans le monde de la Finance de Marché, très exigeant en termes de performance, de fonctionnalités d’agrégation et de résilience que les résultats ont pu être atteints.

Dans le domaine de l’Énergie, l’utilisation de QuasarDB ne se limite pas à la partie distribution. Par exemple, les parcs éoliens ou solaires comportent un grand nombre de capteurs ; leur efficacité est sans cesse améliorée grâce aux traitements analytiques et souvent instantanés du flux d’information qui en découle.

Enfin, au-delà de la Finance et de l’Énergie, QuasarDB est maintenant adopté dans des secteurs tels que le Transport, l’IOT Industriel ou la Défense, là où la notion de série numérique temporelle est au cœur de la transformation digitale. Aussi, QuasarDB a été sélectionné à ce titre, pour le programme Ubimobility, un programme d’immersion américain spécialisé dans les véhicules autonomes et connectés.

Jean Claude Tagger (jct@quasardb.net) est le COO de QuasarDB. Il a été directeur général de Dell France, président de NEC Computers pour la région EMEA et a occupé plusieurs postes de responsabilité chez Xerox et Philips.
Il est diplômé de l’Ecole Nationale des Ponts et Chaussées et titulaire d’un Master of Science de l’université de Berkeley.
Jct@quasardb.net
www.quasardb.net

Leave a Reply