Cet algorithme célèbre est principalement Z standard (Zstd), bien que son créateur, Yann, soit également reconnu pour son algorithme précédent, LZ4.
Yann, un ingénieur autodidacte qui a commencé à coder sur son temps libre à l’âge de 35 ans, est connu pour la compression de données. L’algorithme qu’il a créé est si puissant qu’il est littéralement utilisé partout, créant un nouveau standard de l’informatique.
Voici les détails concernant ces deux algorithmes majeurs de compression sans perte :
1. Z Standard (Zstd)
Z standard est l’algorithme qui est aujourd’hui le plus employé.
- Objectif et performance : Zstd a été conçu pour remplacer Z libre, qui était le standard industriel depuis les années 90. L’idée était d’offrir une solution sans compromis où il n’y aurait plus de discussion sur les avantages et les inconvénients par rapport aux anciens compresseurs. Zstd est meilleur sur tous les aspects : il compresse mieux, il est plus rapide et il décompresse plus vite. La différence de performance est jugée « beaucoup trop importante pour être ignoré ».
- Fondation technique : Pour atteindre cette performance, Yann a notamment utilisé une théorie avancée de codage entropique appelée ANS (Asymmetric Numeral Systems), publiée en 2007. L’implémentation de cette technique a permis à Zstd d’atteindre les performances du codage arithmétique tout en conservant la vitesse du codage Hufman.
- Usage : Bien que souvent invisible, Z standard est omniprésent, utilisé dans les data centers, les bases de données, les smartphones et les ordinateurs.
2. LZ4
LZ4 est l’algorithme qui a initialement établi la réputation de Yann dans la vitesse de compression.
- Contexte de création : LZ4 est le résultat des travaux de Yann sur la compression pour sa vieille calculatrice. Il l’a initialement conçu de manière simple pour apprendre le langage C.
- Performance et concurrence avec Google : LZ4 est devenu le compresseur le plus rapide d’après les benchmarks à l’époque. Il est entré en concurrence directe avec l’algorithme de Google, Snappy, que Google a rendu open source en 2011. Snappy avait ouvert la porte à la compression rapide dans les data centers. Cependant, LZ4, plus simple, est rapidement devenu significativement plus performant que Snappy, allant jusqu’à être deux fois plus rapide en vitesse de décompression.
- Caractéristiques clés : LZ4 excelle par sa très grande vitesse de décompression. Cet algorithme est basé sur l’idée simple de rechercher dans le passé des octets identiques (une longueur minimale de 4 octets) et de les référencer par une distance.
- Adoption par l’industrie : LZ4 a d’abord été adopté par les développeurs de jeux vidéo pour sa vitesse élevée. Par la suite, il a été adopté par de grands systèmes de bases de données (comme les compétiteurs de Google Big Table) et a été intégré dans le noyau Linux, faisant de lui un acteur majeur de l’industrie. Aujourd’hui, à chaque fois que vous allumez votre ordinateur ou votre téléphone, l’algorithme de Yann est utilisé.