Package: bitshuffle (0.3.5-3.1 and others)

filtro per migliorare la compressione di dati binari con tipo

Bitshuffle è un algoritmo che riorganizza dati binari con tipo per migliorare la compressione, e un pacchetto Python/C che implementa tale algoritmo all'interno dell'infrastruttura Numpy.

La libreria può essere usata insieme a HDF5 per comprimere e decomprimere insiemi di dati ed è integrata tramite l'infrastruttura dei filtri caricati dinamicamente. Bitshuffle è il filtro HDF5 numero 32008.

Algoritmicamente, Bitshuffle è strettamente correlato al filtro Shuffle di HDF5, eccetto che opera a livello di bit invece che a livello di byte. Disponendo un array di dati con tipo in una matrice con gli elementi come le righe e i bit all'interno degli elementi come le colonne, Bitshuffle "traspone" la matrice, in modo che tutti i bit meno significativi siano in riga, ecc. Questa trasposizione è eseguita all'interno di blocchi di dati approssimativamente lunghi 8kB.

Ciò da solo non comprime i dati, semplicemente li ridispone per una compressione più efficiente. Per eseguire la compressione vera e propria è necessaria una libreria di compressione. Bitshuffle è stato progettato per essere ben abbinato a LZF di Marc Lehmann e anche a LZ4. Notare che siccome Bitshuffle modifica i dati a livello di bit, librerie sofisticate per la riduzione dell'entropia come GZIP e BZIP è improbabile che ottengano una compressione significativamente migliore degli algoritmi più semplici e veloci che eliminano le stringhe duplicate, come LZF e LZ4. Perciò Bitshuffle include procedure (e opzioni per filtri HDF5) per applicare la compressione LZ4 a ciascun blocco dopo lo spostamento.

L'algoritmo Bitshuffle si basa sul fatto che gli elementi adiacenti di un insieme di dati siano strettamente correlati per migliorare la compressione dei dati. Qualsiasi correlazione che si estenda per almeno 24 elementi nell'insieme dei dati può essere sfruttata per migliorare la compressione.

Tags: Role: Shared Library

This page is also available in the following languages (How to set the default document language):