Borelset's Blog

LPAQ

PAQ系列压缩器把数据压缩问题完全转换为了数据建模问题，根据数据建模进行逐个bit的预测，并结合算术编码来对数据进行压缩。 LPAQ是一个基于PAQ8l的简化版本。 Predictor LPAQ的核心是Predictor。它一方面负责根据输入的数据来进行学习，调整数据建模；另一方面则根据过去的输入结果来对下一个bit进行预测。 Predictor类的成员如下 class Predictor...

Posted by Borelset on June 7, 2022

LossyCompress

浮点数的有损压缩 前一段时间一直在研究有关浮点数有损压缩的一些算法，主要是关于SZ的算法。 简介 SZ Compressor是阿贡国家实验室开启的一个项目，主要用来处理科学计算中产生的海量浮点数数据。阿贡国家实验室数千台超级计算机每16秒产生的数据大约有130TB，一方面为了节省存储资源，另一方面也是为了节省写入数据的时间开销，所以对数据的压缩显得十分必要。但是传统的无损压缩技术面对浮...

Posted by Borelset on April 1, 2019

Rocksdb

最近需要对Rocksdb的内部工作方式进行一些了解，于是看了看Rocksdb的代码，写一写文档。 写入 Rocksdb的写入全都要通过WriteBatch来进行。key/value需要先写入到一个WriteBatch然后再进行写入流程。 WriteBatch内部包含了一个std::string，其中保存了需要写入的内容。 // WriteBatch格式 WriteBatch::rep_ ...

Posted by Borelset on October 20, 2018

TAGS
Algorithm
ABOUT ME

Email: xiangyu.zou@hotmail.com