本章主要介绍 MapReduce 编程模型,以及 MapReduce 的实现原理。
MinerU 是一个一站式开源高质量数据提取工具,将 PDF 转换成 Markdown 和 JSON 格式。
《算法竞赛进阶指南/李煜东》0x00 章节基本算法——递推与递归。
本节知识点:递推与递归宏观描述、简单应用、分治、分形、递归的机器实现。
《算法竞赛进阶指南/李煜东》0x00 章节基本算法——位运算。
本节知识点:补码、移位运算、二进制状态压缩、lowbit 运算。
Ditto 是一个部署在分离内存架构上的弹性自适应的缓存系统。
分离内存架构很好地池化了计算资源和内存资源,但缓存系统在该架构下面临着执行缓存算法和动态资源变化的两大挑战。Ditto 提出了以客户端为中心的缓存框架和分布式缓存自适应方案来解决这两大挑战。
启发:
研究生课程《矩阵论》课程笔记。包括线性空间与线性变换、Jordan标准形、矩阵的广义逆、矩阵分解等内容。
Sherman:分离内存架构的写优化 B+ 索引结构。
关键技术:层级片上锁,两级版本结点结构,RDMA 命令组合。
Linux 默认 IO 是缓冲 IO,但缓冲 IO 并不是在任何时候都是最优的选择,AutoIO 提供了一个透明的 IO 框架,能够根据 IO 情况适当切换缓冲 IO 与直接 IO,结合了二者的优点。
此外,还有服务端写回、跨文件批处理和延迟内存分配等优化方法。
本文介绍了阿里的盘古存储系统如何随着硬件技术和业务模式不断发展,以提供高性能、可靠、低延迟的存储服务。第一阶段,创新文件系统和用户空间存储操作系统充分利用 SSD 和 RDMA 技术,第二阶段,充分利用升级的硬件的系统设计。
本文记录了 Mac 使用过程中的一些使用技巧。为的是在以后重装系统能够快速找回熟悉的环境。