大数据课程笔记 Day18 数据处理与存储服务深度解析

2021年2月7日，大数据课程进入第十八天，主题聚焦于数据处理与存储服务的核心技术。这一天笔记的核心在于理解大规模数据生态中，存储与计算如何协同工作，并掌握不同工具在数据生命周期中的角色定位。以下是对本次课程内容的系统整理。\n\n## 一、数据存储服务的演进与分层\n\n课程首先回顾了数据存储从单机文件系统到分布式存储的必然演进过程。传统的关系型数据库在处理PB级数据时面临扩展性瓶颈，而Hadoop的HDFS（分布式文件系统）解决了海量文件的存储问题，尤其适合大文件顺序读写场景。HDFS设计上的特点是高容错和低成本，默认复制因子为3，确保了设备故障时的数据灾备能力。\n\n然而原生HDFS在处理中小规模文件时不够高效，因此引入了对象存储（如AWS S3、阿里云OSS）和对列式存储的强调。Parquet与ORC这类列式格式不仅是存储优化策略，更与计算引擎紧密结合，可以显著提升这类选择率较低（列裁剪）的查询场景的I/O加速。\n\n## 二、