HDFS的常见数据格式，列式存储格式和行存储格式异同点，列式存储优点有哪些 ？
参考答案：
HDFS的常见数据格式主要包括SequenceFile、Avro、RCFile、Parquet、TextFile等。每种格式都有其独特的特点和应用场景。例如，SequenceFile以二进制键值对的形式存储数据，支持多种记录存储方式；Avro将数据定义和数据一起存储在一条消息中，其中数据定义以JSON格式存储，数据以二进制格式存储；而TextFile则是Hadoop生态系统内部和外部最常见的格式，通常按照行存储，以回车换行符区分不同的行数据。
关于列式存储和行式存储的异同点，主要体现在以下几个方面：
- 存储方式：行式存储将数据按行连续存储，每行数据都存储在一起；而列式存储则将数据按列分开存储，相同列的数据被存放在一起。
- 查询性能：行式存储适合插入操作，但在查询大量数据时，由于需要读取整行数据，可能会产生冗余数据，影响查询效率。而列式存储则非常适合查询操作，因为它只需要读取查询所涉及的列，无需读取整行数据，从而大大减少了I/O操作，提高了查询效率。
- 写入性能：由于行式存储是一次性写入整行数据，因此其写入性能通常优于列式存储。列式存储需要分别写入每列的数据，这可能会增加写入的复杂性和时间。
列式存储的优点主要体现在以下几个方面：
- 查询效率高：由于只读取需要的列，避免了读取无用的数据和解析数据的时间，因此在处理大数据和分析型查询时具有显著的优势。
- 数据压缩率高：因为相同列的数据具有相似的性质，所以列式存储更容易实现高效的数据压缩，从而节省存储空间。
- 更适合数据分析：在数据分析领域，通常只需要对某几列数据进行处理，而不需要读取整个数据集。列式存储正好满足了这种需求，使得数据分析更加高效。
总的来说，HDFS的列式存储和行式存储各有其优缺点，适用于不同的应用场景。在选择存储格式时，需要根据实际需求和场景进行权衡和选择。