写前日志

工作流程

• WAL 总体记录原理
  • 对于每一个 Memtable，都会记录一个 WAL 文件，当 Memtable 被 flush 完成时，WAL 会被删掉。
• WAL 记录细节
  • 在 org.apache.iotdb.db.writelog.manager 中，会不断在 nodeMap 中积累 WAL
  • WAL 刷磁盘有三种方式（同时启用）
    • 在 org.apache.iotdb.db.writelog.node.ExclusiveWriteLogNode 中会根据配置中的 wal_buffer_size 二分之一分配作为 WAL 的logBufferWorking 可写缓存，另外二分之一作为刷盘缓存区，如在新增 WAL 过程中超过了logBufferWorking 大小则刷到磁盘中
    • 在 org.apache.iotdb.db.writelog.node.ExclusiveWriteLogNode 中每次写入记录会判断当前 node 积累的 WAL 大小是否超过配置中的 flush_wal_threshold，如超过则刷到磁盘中
    • 在 org.apache.iotdb.db.writelog.manager.MultiFileLogNodeManager 启动时会生成一个定时线程，每隔 force_wal_period_in_ms 时间间隔定时调用线程将内存中的 nodeMap 刷到磁盘中

测试结果

• 整个 forceTask 主要耗时都集中在 org.apache.iotdb.db.writelog.io.LogWriter.force()，且因磁盘属性不同差别巨大
• 分别对 SSD 和 HDD 进行 forceTask 的测试
  • 测试负载为1sg,1device,100sensor,每个sensor写100W个点，force_wal_period_in_ms=10
  • 在 SSD 中，每秒可以刷大约 75MB 的数据到磁盘中
  • 在 HDD 中，每秒可以刷大约 5MB 的数据到磁盘中
  • 所以在 HDD 环境中，用户必须注意调节 force_wal_period_in_ms 不会太小，否则会严重影响写入性能
    • 经过测试，在 HDD 中较优的参数配置为 100ms-200ms，测试结果图如下

相关代码

• org.apache.iotdb.db.writelog.*