| (window.webpackJsonp=window.webpackJsonp||[]).push([[313],{878:function(e,t,a){"use strict";a.r(t);var r=a(69),i=Object(r.a)({},(function(){var e=this,t=e.$createElement,a=e._self._c||t;return a("ContentSlotsDistributor",{attrs:{"slot-key":e.$parent.slotKey}},[a("h1",{attrs:{id:"写前日志"}},[a("a",{staticClass:"header-anchor",attrs:{href:"#写前日志"}},[e._v("#")]),e._v(" 写前日志")]),e._v(" "),a("h2",{attrs:{id:"工作流程"}},[a("a",{staticClass:"header-anchor",attrs:{href:"#工作流程"}},[e._v("#")]),e._v(" 工作流程")]),e._v(" "),a("ul",[a("li",[e._v("WAL 总体记录原理\n"),a("ul",[a("li",[e._v("对于每一个 Memtable，都会记录一个 WAL 文件，当 Memtable 被 flush 完成时，WAL 会被删掉。")])])]),e._v(" "),a("li",[e._v("WAL 记录细节\n"),a("ul",[a("li",[e._v("在 org.apache.iotdb.db.writelog.manager 中，会不断在 nodeMap 中积累 WAL")]),e._v(" "),a("li",[e._v("WAL 刷磁盘有三种方式（同时启用）\n"),a("ul",[a("li",[e._v("在 org.apache.iotdb.db.writelog.node.ExclusiveWriteLogNode 中会根据配置中的 wal_buffer_size 二分之一分配作为 WAL 的logBufferWorking 可写缓存，另外二分之一作为刷盘缓存区，如在新增 WAL 过程中超过了logBufferWorking 大小则刷到磁盘中")]),e._v(" "),a("li",[e._v("在 org.apache.iotdb.db.writelog.node.ExclusiveWriteLogNode 中每次写入记录会判断当前 node 积累的 WAL 大小是否超过配置中的 flush_wal_threshold，如超过则刷到磁盘中")]),e._v(" "),a("li",[e._v("在 org.apache.iotdb.db.writelog.manager.MultiFileLogNodeManager 启动时会生成一个定时线程，每隔 force_wal_period_in_ms 时间间隔定时调用线程将内存中的 nodeMap 刷到磁盘中")])])])])])]),e._v(" "),a("h2",{attrs:{id:"测试结果"}},[a("a",{staticClass:"header-anchor",attrs:{href:"#测试结果"}},[e._v("#")]),e._v(" 测试结果")]),e._v(" "),a("ul",[a("li",[e._v("整个 forceTask 主要耗时都集中在 org.apache.iotdb.db.writelog.io.LogWriter.force()，且因磁盘属性不同差别巨大")]),e._v(" "),a("li",[e._v("分别对 SSD 和 HDD 进行 forceTask 的测试\n"),a("ul",[a("li",[e._v("测试负载为1sg,1device,100sensor,每个sensor写100W个点，force_wal_period_in_ms=10")]),e._v(" "),a("li",[e._v("在 SSD 中，每秒可以刷大约 75MB 的数据到磁盘中")]),e._v(" "),a("li",[e._v("在 HDD 中，每秒可以刷大约 5MB 的数据到磁盘中")]),e._v(" "),a("li",[e._v("所以在 HDD 环境中，用户必须注意调节 force_wal_period_in_ms 不会太小，否则会严重影响写入性能\n"),a("ul",[a("li",[e._v("经过测试，在 HDD 中较优的参数配置为 100ms-200ms，测试结果图如下\n"),a("img",{staticStyle:{width:"100%","max-width":"800px","max-height":"600px","margin-left":"auto","margin-right":"auto",display:"block"},attrs:{src:"https://user-images.githubusercontent.com/24886743/93157479-e3319f80-f73c-11ea-836f-459d03cb2fab.png"}})])])])])])]),e._v(" "),a("h2",{attrs:{id:"相关代码"}},[a("a",{staticClass:"header-anchor",attrs:{href:"#相关代码"}},[e._v("#")]),e._v(" 相关代码")]),e._v(" "),a("ul",[a("li",[e._v("org.apache.iotdb.db.writelog.*")])])])}),[],!1,null,null,null);t.default=i.exports}}]); |