(window.webpackJsonp=window.webpackJsonp||[]).push([[309],{871:function(e,a,t){"use strict";t.r(a);var r=t(68),i=Object(r.a)({},(function(){var e=this,a=e.$createElement,t=e._self._c||a;return t("ContentSlotsDistributor",{attrs:{"slot-key":e.$parent.slotKey}},[t("h1",{attrs:{id:"写前日志"}},[t("a",{staticClass:"header-anchor",attrs:{href:"#写前日志"}},[e._v("#")]),e._v(" 写前日志")]),e._v(" "),t("h2",{attrs:{id:"工作流程"}},[t("a",{staticClass:"header-anchor",attrs:{href:"#工作流程"}},[e._v("#")]),e._v(" 工作流程")]),e._v(" "),t("ul",[t("li",[e._v("WAL 总体记录原理\n"),t("ul",[t("li",[e._v("对于每一个 Memtable，都会记录一个 WAL 文件，当 Memtable 被 flush 完成时，WAL 会被删掉。")])])]),e._v(" "),t("li",[e._v("WAL 记录细节\n"),t("ul",[t("li",[e._v("在 org.apache.iotdb.db.writelog.manager 中，会不断在 nodeMap 中积累 WAL")]),e._v(" "),t("li",[e._v("WAL 刷磁盘有两种方式（同时启用）\n"),t("ul",[t("li",[e._v("在 org.apache.iotdb.db.writelog.node.ExclusiveWriteLogNode 中会根据配置中的 wal_buffer_size 分配 WAL 的 buffer 大小，如在新增 WAL 过程中超过了该 buffer 大小则刷到磁盘中")]),e._v(" "),t("li",[e._v("在 org.apache.iotdb.db.writelog.node.ExclusiveWriteLogNode 中每次写入记录会判断当前 node 积累的 WAL 大小是否超过配置中的 flush_wal_threshold，如超过则刷到磁盘中")]),e._v(" "),t("li",[e._v("在 org.apache.iotdb.db.writelog.manager.MultiFileLogNodeManager 启动时会生成一个定时线程，根据 force_wal_period_in_ms 定时调用线程将内存中的 nodeMap 刷到磁盘中，调用示例如下\n"),t("ul",[t("li",[e._v("持久化(forceTask)-sleep({force_wal_period_in_ms})-持久化(forceTask)-sleep({force_wal_period_in_ms})")])])])])])])])]),e._v(" "),t("h2",{attrs:{id:"测试结果"}},[t("a",{staticClass:"header-anchor",attrs:{href:"#测试结果"}},[e._v("#")]),e._v(" 测试结果")]),e._v(" "),t("ul",[t("li",[e._v("整个 forceTask 主要耗时都集中在 org.apache.iotdb.db.writelog.io.LogWriter.force()，且因磁盘属性不同差别巨大")]),e._v(" "),t("li",[e._v("分别对 SSD 和 HDD 进行 forceTask 的测试\n"),t("ul",[t("li",[e._v("测试负载为1sg,1device,100sensor,每个sensor写100W个点，force_wal_period_in_ms=10")]),e._v(" "),t("li",[e._v("在 SSD 中，每秒可以刷大约 75MB 的数据到磁盘中")]),e._v(" "),t("li",[e._v("在 HDD 中，每秒可以刷大约 5MB 的数据到磁盘中")]),e._v(" "),t("li",[e._v("所以在 HDD 环境中，用户必须注意调节 force_wal_period_in_ms 不会太小，否则会严重影响写入性能\n"),t("ul",[t("li",[e._v("经过测试，在 HDD 中较优的参数配置为 100ms-200ms，测试结果图如下\n"),t("img",{staticStyle:{width:"100%","max-width":"800px","max-height":"600px","margin-left":"auto","margin-right":"auto",display:"block"},attrs:{src:"https://user-images.githubusercontent.com/24886743/93157479-e3319f80-f73c-11ea-836f-459d03cb2fab.png"}})])])])])])]),e._v(" "),t("h2",{attrs:{id:"相关代码"}},[t("a",{staticClass:"header-anchor",attrs:{href:"#相关代码"}},[e._v("#")]),e._v(" 相关代码")]),e._v(" "),t("ul",[t("li",[e._v("org.apache.iotdb.db.writelog.*")])])])}),[],!1,null,null,null);a.default=i.exports}}]);