| <rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom"><channel><title>Apache Dubbo – Apache Dubbo 中文</title><link>https://dubbo.apache.org/zh-cn/</link><description>Recent content in Apache Dubbo 中文 on Apache Dubbo</description><generator>Hugo -- gohugo.io</generator><language>zh-cn</language><atom:link href="https://dubbo.apache.org/zh-cn/index.xml" rel="self" type="application/rss+xml"/><item><title>Blog: 阿里巴巴升级 Dubbo3 全面取代 HSF2</title><link>https://dubbo.apache.org/zh-cn/blog/2023/01/16/%E9%98%BF%E9%87%8C%E5%B7%B4%E5%B7%B4%E5%8D%87%E7%BA%A7-dubbo3-%E5%85%A8%E9%9D%A2%E5%8F%96%E4%BB%A3-hsf2/</link><pubDate>Mon, 16 Jan 2023 00:00:00 +0000</pubDate><guid>https://dubbo.apache.org/zh-cn/blog/2023/01/16/%E9%98%BF%E9%87%8C%E5%B7%B4%E5%B7%B4%E5%8D%87%E7%BA%A7-dubbo3-%E5%85%A8%E9%9D%A2%E5%8F%96%E4%BB%A3-hsf2/</guid><description> |
| <p>继业务全面上云后，2022 双十一，阿里巴巴微服务技术栈全面迁移到以 Dubbo3 为代表的云上开源标准中间件体系。在业务上，基于 Dubbo3 首次实现了关键业务不停推、不降级的全面用户体验提升，从技术上，大幅提高研发与运维效率的同时地址推送等关键资源利用率提升超 40%，基于三位一体的 Dubbo3 开源中间件体系打造了阿里在云上的单元化最佳实践和统一标准，同时将规模化实践经验与技术创新贡献开源社区，成为微服务开源技术与标准发展的核心源泉与推动力。</p> |
| <h2 id="1-阿里电商">1 阿里电商</h2> |
| <p><img src="https://intranetproxy.alipay.com/skylark/lark/0/2022/png/54037/1670649639544-2c49fc49-b25e-4fc9-845e-8b377ceba3bc.png#clientId=u31fa6127-23e9-4&amp;crop=0&amp;crop=0&amp;crop=1&amp;crop=1&amp;from=paste&amp;height=66&amp;id=uf434669b&amp;margin=%5Bobject%20Object%5D&amp;name=image.png&amp;originHeight=132&amp;originWidth=204&amp;originalType=binary&amp;ratio=1&amp;rotation=0&amp;showTitle=false&amp;size=13316&amp;status=done&amp;style=none&amp;taskId=u81ec2327-b1f6-43a2-b908-31b91796169&amp;title=&amp;width=102" alt="image.png"> <img src="https://intranetproxy.alipay.com/skylark/lark/0/2022/png/54037/1670649088160-85a607de-4737-4e2d-90b2-49bf5b949332.png#clientId=u31fa6127-23e9-4&amp;crop=0&amp;crop=0&amp;crop=1&amp;crop=1&amp;from=paste&amp;height=81&amp;id=l0QsD&amp;margin=%5Bobject%20Object%5D&amp;name=image.png&amp;originHeight=162&amp;originWidth=308&amp;originalType=binary&amp;ratio=1&amp;rotation=0&amp;showTitle=false&amp;size=61949&amp;status=done&amp;style=none&amp;taskId=ubb9c1593-7f65-4c84-997a-34e8e9b7f47&amp;title=&amp;width=154" alt="image.png"> <img src="https://intranetproxy.alipay.com/skylark/lark/0/2022/png/54037/1670649669327-fe6b77b6-3f34-4a18-b5c6-726729b69331.png#clientId=u31fa6127-23e9-4&amp;crop=0&amp;crop=0&amp;crop=1&amp;crop=1&amp;from=paste&amp;height=74&amp;id=ufc994d2f&amp;margin=%5Bobject%20Object%5D&amp;name=image.png&amp;originHeight=148&amp;originWidth=404&amp;originalType=binary&amp;ratio=1&amp;rotation=0&amp;showTitle=false&amp;size=35362&amp;status=done&amp;style=none&amp;taskId=u2637ee3c-ea26-4a75-9a5c-2be5e913957&amp;title=&amp;width=202" alt="image.png"> &hellip;&hellip;</p> |
| <p>整个电商体系的所有核心应用，包括交易相关、导购相关都都升级到了 Dubbo3 体系，用来替换原有的 HSF 框架，阿里电商是对 Dubbo3 实践最广泛、需求最强烈的体系，基于 Dubbo3 实现了以下关键目标。 |
| 2022 618大促、双11 大促期间 超 2000+ 应用、40w 节点均跑在 Dubbo3 之上。</p> |
| <ul> |
| <li>应用级服务发现，解决了大促期间地址推送降级的问题，部分关键链路提升单机资源利用率 40%，大促期间地址推送SLA保障、资源利用率。</li> |
| <li>Triple协议，解决跨网关高效互通的问题，同时部分业务线升级了 Streaming 编程和通信模式。</li> |
| <li>统一的流量治理规则，阿里电商场景的路由规则非常复杂，基于实现了云原生体系的结合。</li> |
| <li>Service Mesh 解决方案，Thin SDK + Proxyless 的解决方案</li> |
| <li>服务柔性，目前正在落地和探索自适应负载均衡、自适应限流等策略。</li> |
| </ul> |
| <h2 id="2-蚂蚁金服">2 蚂蚁金服</h2> |
| <p><img src="https://intranetproxy.alipay.com/skylark/lark/0/2022/png/54037/1670648656034-5b9cfafc-899b-400b-9edb-4e6775febba4.png#clientId=u31fa6127-23e9-4&amp;crop=0&amp;crop=0&amp;crop=1&amp;crop=1&amp;from=paste&amp;height=46&amp;id=ub2336156&amp;margin=%5Bobject%20Object%5D&amp;name=image.png&amp;originHeight=66&amp;originWidth=162&amp;originalType=binary&amp;ratio=1&amp;rotation=0&amp;showTitle=false&amp;size=10659&amp;status=done&amp;style=none&amp;taskId=u79c80d75-a418-4b93-b16d-6c46304d343&amp;title=&amp;width=113" alt="image.png"> <img src="https://intranetproxy.alipay.com/skylark/lark/0/2022/png/54037/1670649020622-256254e8-4ef1-43f6-b1c1-a9d29b80bdd1.png#clientId=u31fa6127-23e9-4&amp;crop=0&amp;crop=0&amp;crop=1&amp;crop=1&amp;from=paste&amp;height=57&amp;id=uf2a1d369&amp;margin=%5Bobject%20Object%5D&amp;name=image.png&amp;originHeight=114&amp;originWidth=372&amp;originalType=binary&amp;ratio=1&amp;rotation=0&amp;showTitle=false&amp;size=25430&amp;status=done&amp;style=none&amp;taskId=u685e5a50-cdcc-45d4-9806-f119df0d378&amp;title=&amp;width=186" alt="image.png"> <img src="https://intranetproxy.alipay.com/skylark/lark/0/2022/png/54037/1670649055218-13ba694c-68e6-4e88-b981-a8db546839b0.png#clientId=u31fa6127-23e9-4&amp;crop=0&amp;crop=0&amp;crop=1&amp;crop=1&amp;from=paste&amp;height=59&amp;id=ue3ffce18&amp;margin=%5Bobject%20Object%5D&amp;name=image.png&amp;originHeight=118&amp;originWidth=414&amp;originalType=binary&amp;ratio=1&amp;rotation=0&amp;showTitle=false&amp;size=9958&amp;status=done&amp;style=none&amp;taskId=u25313916-0a19-4b21-a6c1-5da20a95dca&amp;title=&amp;width=207" alt="image.png"><img src="https://intranetproxy.alipay.com/skylark/lark/0/2022/png/54037/1670649088160-85a607de-4737-4e2d-90b2-49bf5b949332.png#clientId=u31fa6127-23e9-4&amp;crop=0&amp;crop=0&amp;crop=1&amp;crop=1&amp;from=paste&amp;height=81&amp;id=ud329ff16&amp;margin=%5Bobject%20Object%5D&amp;name=image.png&amp;originHeight=162&amp;originWidth=308&amp;originalType=binary&amp;ratio=1&amp;rotation=0&amp;showTitle=false&amp;size=61949&amp;status=done&amp;style=none&amp;taskId=ubb9c1593-7f65-4c84-997a-34e8e9b7f47&amp;title=&amp;width=154" alt="image.png"></p> |
| <p>阿里集团内与蚂蚁体系的互通，目前都跑在 Dubbo3 Triple 互通链路上，与原有基于 HSF 的互通方案对比，Triple 协议链路的 RT 降低了 50%。集团与蚂蚁东西向流量的核心链路，飞猪、手淘、口碑、饿了么、1688、部分导购应用、商品库、评价等业务都采用此方案。</p> |
| <h2 id="3-本地生活">3 本地生活</h2> |
| <p><img src="https://intranetproxy.alipay.com/skylark/lark/0/2022/png/54037/1670648615017-544b873b-4bc3-4e17-8eac-87bf5d42cbf3.png#clientId=u31fa6127-23e9-4&amp;crop=0&amp;crop=0&amp;crop=1&amp;crop=1&amp;from=paste&amp;height=53&amp;id=u397bea65&amp;margin=%5Bobject%20Object%5D&amp;name=image.png&amp;originHeight=106&amp;originWidth=308&amp;originalType=binary&amp;ratio=1&amp;rotation=0&amp;showTitle=false&amp;size=15119&amp;status=done&amp;style=none&amp;taskId=u727184c0-ef5b-4156-91b9-8e927657a98&amp;title=&amp;width=154" alt="image.png"> <img src="https://intranetproxy.alipay.com/skylark/lark/0/2022/png/54037/1670650306384-a949c14f-191f-4537-b5d5-dc28844ca490.png#clientId=u8f193c04-9173-4&amp;crop=0&amp;crop=0&amp;crop=1&amp;crop=1&amp;from=paste&amp;height=45&amp;id=u0dfaf022&amp;margin=%5Bobject%20Object%5D&amp;name=image.png&amp;originHeight=84&amp;originWidth=272&amp;originalType=binary&amp;ratio=1&amp;rotation=0&amp;showTitle=false&amp;size=20212&amp;status=done&amp;style=none&amp;taskId=u466a9278-caf7-40ad-ba03-d2fb168f83f&amp;title=&amp;width=147" alt="image.png"></p> |
| <p>截止 2022 年初，Dubbo3 实现了在饿了么全量业务的生产上线，取代了之前自建的微服务体系，在过去的近一年时间内，饿了么线上有 2000 应用、15w 实例节点平稳跑在 Dubbo3 之上。</p> |
| <p>饿了么成功升级 Dubbo3 及应用级服务发现模型，实现了和阿里电商系统互通、单元化体系互通架构的升级，实现了去 proxy 架构的目标，在饿了么关心的服务发现数据链路上：</p> |
| <ul> |
| <li>数据注册与订阅的传输量下降 90%</li> |
| <li>注册中心数据存储的总体资源占用下降 90%</li> |
| <li>消费端服务框架自身的常驻内存消耗下降达 50%</li> |
| </ul> |
| <p>集群总体的稳定性、性能都得到明显提升，也为未来容量扩展做好准备。</p> |
| <h2 id="4-钉钉">4 钉钉</h2> |
| <p><img src="https://intranetproxy.alipay.com/skylark/lark/0/2022/png/54037/1670649135935-0d6804cc-00ca-4acb-a7b3-842377d1a6b0.png#clientId=u31fa6127-23e9-4&amp;crop=0&amp;crop=0&amp;crop=1&amp;crop=1&amp;from=paste&amp;height=57&amp;id=u6203f26b&amp;margin=%5Bobject%20Object%5D&amp;name=image.png&amp;originHeight=114&amp;originWidth=266&amp;originalType=binary&amp;ratio=1&amp;rotation=0&amp;showTitle=false&amp;size=10659&amp;status=done&amp;style=none&amp;taskId=ufd0b0ffa-2aff-4ba9-83c7-764ae24a31a&amp;title=&amp;width=133" alt="image.png"></p> |
| <p>钉钉核心业务在 2021 年实现了 Dubbo3 升级，基于 Triple 协议解决了云上、云下混合部署环境的互通问题。</p> |
| <h2 id="5-阿里云">5 阿里云</h2> |
| <p><img src="https://intranetproxy.alipay.com/skylark/lark/0/2022/png/54037/1670649159068-ed9ba59b-9e3d-4268-be7e-c327227baa7b.png#clientId=u31fa6127-23e9-4&amp;crop=0&amp;crop=0&amp;crop=1&amp;crop=1&amp;from=paste&amp;height=44&amp;id=u90dcb125&amp;margin=%5Bobject%20Object%5D&amp;name=image.png&amp;originHeight=88&amp;originWidth=216&amp;originalType=binary&amp;ratio=1&amp;rotation=0&amp;showTitle=false&amp;size=7597&amp;status=done&amp;style=none&amp;taskId=ub661eabe-098b-4f30-b213-bd1b8dea581&amp;title=&amp;width=108" alt="image.png"></p> |
| <p>阿里云公有云、转有云核心底座目前正全面迁移到 Dubbo3 体系，取代老版本的 Dubbo2 体系，预计本财年结束就能全部跑在 Dubbo3 之上。 |
| 除此之外，阿里云平台上的大部分对外售卖产品，目前都基于 Dubbo3 提供服务或提供 Dubbo3 支持，如微服务引擎MSE、达摩院店小蜜、教育平台、视频云业务等。</p> |
| <h2 id="6-菜鸟">6 菜鸟</h2> |
| <p><img src="https://intranetproxy.alipay.com/skylark/lark/0/2022/png/54037/1670650418063-31eee85d-9e6a-474c-ade7-4a45fc956ae4.png#clientId=u8f193c04-9173-4&amp;crop=0&amp;crop=0&amp;crop=1&amp;crop=1&amp;from=paste&amp;height=64&amp;id=ud036f280&amp;margin=%5Bobject%20Object%5D&amp;name=image.png&amp;originHeight=128&amp;originWidth=290&amp;originalType=binary&amp;ratio=1&amp;rotation=0&amp;showTitle=false&amp;size=13571&amp;status=done&amp;style=none&amp;taskId=u8d7f509c-983a-483b-9fd9-00cf05f65c8&amp;title=&amp;width=145" alt="image.png"></p> |
| <p>2022 年中下旬，菜鸟网络部分核心业务开始推进 Dubbo3 的全面升级，目前生产数据正在采集中。</p></description></item><item><title>Blog: 序列化协议安全</title><link>https://dubbo.apache.org/zh-cn/blog/1/01/01/%E5%BA%8F%E5%88%97%E5%8C%96%E5%8D%8F%E8%AE%AE%E5%AE%89%E5%85%A8/</link><pubDate>Mon, 01 Jan 0001 00:00:00 +0000</pubDate><guid>https://dubbo.apache.org/zh-cn/blog/1/01/01/%E5%BA%8F%E5%88%97%E5%8C%96%E5%8D%8F%E8%AE%AE%E5%AE%89%E5%85%A8/</guid><description> |
| <p>Dubbo3.0在序列化协议安全方面进行了升级加固，推荐使用Tripe协议非Wrapper模式。 |
| 该协议默认安全，但需要开发人员编写IDL文件。</p> |
| <p>Triple协议Wrapper模式下，允许兼容其它序列化数据，提供了良好的兼容性。但其它协议可能存在反序列化安全缺陷，对于Hession2协议，高安全属性用户应当按照samples代码指示，开启白名单模式，框架默认会开启黑名单模式，拦截恶意调用。</p> |
| <p>不建议使用其它序列化协议，当攻击者可访问Provider接口时，其它序列化协议的安全缺陷，可能导致 Povider 接口命令执行。</p> |
| <p>若必须使用其它序列化协议，同时希望具备一定安全性。应当开启Token鉴权机制，防止未鉴权的不可信请求来源威胁Provider的安全性。开启Token鉴权机制时，应当同步开启注册中心的鉴权功能。</p></description></item><item><title>Blog: 工商银行 Dubbo3 应用级服务发现实践</title><link>https://dubbo.apache.org/zh-cn/blog/2023/01/15/%E5%B7%A5%E5%95%86%E9%93%B6%E8%A1%8C-dubbo3-%E5%BA%94%E7%94%A8%E7%BA%A7%E6%9C%8D%E5%8A%A1%E5%8F%91%E7%8E%B0%E5%AE%9E%E8%B7%B5/</link><pubDate>Sun, 15 Jan 2023 00:00:00 +0000</pubDate><guid>https://dubbo.apache.org/zh-cn/blog/2023/01/15/%E5%B7%A5%E5%95%86%E9%93%B6%E8%A1%8C-dubbo3-%E5%BA%94%E7%94%A8%E7%BA%A7%E6%9C%8D%E5%8A%A1%E5%8F%91%E7%8E%B0%E5%AE%9E%E8%B7%B5/</guid><description> |
| <h3 id="问题分析">问题分析</h3> |
| <p>以下是经典的 Dubbo 的工作原理图，服务提供者和消费者通过注册中心协调实现地址的自动发现。</p> |
| <p><img src="https://dubbo.apache.org/imgs/user/icbc/icbc-analyze.png" alt="icbc-analyze"></p> |
| <p>工商银行面临的主要瓶颈是在注册中心与服务消费端，接口级别地址的数量已经是亿级规模，一方面存储容量达到瓶颈、另一方面推送效率明显下降；而在消费端这一侧，Dubbo2 框架常驻内存已超 40%，每次地址推送带来的 cpu 等资源消耗率也非常高，影响正常的业务调用。</p> |
| <p>这是 Dubbo2 接口级服务发现架构在大规模集群场景下的固有问题（具体原因请查看应用级服务发现原理解析），通过常规的性能优化无法从根本上解决问题。因此工商银行采用了 Dubbo3 中提出的应用级服务发现模型，经过实测，新的服务发现模型能实现节点到注册中心间数据传输量 90% 的下降，这就使得注册中心的压力极大降低，同时消费端的框架常驻内存也实现超 50% 下降。</p> |
| <h3 id="压测数据">压测数据</h3> |
| <p>下面是工商银行联合 Dubbo 社区给出的一组基于真实服务特点给出的模拟压测数据。</p> |
| <p><img src="https://dubbo.apache.org/imgs/user/icbc/icbc-data1.png" alt="icbc-data1"></p> |
| <p>上图是对使用了应用级服务发现的消费端进程采样的内存对比数据。其中横轴是不同的 Dubbo 版本，纵轴是实际采样到的内存表现，可以看到 Dubbo 2.6、2.7 版本表现几乎一致，而升级到 3.0 版本后，即使不升级应用级服务发现，内存也降低接近 40%，而当切换到应用级服务发现之后，内存占用下降到只有原来的 30%。</p> |
| <p><img src="https://dubbo.apache.org/imgs/user/icbc/icbc-data2.png" alt="icbc-data2"></p> |
| <p>上图是消费端的 GC 情况统计，同样的，横轴是不同的 Dubbo 版本，纵轴是实际采样到的 GC 表现。这里的压测数据，是通过模拟注册中心不停的往消费端进程推送地址列表的场景得到的。可以看到 Dubbo 2.6、2.7 版本表现几乎一致，而在 3.0 版本中切换到应用级服务发现之后，GC 已经趋近于零次。</p></description></item><item><title>Blog: 饿了么全站成功升级 Dubbo3</title><link>https://dubbo.apache.org/zh-cn/blog/2023/01/15/%E9%A5%BF%E4%BA%86%E4%B9%88%E5%85%A8%E7%AB%99%E6%88%90%E5%8A%9F%E5%8D%87%E7%BA%A7-dubbo3/</link><pubDate>Sun, 15 Jan 2023 00:00:00 +0000</pubDate><guid>https://dubbo.apache.org/zh-cn/blog/2023/01/15/%E9%A5%BF%E4%BA%86%E4%B9%88%E5%85%A8%E7%AB%99%E6%88%90%E5%8A%9F%E5%8D%87%E7%BA%A7-dubbo3/</guid><description> |
| <h3 id="升级目标">升级目标</h3> |
| <p><img src="https://dubbo.apache.org/imgs/user/eleme/elem-arc.png" alt="elem-arc"></p> |
| <p>这里是饿了么的的基本部署架构图。</p> |
| <p>在升级之前，饿了么的微服务框架采用的是 HSF2，跨单元的 RPC 调用是通过 proxy 中转代理，在这个过程中 proxy 所承载的机器数和流量迅速增长，比较突出的一点是 proxy 在订阅所有的地址数据后资源消耗和稳定性都收到严峻挑战。</p> |
| <p>通过全站升级 Dubbo3，业务线期望达到两个目标：</p> |
| <ul> |
| <li>将地址模型切换到应用级服务发现大幅减轻中心化节点和消费端节点的资源消耗压力。</li> |
| <li>以应用级服务发现架构下的全局共享注册中心取代 proxy 模式，实现跨单元节点通信直连。</li> |
| </ul> |
| <h3 id="升级过程">升级过程</h3> |
| <p><img src="https://dubbo.apache.org/imgs/user/eleme/elem-upgrade1.png" alt="eleme-upgrade1"></p> |
| <p>不论是针对 Dubbo2 还是 HSF2，我们都做了全面的 API 兼容，因此 Dubbo3 基本可以做到零改造升级，并且每个应用都是独立透明升级，不需要关心它的上下游应用的升级状态，因为 Dubbo3 升级之后不论是从地址发现模型还是协议的默认行为都保持与 2.0 版本兼容，用户可以在任意时间点对任意应用按需切换 Dubbo3 行为。 |
| 如右图所示，我们模拟展示了饿了么集群 Dubbo3 升级过程的一个中间状态，其中灰色标记的是老版本 HSF2 应用，橙色和绿色标记的是已经升级 Dubbo3 的应用，橙色部分的应用及其调用链路代表不但已经升级到 Dubbo3，同时也完成了 Dubbo3 行为的切换，在这里是指已经切换到了应用级地址模型。这里的升级过程主要为了说明 Dubbo3 框架升级的兼容性和独立性。</p> |
| <p>接下来，我们详细分析一下橙色部分节点往 Dubbo3 应用级发现迁移的具体过程。</p> |
| <p><img src="https://dubbo.apache.org/imgs/user/eleme/elem-upgrade-provider.png" alt="elem-upgrade-provider"></p> |
| <p>首先看 Provider 侧，服务提供者在升级 Dubbo3 后会默认保持双注册行为，即同时注册接口级地址和应用级地址到注册中心，一方面保持兼容，另一方面为未来消费端迁移做好准备。双注册的开关可通过 -Ddubbo.application.register-mode=al/interface/interface控制，我们推荐保持双注册的默认行为以减少后续迁移成本。</p> |
| <p>大家可能担心双注册给注册中心带来的存储压力，实际上在应用级服务发现模型下这并不是一个问题，因为大家如果回想前面我们对应用级服务发现工作原理的分析，注册地址已经被大幅精简，根据我们实际推算，每多注册一条应用级服务发现 URL 地址，只会增加 0.1% ～ 1% 的额外开销。</p> |
| <p><img src="https://dubbo.apache.org/imgs/user/eleme/elem-upgrade-consumer.png" alt="elem-upgrade-consumer"></p> |
| <p>与提供端类似，要实现平滑迁移消费端也要经历双订阅的过程，流程上就不再赘述。消费端的双订阅行为也可通过规则或开关进行动态调整，控制消费端的消费的某个服务、应用迁移到应用级地址模型；除此之外，Dubbo3 还内置了自动决策机制，在发现应用级地址可用的情况下即会自动完成切换，并且这个行为是默认的。</p> |
| <p>以下是消费端双订阅时的选址流程：</p> |
| <p><img src="https://dubbo.apache.org/imgs/user/eleme/elem-upgrade-consumer1.png" alt="elem-upgrade-consumer1"></p> |
| <h3 id="升级效果">升级效果</h3> |
| <p><img src="https://dubbo.apache.org/imgs/user/eleme/elem-result.png" alt="elem-result"></p> |
| <p>饿了么成功升级 Dubbo3 及应用级服务发现模型，实现了去 proxy 架构的目标，在我们关心的服务发现数据链路上：</p> |
| <ul> |
| <li>数据注册与订阅的传输量下降 90%</li> |
| <li>注册中心数据存储的总体资源占用下降 90%</li> |
| <li>消费端服务框架自身的常驻内存消耗下降达 50% |
| 集群总体的稳定性、性能都得到明显提升，也为未来容量扩展做好准备。</li> |
| </ul></description></item><item><title>Blog: 店小蜜升级 Triple 协议</title><link>https://dubbo.apache.org/zh-cn/blog/2023/01/15/%E5%BA%97%E5%B0%8F%E8%9C%9C%E5%8D%87%E7%BA%A7-triple-%E5%8D%8F%E8%AE%AE/</link><pubDate>Sun, 15 Jan 2023 00:00:00 +0000</pubDate><guid>https://dubbo.apache.org/zh-cn/blog/2023/01/15/%E5%BA%97%E5%B0%8F%E8%9C%9C%E5%8D%87%E7%BA%A7-triple-%E5%8D%8F%E8%AE%AE/</guid><description> |
| <h1 id="前言">前言</h1> |
| <p>阿里云-达摩院-云小蜜对话机器人产品基于深度机器学习技术、自然语言理解技术和对话管理技术，为企业提供多引擎、多渠道、多模态的对话机器人服务。17年云小蜜对话机器人在公共云开始公测，同期在混合云场景也不断拓展。为了同时保证公共云、混合云发版效率和稳定性，权衡再三我们采用了1-2个月一个大版本迭代。 |
| 经过几年发展，为了更好支撑业务发展，架构升级、重构总是一个绕不过去的坎，为了保证稳定性每次公共云发版研发同学都要做两件事：</p> |
| <pre><code>1. 梳理各个模块相较线上版本接口依赖变化情况，决定十几个应用的上线顺序、每批次发布比例； |
| 2. 模拟演练上述1产出的发布顺序，保证后端服务平滑升级，客户无感知； |
| </code></pre> |
| <p>上述 1、2 动作每次都需要 2-3 周左右的时间梳理、集中演练，但是也只能保证开放的PaaS API平滑更新；</p> |
| <p>控制台服务因为需要前端、API、后端保持版本一致才能做到体验无损（如果每次迭代统一升级API版本开发、协同成本又会非常大），权衡之下之前都是流量低谷期上线，尽量缩短发布时间，避免部分控制台模块偶发报错带来业务问题。针对上面问题，很早之前就考虑过用蓝绿发布、灰度等手段解决，但是无奈之前对话机器人在阿里云内部业务区域，该不再允许普通云产品扩容，没有冗余的机器，流量治理完全没法做。</p> |
| <h1 id="迁移阿里云云上">迁移阿里云云上</h1> |
| <p>带着上面的问题，终于迎来的 2021 年 9 月份，云小蜜将业务迁移至阿里云云上。</p> |
| <h2 id="dubbo3-的实践">Dubbo3 的实践</h2> |
| <p>“当时印象最深的就是这张图，虽然当时不知道中间件团队具体要做什么事情，但是记住了两个关键词：三位一体、红利。没想到在2021年底，真真切切享受到了这个红利。”</p> |
| <p><img src="https://dubbo.apache.org/imgs/v3/users/yunxiaomi-1.png" alt="image1"></p> |
| <p>云小蜜使用的是集团内部的HSF服务框架，需要迁移至阿里云云上，并且存在阿里云云上与阿里内部业务域的互通、互相治理的诉求。云小蜜的公共服务部署在公有云VPC，部分依赖的数据服务部署在内部，内部与云上服务存在RPC互调的诉求，其实属于混合云的典型场景。 |
| 简单整理了下他们的核心诉求，概括起来有以下三点吧：希望尽可能采用开源方案，方便后续业务推广；在网络通信层面需要保障安全性；对于业务升级改造来说需要做到低成本。</p> |
| <p><img src="https://dubbo.apache.org/imgs/v3/users/yunxiaomi-2.png" alt="image2"></p> |
| <p>在此场景下，经过许多讨论与探索，方案也敲定了下来</p> |
| <ul> |
| <li>全链路升级至开源 Dubbo3.0，云原生网关默认支持Dubbo3.0，实现透明转发，网关转发RT小于1ms</li> |
| <li>利用 Dubbo3.0 支持HTTP2特性，云原生网关之间采用 mTLS 保障安全</li> |
| <li>利用云原生网关默认支持多种注册中心的能力，实现跨域服务发现对用户透明，业务侧无需做任何额外改动</li> |
| <li>业务侧升级SDK到支持 Dubbo3.0，配置发布 Triple 服务即可，无需额外改动</li> |
| </ul> |
| <p><strong>解决了互通、服务注册发现的问题之后，就是开始看如何进行服务治理方案了</strong></p> |
| <h1 id="阿里云云上流量治理">阿里云云上流量治理</h1> |
| <p>迁移至阿里云云上之后，流量控制方案有非常多，比如集团内部的全链路方案、集团内单元化方案等等。</p> |
| <h2 id="设计目标和原则">设计目标和原则</h2> |
| <ol> |
| <li>要引入一套流量隔离方案，上线过程中，新、旧两个版本服务同时存在时，流量能保证在同一个版本的“集群”里流转，这样就能解决重构带来的内部接口不兼容问题。</li> |
| <li>要解决上线过程中控制台的平滑性问题，避免前端、后端、API更新不一致带来的问题。</li> |
| <li>无上线需求的应用，可以不参与上线。</li> |
| <li>资源消耗要尽量少，毕竟做产品最终还是要考虑成本和利润。</li> |
| </ol> |
| <h2 id="方案选型">方案选型</h2> |
| <ol> |
| <li>集团内部的全链路方案：目前不支持阿里云云上</li> |
| <li>集团内单元化方案：主要解决业务规模、容灾等问题，和我们碰到的问题不一样</li> |
| <li>搭建独立集群，版本迭代时切集群：成本太大</li> |
| <li>自建：在同一个集群隔离新、老服务，保证同一个用户的流量只在同版本服务内流转</li> |
| </ol> |
| <p>以RPC为例：</p> |
| <ul> |
| <li>方案一：通过开发保证，当接口不兼容升级时，强制要求升级HSF version，并行提供两个版本的服务； 缺点是一个服务变更，关联使用方都要变更，协同成本特别大，并且为了保持平滑，新老接口要同时提供服务，维护成本也比较高</li> |
| <li>方案二：给服务（机器）按版本打标，通过RPC框架的路由规则，保证流量优先在同版本内流转</li> |
| </ul> |
| <h2 id="全链路灰度方案">全链路灰度方案</h2> |
| <p>就当1、2、3、4都觉得不完美，一边调研一边准备自建方案5的时候，兜兜绕绕拿到了阿里云 MSE 微服务治理团队<a href="https://yuque.antfin.com/docs/share/a8df43ac-3a3b-4af4-a443-472828884a5d?#">《20分钟获得同款企业级全链路灰度能力》</a>，方案中思路和准备自建的思路完全一致，也是利用了RPC框架的路由策略实现的流量治理，并且实现了产品化（微服务引擎-微服务治理中心），同时，聊了两次后得到几个“支持”，以及几个“后续可以支持”后，好像很多事情变得简单了&hellip;</p> |
| <p><img src="https://dubbo.apache.org/imgs/v3/users/yunxiaomi-3.png" alt="image3"></p> |
| <p>从上图可以看到，各个应用均需要搭建基线(base)环境和灰度(gray)环境，除了流量入口-业务网关以外，下游各个业务模块按需部署灰度（gray）环境，如果某次上线某模块没有变更则无需部署。</p> |
| <h3 id="各个中间件的治理方案">各个中间件的治理方案</h3> |
| <ol> |
| <li>Mysql、ElasticSearch：持久化或半持久化数据，由业务模块自身保证数据结构兼容升级；</li> |
| <li>Redis：由于对话产品会有多轮问答场景，问答上下文是在Redis里，如果不兼容则上线会导致会话过程中的C端用户受影响，因此目前Redis由业务模块自身保证数据结构兼容升级；</li> |
| <li>配置中心：基线(base)环境、灰度(gray)环境维护两套全量配置会带来较大工作量，为了避免人工保证数据一致性成本，基线(base)环境监听dataId，灰度(gray)环境监听gray.dataId如果未配置gray.dataId则自动监听dataId；（云小蜜因为在18年做混合云项目为了保证混合云、公共云使用一套业务代码，建立了中间件适配层，本能力是在适配层实现）</li> |
| <li>RPC服务：使用阿里云 one agent 基于Java Agent技术利用Dubbo框架的路由规则实现，无需修改业务代码；</li> |
| </ol> |
| <p>应用只需要加一点配置：</p> |
| <ul> |
| <li>1）linux环境变量 |
| alicloud.service.tag=gray标识灰度，基线无需打标 |
| profiler.micro.service.tag.trace.enable=true标识经过该机器的流量，如果没有标签则自动染上和机器相同的标签，并向后透传</li> |
| <li>2）JVM参数，标识开启MSE微服务流量治理能力** SERVICE_OPTS=<strong>&quot;$</strong>{SERVICE_OPTS}** -Dmse.enable=true&quot;**</li> |
| </ul> |
| <h3 id="流量管理方案">流量管理方案</h3> |
| <p>流量的分发模块决定流量治理的粒度和管理的灵活程度。</p> |
| <p>对话机器人产品需要灰度发布、蓝绿发布目前分别用下面两种方案实现：</p> |
| <ol> |
| <li>灰度发布： |
| 部分应用单独更新，使用POP的灰度引流机制，该机制支持按百分比、UID的策略引流到灰度环境</li> |
| <li>蓝绿发布： |
| <ul> |
| <li>1）部署灰度(gray)集群并测试：测试账号流量在灰度(gray)集群，其他账号流量在基线(base)集群</li> |
| <li>2）线上版本更新：所有账号流量在灰度(gray)集群</li> |
| <li>3）部署基线(base)集群并测试：测试账号流量在基线(base)集群，其他账号流量在灰度(gray)集群</li> |
| <li>4）流量回切到基线(base)集群并缩容灰度(gray)环境：所有账号流量在基线(base)集群</li> |
| </ul> |
| </li> |
| </ol> |
| <h2 id="全链路落地效果">全链路落地效果</h2> |
| <p>上线后第一次发布的效果：“目前各个模块新版本的代码已经完成上线，含发布、功能回归一共大约花费2.5小时，相较之前每次上线到凌晨有很大提升。” |
| MSE 微服务治理全链路灰度方案满足了云小蜜业务在高速发展情况下快速迭代和小心验证的诉求，通过JavaAgent技术帮助云小蜜快速落地了企业级全链路灰度能力。 |
| 流量治理随着业务发展会有更多的需求，下一步，我们也会不断和微服务治理产品团队，扩充此解决方案的能力和使用场景，比如：rocketmq、schedulerx的灰度治理能力。</p> |
| <h2 id="更多的微服务治理能力">更多的微服务治理能力</h2> |
| <p>使用 MSE 服务治理后，发现还有更多开箱即用的治理能力，能够大大提升研发的效率。包含服务查询、服务契约、服务测试等等。这里要特别提一下就是云上的服务测试，服务测试即为用户提供一个云上私网 Postman ，让我们这边能够轻松调用自己的服务。我们可以忽略感知云上复杂的网络拓扑结构，无需关系服务的协议，无需自建测试工具，只需要通过控制台即可实现服务调用。支持 Dubbo 3.0 框架，以及 Dubbo 3.0 主流的 Triple 协议。</p> |
| <p><img src="https://dubbo.apache.org/imgs/v3/users/yunxiaomi-4.png" alt="image4"></p> |
| <h1 id="结束语">结束语</h1> |
| <p>最终云小蜜对话机器人团队成功落地了全链路灰度功能，解决了困扰团队许久的发布效率问题。在这个过程中我们做了将部分业务迁移至阿里云云上、服务框架升级至Dubbo3.0、选择MSE微服务治理能力等等一次次新的选择与尝试。“世上本没有路，走的人多了便成了路”。经过我们工程师一次又一次的探索与实践，能够为更多的同学沉淀出一个个最佳实践。我相信这些最佳实践将会如大海中璀璨的明珠般，经过生产实践与时间的打磨将会变得更加熠熠生辉。</p></description></item><item><title>Blog: 瓜子二手车 Dubbo 实践</title><link>https://dubbo.apache.org/zh-cn/blog/2023/01/15/%E7%93%9C%E5%AD%90%E4%BA%8C%E6%89%8B%E8%BD%A6-dubbo-%E5%AE%9E%E8%B7%B5/</link><pubDate>Sun, 15 Jan 2023 00:00:00 +0000</pubDate><guid>https://dubbo.apache.org/zh-cn/blog/2023/01/15/%E7%93%9C%E5%AD%90%E4%BA%8C%E6%89%8B%E8%BD%A6-dubbo-%E5%AE%9E%E8%B7%B5/</guid><description> |
| <h2 id="前言">前言</h2> |
| <p> 随着瓜子业务的不断发展，系统规模在逐渐扩大，目前在瓜子的私有云上已经运行着数百个dubbo应用，上千个dubbo实例。瓜子各部门业务迅速发展，版本没有来得及统一，各个部门都有自己的用法。随着第二机房的建设，dubbo版本统一的需求变得越发迫切。几个月前，公司发生了一次与dubbo相关的生产事故，成为了公司dubbo版本升级的诱因。</p> |
| <p> 接下来，我会从这次事故开始，讲讲我们这段时间所做的dubbo版本升级的历程以及dubbo后续多机房的方案。</p> |
| <h2 id="一ephermal节点未及时删除导致provider不能恢复注册的问题修复">一、Ephermal节点未及时删除导致provider不能恢复注册的问题修复</h2> |
| <h3 id="事故背景">事故背景</h3> |
| <p> 在生产环境，瓜子内部各业务线共用一套zookeeper集群作为dubbo的注册中心。2019年9月份，机房的一台交换机发生故障，导致zookeeper集群出现了几分钟的网络波动。在zookeeper集群恢复后，正常情况下dubbo的provider应该会很快重新注册到zookeeper上，但有一小部分的provider很长一段时间没有重新注册到zookeeper上，直到手动重启应用后才恢复注册。</p> |
| <h3 id="排查过程">排查过程</h3> |
| <p> 首先，我们统计了出现这种现象的dubbo服务的版本分布情况，发现在大多数的dubbo版本中都存在这种问题，且发生问题的服务比例相对较低，在github中我们也未找到相关问题的issues。因此，推断这是一个尚未修复的且在网络波动情况的场景下偶现的问题。</p> |
| <p> 接着，我们便将出现问题的应用日志、zookeeper日志与dubbo代码逻辑进行相互印证。在应用日志中，应用重连zookeeper成功后provider立刻进行了重新注册，之后便没有任何日志打印。而在zookeeper日志中，注册节点被删除后，并没有重新创建注册节点。对应到dubbo的代码中，只有在<code>FailbackRegistry.register(url)</code>的<code>doRegister(url)</code>执行成功或线程被挂起的情况下，才能与日志中的情况相吻合。</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span> <span style="color:#268bd2">public</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">register</span>(URL url) { |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">super</span>.register(url); |
| </span></span><span style="display:flex;"><span> failedRegistered.remove(url); |
| </span></span><span style="display:flex;"><span> failedUnregistered.remove(url); |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">try</span> { |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">// Sending a registration request to the server side</span> |
| </span></span><span style="display:flex;"><span> doRegister(url); |
| </span></span><span style="display:flex;"><span> } <span style="color:#719e07">catch</span> (Exception e) { |
| </span></span><span style="display:flex;"><span> Throwable t <span style="color:#719e07">=</span> e; |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">// If the startup detection is opened, the Exception is thrown directly.</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#dc322f">boolean</span> check <span style="color:#719e07">=</span> getUrl().getParameter(Constants.CHECK_KEY, <span style="color:#cb4b16">true</span>) |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">&amp;&amp;</span> url.getParameter(Constants.CHECK_KEY, <span style="color:#cb4b16">true</span>) |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">&amp;&amp;</span> <span style="color:#719e07">!</span>Constants.CONSUMER_PROTOCOL.equals(url.getProtocol()); |
| </span></span><span style="display:flex;"><span> <span style="color:#dc322f">boolean</span> skipFailback <span style="color:#719e07">=</span> t <span style="color:#719e07">instanceof</span> SkipFailbackWrapperException; |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">if</span> (check <span style="color:#719e07">||</span> skipFailback) { |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">if</span> (skipFailback) { |
| </span></span><span style="display:flex;"><span> t <span style="color:#719e07">=</span> t.getCause(); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">throw</span> <span style="color:#719e07">new</span> IllegalStateException(<span style="color:#2aa198">&#34;Failed to register &#34;</span> <span style="color:#719e07">+</span> url <span style="color:#719e07">+</span> <span style="color:#2aa198">&#34; to registry &#34;</span> <span style="color:#719e07">+</span> getUrl().getAddress() <span style="color:#719e07">+</span> <span style="color:#2aa198">&#34;, cause: &#34;</span> <span style="color:#719e07">+</span> t.getMessage(), t); |
| </span></span><span style="display:flex;"><span> } <span style="color:#719e07">else</span> { |
| </span></span><span style="display:flex;"><span> logger.error(<span style="color:#2aa198">&#34;Failed to register &#34;</span> <span style="color:#719e07">+</span> url <span style="color:#719e07">+</span> <span style="color:#2aa198">&#34;, waiting for retry, cause: &#34;</span> <span style="color:#719e07">+</span> t.getMessage(), t); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">// Record a failed registration request to a failed list, retry regularly</span> |
| </span></span><span style="display:flex;"><span> failedRegistered.add(url); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> } |
| </span></span></code></pre></div><p> 在继续排查问题前，我们先普及下这些概念：dubbo默认使用curator作为zookeeper的客户端，curator与zookeeper是通过session维持连接的。当curator重连zookeeper时，若session未过期，则继续使用原session进行连接；若session已过期，则创建新session重新连接。而ephemeral节点与session是绑定的关系，在session过期后，会删除此session下的ephemeral节点。</p> |
| <p> 继续对<code>doRegister(url)</code>的代码进行进一步排查，我们发现在<code>CuratorZookeeperClient.createEphemeral(path)</code>方法中有这么一段逻辑：在<code>createEphemeral(path)</code>捕获了<code>NodeExistsException</code>，创建ephemeral节点时，若此节点已存在，则认为ephemeral节点创建成功。这段逻辑初看起来并没有什么问题，且在以下两种常见的场景下表现正常：</p> |
| <ol> |
| <li>Session未过期，创建Ephemeral节点时原节点仍存在,不需要重新创建</li> |
| <li>Session已过期，创建Ephemeral节点时原节点已被zookeeper删除，创建成功</li> |
| </ol> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span> <span style="color:#268bd2">public</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">createEphemeral</span>(String path) { |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">try</span> { |
| </span></span><span style="display:flex;"><span> client.create().withMode(CreateMode.EPHEMERAL).forPath(path); |
| </span></span><span style="display:flex;"><span> } <span style="color:#719e07">catch</span> (NodeExistsException e) { |
| </span></span><span style="display:flex;"><span> } <span style="color:#719e07">catch</span> (Exception e) { |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">throw</span> <span style="color:#719e07">new</span> IllegalStateException(e.getMessage(), e); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> } |
| </span></span></code></pre></div><p> 但是实际上还有一种极端场景，<strong>zookeeper的Session过期与删除Ephemeral节点不是原子性的</strong>，也就是说客户端在得到Session过期的消息时，Session对应的Ephemeral节点可能还未被zookeeper删除。此时dubbo去创建Ephemeral节点,发现原节点仍存在，故不重新创建。待Ephemeral节点被zookeeper删除后，便会出现dubbo认为重新注册成功，但实际未成功的情况，也就是我们在生产环境遇到的问题。</p> |
| <p> 此时，问题的根源已被定位。定位问题之后，我们与dubbo社区交流，发现考拉的同学也遇到过同样的问题，更确定了这个原因。</p> |
| <h3 id="问题的复现与修复">问题的复现与修复</h3> |
| <p> 定位到问题之后，我们便开始尝试本地复现。由于zookeeper的Session过期但Ephemeral节点未被删除的场景直接模拟比较困难，我们通过修改zookeeper源码，在Session过期与删除Ephemeral节点的逻辑中增加了一段休眠时间，间接模拟出这种极端场景，并在本地复现了此问题。</p> |
| <p> 在排查问题的过程中，我们发现kafka的旧版本在使用zookeeper时也遇到过类似的问题，并参考kafka关于此问题的修复方案，确定了dubbo的修复方案。在创建Ephemeral节点捕获到<code>NodeExistsException</code>时进行判断，若Ephemeral节点的SessionId与当前客户端的SessionId不同，则删除并重建Ephemeral节点。在内部修复并验证通过后，我们向社区提交了issues及pr。</p> |
| <p> kafka类似问题issues：https://issues.apache.org/jira/browse/KAFKA-1387</p> |
| <p> dubbo注册恢复问题issues：https://github.com/apache/dubbo/issues/5125</p> |
| <h2 id="二瓜子的dubbo升级历程">二、瓜子的dubbo升级历程</h2> |
| <p> 上文中的问题修复方案已经确定，但我们显然不可能在每一个dubbo版本上都进行修复。在咨询了社区dubbo的推荐版本后，我们决定在dubbo2.7.3版本的基础上，开发内部版本修复来这个问题。并借这个机会，开始推动公司dubbo版本的统一升级工作。</p> |
| <h3 id="为什么要统一dubbo版本">为什么要统一dubbo版本</h3> |
| <ol> |
| <li>统一dubbo版本后，我们可以在此版本上内部紧急修复一些dubbo问题（如上文的dubbo注册故障恢复失效问题）。</li> |
| <li>瓜子目前正在进行第二机房的建设，部分dubbo服务也在逐渐往第二机房迁移。统一dubbo版本，也是为dubbo的多机房做铺垫。</li> |
| <li>有利于我们后续对dubbo服务的统一管控。</li> |
| <li>dubbo社区目前的发展方向与我们公司现阶段对dubbo的一些诉求相吻合，如支持gRPC、云原生等。</li> |
| </ol> |
| <h3 id="为什么选择dubbo273">为什么选择dubbo2.7.3</h3> |
| <ol> |
| <li>在我们之前，携程与dubbo社区合作进行了携程dubbo内部版本的升级，并在社区2.7.3版本上修复了很多兼容性问题。感谢携程的同学帮我们踩坑～</li> |
| <li>dubbo2.7.3版本在当时虽然是最新的版本，但已经发布了2个月的时间，从社区issues反馈来看，dubbo2.7.3相对dubbo2.7之前的几个版本，在兼容性方面要好很多。</li> |
| <li>我们也咨询了dubbo社区的同学，推荐升级版本为2.7.3。</li> |
| </ol> |
| <h3 id="内部版本定位">内部版本定位</h3> |
| <p> 基于社区dubbo2.7.3版本开发的dubbo内部版本属于过渡性质的版本，目的是为了修复线上provider不能恢复注册的问题，以及一些社区dubbo2.7.3的兼容性问题。瓜子的dubbo最终还是要跟随社区的版本，而不是开发自已的内部功能。因此我们在dubbo内部版本中修复的所有问题均与社区保持了同步，以保证后续可以兼容升级到社区dubbo的更高版本。</p> |
| <h3 id="兼容性验证与升级过程">兼容性验证与升级过程</h3> |
| <p> 我们在向dubbo社区的同学咨询了版本升级方面的相关经验后，于9月下旬开始了dubbo版本的升级工作。</p> |
| <ol> |
| <li><strong>初步兼容性验证</strong> |
| 首先,我们梳理了一些需要验证的兼容性case，针对公司内部使用较多的dubbo版本，与dubbo2.7.3一一进行了兼容性验证。经验证，除dubboX外，dubbo2.7.3与其他dubbo版本均兼容。dubboX由于对dubbo协议进行了更改，与dubbo2.7.3不兼容。</li> |
| <li><strong>生产环境兼容性验证</strong> |
| 在初步验证兼容性通过后，我们与业务线合作，挑选了一些重要程度较低的项目，在生产环境对dubbo2.7.3与其他版本的兼容性进行了进一步验证。并在内部版本修复了一些兼容性问题。</li> |
| <li><strong>推动公司dubbo版本升级</strong> |
| 在10月初，完成了dubbo兼容性验证后，我们开始在各个业务线推动dubbo的升级工作。截止到12月初,已经有30%的dubbo服务的完成了版本升级。按照排期，预计于2020年3月底前完成公司dubbo版本的统一升级。</li> |
| </ol> |
| <h3 id="兼容性问题汇总">兼容性问题汇总</h3> |
| <p> 在推动升级dubbo2.7.3版本的过程整体上比较顺利,当然也遇到了一些兼容性问题：</p> |
| <ul> |
| <li> |
| <p><strong>创建zookeeper节点时提示没有权限</strong> |
| dubbo配置文件中已经配置了zookeeper的用户名密码，但在创建zookeeper节点时却抛出<code>KeeperErrorCode = NoAuth</code>的异常，这种情况分别对应两个兼容性问题：</p> |
| <ul> |
| <li>issues:https://github.com/apache/dubbo/issues/5076 |
| dubbo在未配置配置中心时，默认使用注册中心作为配置中心。通过注册中心的配置信息初始化配置中心配置时，由于遗漏了用户名密码，导致此问题。</li> |
| <li>issues:https://github.com/apache/dubbo/issues/4991 |
| dubbo在建立与zookeeper的连接时会根据zookeeper的address复用之前已建立的连接。当多个注册中心使用同一个address，但权限不同时，就会出现<code>NoAuth</code>的问题。 |
| 参考社区的pr，我们在内部版本进行了修复。</li> |
| </ul> |
| </li> |
| <li> |
| <p><strong>curator版本兼容性问题</strong></p> |
| <ul> |
| <li>dubbo2.7.3与低版本的curator不兼容，因此我们默认将curator版本升级至4.2.0</li> |
| </ul> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-xml" data-lang="xml"><span style="display:flex;"><span><span style="color:#268bd2">&lt;dependency&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;groupId&gt;</span>org.apache.curator<span style="color:#268bd2">&lt;/groupId&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;artifactId&gt;</span>curator-framework<span style="color:#268bd2">&lt;/artifactId&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;version&gt;</span>4.2.0<span style="color:#268bd2">&lt;/version&gt;</span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">&lt;/dependency&gt;</span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">&lt;dependency&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;groupId&gt;</span>org.apache.curator<span style="color:#268bd2">&lt;/groupId&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;artifactId&gt;</span>curator-recipes<span style="color:#268bd2">&lt;/artifactId&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;version&gt;</span>4.2.0<span style="color:#268bd2">&lt;/version&gt;</span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">&lt;/dependency&gt;</span> |
| </span></span></code></pre></div><ul> |
| <li>分布式调度框架elastic-job-lite强依赖低版本的curator,与dubbo2.7.3使用的curator版本不兼容,这给dubbo版本升级工作带来了一定阻塞。考虑到elastic-job-lite已经很久没有人进行维护，目前一些业务线计划将elastic-job-lite替换为其他的调度框架。</li> |
| </ul> |
| </li> |
| <li> |
| <p><strong>openFeign与dubbo兼容性问题</strong> |
| issues: <a href="https://github.com/apache/dubbo/issues/3990">https://github.com/apache/dubbo/issues/3990</a> |
| dubbo的ServiceBean监听spring的ContextRefreshedEvent,进行服务暴露。openFeign提前触发了ContextRefreshedEvent，此时ServiceBean还未完成初始化，于是就导致了应用启动异常。 |
| 参考社区的pr，我们在内部版本修复了此问题。</p> |
| </li> |
| <li> |
| <p><strong>RpcException兼容性问题</strong> |
| dubbo低版本consumer不能识别dubbo2.7版本provider抛出的<code>org.apache.dubbo.rpc.RpcException</code>。因此，在consumer全部升级到2.7之前，不建议将provider的<code>com.alibaba.dubbo.rpc.RpcException</code>改为<code>org.apache.dubbo.rpc.RpcException</code></p> |
| </li> |
| <li> |
| <p><strong>qos端口占用</strong> |
| dubbo2.7.3默认开启qos功能，导致一些混部在物理机的dubbo服务升级时出现qos端口占用问题。关闭qos功能后恢复。</p> |
| </li> |
| <li> |
| <p><strong>自定义扩展兼容性问题</strong> |
| 业务线对于dubbo的自定义扩展比较少，因此在自定义扩展的兼容性方面暂时还没有遇到比较难处理的问题，基本上都是变更package导致的问题，由业务线自行修复。</p> |
| </li> |
| <li> |
| <p><strong>skywalking agent兼容性问题</strong> |
| 我们项目中一般使用skywalking进行链路追踪，由于skywalking agent6.0的plugin不支持dubbo2.7，因此统一升级skywalking agent到6.1。</p> |
| </li> |
| </ul> |
| <h2 id="三dubbo多机房方案">三、dubbo多机房方案</h2> |
| <p> 瓜子目前正在进行第二机房的建设工作，dubbo多机房是第二机房建设中比较重要的一个话题。在dubbo版本统一的前提下，我们就能够更顺利的开展dubbo多机房相关的调研与开发工作。</p> |
| <h3 id="初步方案">初步方案</h3> |
| <p> 我们咨询了dubbo社区的建议，并结合瓜子云平台的现状，初步确定了dubbo多机房的方案。</p> |
| <ol> |
| <li>在每个机房内，部署一套独立的zookeeper集群。集群间信息不同步。这样就没有了zookeeper集群跨机房延迟与数据不同步的问题。</li> |
| <li>dubbo服务注册时，仅注册到本机房的zookeeper集群；订阅时，同时订阅两个机房的zookeeper集群。</li> |
| <li>实现同机房优先调用的路由逻辑。以减少跨机房调用导致的不必要网络延迟。</li> |
| </ol> |
| <h3 id="同机房优先调用">同机房优先调用</h3> |
| <p> dubbo同机房优先调用的实现比较简单，相关逻辑如下：</p> |
| <ol> |
| <li>瓜子云平台默认将机房的标志信息注入容器的环境变量中。</li> |
| <li>provider暴露服务时，读取环境变量中的机房标志信息，追加到待暴露服务的url中。</li> |
| <li>consumer调用provider时，读取环境变量中的机房标志信息，根据路由策略优先调用具有相同标志信息的provider。</li> |
| </ol> |
| <p> 针对以上逻辑，我们简单实现了dubbo通过环境变量进行路由的功能，并向社区提交了pr。 |
| dubbo通过环境变量路由pr: <a href="https://github.com/apache/dubbo/pull/5348">https://github.com/apache/dubbo/pull/5348</a></p></description></item><item><title>Blog: 小米与 Dubbo 社区的合作</title><link>https://dubbo.apache.org/zh-cn/blog/2023/01/15/%E5%B0%8F%E7%B1%B3%E4%B8%8E-dubbo-%E7%A4%BE%E5%8C%BA%E7%9A%84%E5%90%88%E4%BD%9C/</link><pubDate>Sun, 15 Jan 2023 00:00:00 +0000</pubDate><guid>https://dubbo.apache.org/zh-cn/blog/2023/01/15/%E5%B0%8F%E7%B1%B3%E4%B8%8E-dubbo-%E7%A4%BE%E5%8C%BA%E7%9A%84%E5%90%88%E4%BD%9C/</guid><description> |
| <p>小米一直在积极拥抱开源社区并提交贡献，参与Dubbo3建设发布以来，在内部业务也积极推进升级工作，目前实例数已经升级到了一定的比例 。升级过程总体平稳，稳定性指标正常，性能提升明显，率先升级完成的应用更早拥有了mesh化的条件。从升级后的数据表现来看，Dubbo3改变以往接口粒度的注册发现方式为应用粒度的注册发现方式，这样带来了注册中心存储和运行的更稳定，降低运维成本；使用protobuf协议进行序列化与反序列化，性能和字节大小均提升数量级；完全兼容gprc，给小米这样多言语并存的服务环境带来了极大便利。</p> |
| <p>Xiaomi is devoted to making continuous contribution to the open source community. Since the introduction of Dubbo3, internal projects are rapidly upgrading to the latest version of Dubbo. Currently, At present the numbers of instances has been upgrade to a certain proportion. Not only performance improvements have been seen, but services are also running smoothly with improvements in availability. Statistics provide proof that Dubbo’s switch from api-level discovery to application-level discovery has improved the availability and reliability of service discovery, which leads to lower operations cost. In addition, using ProtoBuf for serialization and deserialization has reduced data exchange size. Lastly, full compatibility with grpc provides convenience to Xiaomi’s multi-language development environment.</p> |
| <p>Dubbo3 基于 Dubbo2 演进而来，Dubbo3 在云原生基础设施适配、服务注册发现、面向下一代协议设计等几大方向上进行了全面升级。并且往 3.0 版本的升级过程将会是完全透明的，用户无需做任何业务改造，就可以直接升级到 Dubbo 3.0。 |
| 下面从云原生适配、全新服务发现模型、通信协议、升级兼容四个方面详细介绍。</p> |
| <p>Having evolved from Dubbo2, Dubbo3 is a major upgrade in several areas including, Cloud Native adaptation, service discovery, communication protocols. Furthermore, upgrading to version 3.0 requires no changes in application code. The following is a detailed introduction to Dubbo3’s features.</p> |
| <h3 id="云原生适配--cloud-native-adaptation">云原生适配 Cloud Native Adaptation</h3> |
| <p>Dubbo3从理念到设计再到实现最大的变革之一在于全面遵循云原生环境，做到了面向未来，为了达到这个目标dubbo本身做了相当重要的取舍。 |
| 在“取”这个层面，Dubbo3众多核心组件已经面向云原生升级，支持 Kubernetes 平台调度，实现了服务生命周期与容器生命周期的对齐，Serverless、Native Image等机制都在计划之中。</p> |
| <p>在“舍”这个层面，Dubbo3割舍了以往要求开发人员遵守并熟知的Dubbo启动、销毁、注册等生命周期事件，Dubbo3自身设配了Kubernetes基础设施定义的生命周期事件(probe)，并且将服务的定义与注册下沉到了Kubernetes Service，重新划定了dubbo和k8s基础设施的边界。</p> |
| <p>To be future proof, the design and development of Dubbo3 has fully adapted Cloud Native. To meet this goal, Dubbo has made some trade-offs.Several core components of Dubbo3 support Kubernetes. In particular, Dubbo3 implements Kubernetes service and container life-cycle. Serverless and native image support will be release in the future.</p> |
| <p>To support Kubernetes, Dubbo3 places service registration and discovery down to the Kubernetes Service layer, thus reestablishing the boundary between Dubbo and Kubernetes. However, this requires deprecating Dubbo’s own service discovery events.</p> |
| <h3 id="全新服务发现模型--new-service-discovery-model">全新服务发现模型 New Service Discovery Model</h3> |
| <p>Dubbo以往版本与Spring Cloud、gRPC等同属主流的服务框架进行服务发现的粒度不一致，Dubbo选择了基于更细粒度的接口来进行服务发现，Dubbo3.x进行了服务发现机制的对齐，即以应用粒度来进行服务发现，应用粒度的机制也带来了几点好处：</p> |
| <ol> |
| <li>打通与其他异构微服务体系的地址互发现障碍，这一点对于小米这样的多语种多框架并存的技术组织非常重要。</li> |
| <li>提升了 Dubbo3 在大规模集群实践中的性能与稳定性。新模型可大幅提高系统资源利用率，降低 Dubbo 地址的单机内存消耗近一半，降低注册中心集群的存储与推送压力一半以上， Dubbo 可支持集群规模步入百万实例层次。</li> |
| </ol> |
| <p>Previous versions of Dubbo differs from other mainstream service discovery middle-ware such as Spring Cloud and gRPC in its service discovery granularity. In the past Dubbo discovers services at the API level. Dubbo3, however, utilizes application level service discovery. This provides the following benefits.</p> |
| <ol> |
| <li>Eliminates incompatibility issues with other service discovery platforms, which is crucial since Xiaomi has diverse languages and development frameworks.</li> |
| <li>The new service discovery model improves resource utilization, lowers Dubbo address’s single machine memory usage, lowers service discover cluster’s load.</li> |
| </ol> |
| <h3 id="全新rpc-通信协议--new-rpc-communication-protocal">全新RPC 通信协议 New RPC Communication Protocal</h3> |
| <p>定义了全新的 RPC 通信协议 – Triple，它是基于 HTTP/2 上构建的 RPC 协议。 使用 Triple 协议，用户将获得以下能力：</p> |
| <ol> |
| <li>完全兼容gRPC，能够更友好的支持跨语言跨框架的微服务进行互通。</li> |
| <li>支持Protobuf进行序列化与反序列化，性能和字节大小均提升数量级。</li> |
| </ol> |
| <p>Introduction of a new RPC communication protocol based on HTTP/2 called Triple. Using Triple has the following benefits.</p> |
| <ol> |
| <li>Complete compatibility with gRPC.</li> |
| <li>Protobuf support for serialization and deserialization.</li> |
| </ol> |
| <h3 id="升级与兼容性--upgrade-and-backwards-compatibility">升级与兼容性 Upgrade and Backwards Compatibility</h3> |
| <p>对业务而言，在保证兼容以往版本的前提下进行升级是最核心的问题，在 3.0 版本的设计与开发之初，就定下了兼容老版本 Dubbo 用户（2.5、2.6、2.7）的目标。因此，往 3.0 版本的升级过程将会是完全透明的，用户无需做任何业务改造，升级 3.x 后的框架行为将保持与 2.x 版本完全一致。</p> |
| <p>但也要注意，透明升级仅仅是通往 3.0 的第一步，因为 “框架行为保持一致” 也就意味着用户将无法体验到 3.0 的新特性。如果要启用 3.0 带来的新特性，用户则需要进行一定的改造，这个过程称为迁移，这是一个按需开启的过程。 |
| 因此，对老用户而言，有两条不同的迁移路径：</p> |
| <ol> |
| <li>分两步走，先以兼容模式推动业务升级到 3.0 版本（无需改造），之后在某些时机按需启用新特性（按需改造）；</li> |
| <li>升级与迁移同步完成，在业务升级到 3.0 版本的同时，完成改造并启用新特性；</li> |
| </ol> |
| <p>第一种方式更安全，第二种方式更彻底，业务可根据自身的情况来进行评判选择。</p> |
| <p>For production systems, upgrading a dependency while maintaining backward compatibility is challenging. Supporting users of older versions of Dubbo (2.5, 2.6, 2,7) is a goal of Dubbo3’s design and development. Thus, upgrading to Dubbo3 is painless. No changes are required to be made to existing production systems. However to use Dubbo3’s new features, additional changes are needed to existing code. Thus, there are two suggested upgrade paths.</p> |
| <ol> |
| <li>Upgrade to Dubbo3 but do not use Dubbo3’s new features. This path requires no code changes.</li> |
| <li>Upgrade to Dubbo3 while making additional changes to support the new features.</li> |
| </ol> |
| <h3 id="建议">建议</h3> |
| <ol> |
| <li>dubbo3已经和云原生做了深度适配，建议后续能够和istio等service mesh框架进行更多的衔接打通，方便dubbo用户更简单的走向mesh化之路；</li> |
| <li>建议在调用方和服务方调用链路上增加更多的可选可观测点；</li> |
| </ol> |
| <p>Suggestions</p> |
| <ol> |
| <li>Since Dubbo3 is closely compatible with Cloud Native, further work can be done to enhance Dubbo’s support of istio and other service mesh frameworks to speed up Dubbo users’ adaption of service mesh.</li> |
| <li>Add more performance metrics to monitor Dubbo consumers and providers.</li> |
| </ol> |
| <h3 id="作者">作者</h3> |
| <ul> |
| <li>张志勇</li> |
| <li>张平</li> |
| <li>许铮</li> |
| </ul></description></item><item><title>Blog: 中伦网络 Dubbo3 升级实践</title><link>https://dubbo.apache.org/zh-cn/blog/2023/01/15/%E4%B8%AD%E4%BC%A6%E7%BD%91%E7%BB%9C-dubbo3-%E5%8D%87%E7%BA%A7%E5%AE%9E%E8%B7%B5/</link><pubDate>Sun, 15 Jan 2023 00:00:00 +0000</pubDate><guid>https://dubbo.apache.org/zh-cn/blog/2023/01/15/%E4%B8%AD%E4%BC%A6%E7%BD%91%E7%BB%9C-dubbo3-%E5%8D%87%E7%BA%A7%E5%AE%9E%E8%B7%B5/</guid><description> |
| <p>中伦网络在 2022 年完成了服务框架从 Dubbo2 到 Dubbo3 的全站升级，深度使用了应用级服务发现、Kubernetes 原生服务部署、服务治理等核心能力。来自中仑网络的技术负责人来彬彬对整个 Dubbo3 的选型、升级过程及收益等做了深入总结。</p> |
| <p>值得一提的是近期 <a href="https://dubbo.apache.org/zh-cn/">Dubbo3 官网文档</a> 整体有了本质的提升，并且社区承诺短期内文档还会投入大量精力完善文档，这点对于 Dubbo3 的使用和用户信心提升非常重要。</p> |
| <h3 id="一公司业务与技术架构简介">一、公司业务与技术架构简介</h3> |
| <p><a href="https://www.zhonglunnet.com/guanyu.html">苏州中仑网络科技有限公司</a>是一家“专注零售门店增收服务”的公司，一直以“解决中小零售门店经营难的问题”为初心，致力于为零售商户提供门店运营一体化解决方案，帮助零售门店实现增收。中仑网络以零售技术为核心，为零售商户打造出集收银系统、中仑掌柜、微商城、汇邻生活平台、大数据平台、移动支付、智慧农贸、汇邻门店运营服务等为一体的新零售生态体系，实现线上线下全方位融合，为零售商家赋能增收。技术团队在构建之初选取Dubbo 2.5.3+Zookeeper版本构建公司微服务基座支撑公司业务发展，后期同阿里云深度合作整体迁移使用阿里云，使用云原生基础设施ACK（Kubernetes）+MSE（Zookeeper）+Dubbo+PolarDB等构建，实现可动态缩扩容的服务能力。 |
| 伴随合作商扩展3000+，市场遍及300+城市，零售商户30万+，服务覆盖餐饮、茶饮、服装、母婴、烘焙、生鲜、商超、美业、美妆、宠物等多个行业。伴随着领域拓宽、商户量快速增长上升，系统数量和部署节点也迎来了暴增，随之在系统可用性上受到较大挑战：微服务治理能力、微服务地址注册发现，Kubernetes平台服务的无损上下线顺滑度上问题与挑战越来越多。架构图见图一。</p> |
| <p><img src="https://dubbo.apache.org/imgs/v3/users/zhonglunwangluo-1.png" alt="image1"></p> |
| <p>图一</p> |
| <h3 id="二dubbo3-升级总结">二、Dubbo3 升级总结</h3> |
| <p>在升级微服务组件技术选型上主要考虑解决以前的痛点：服务治理能力、云原生友好性、服务注册发现，这几个制约业务发展的紧要问题。比较下来Dubbo3架构设计理念与我们较为契合，能较好的满足我们业务发展要求。</p> |
| <h3 id="1服务治理能力">1、服务治理能力</h3> |
| <p>Dubbo 3提供丰富的服务治理能力，可实现诸如服务发现、负载均衡、流量调度等服务治理诉求。在使用上我们有两种选择：一、使用Dubbo管理控制台管理配置、二、集成相关API能力到系统。同时Dubbo 扩展性较好，可以在很多功能点（见图二）去定制自己的实现，以改变框架的默认行为来满足自己的业务需求。Dubbo SPI ( Service Provider Interface)将接口实现类的全限定名配置在文件中，并由服务加载器读取配置文件，加载实现类。这样可以在运行时，动态为接口替换实现类。基于此特性，我们可以很容易的通过 SPI 机制为我们的程序提供拓展功能，如我们在此基础上实现了基于生产和消费者过滤器Filter实现全链路自定义的链路监控;基于路由扩展标签路由方式进行测试环境的隔离方便快速多版本服务测试验证。实操上我们基于生产者注册服务时打标，如原系统A V1版本部署在fat环境上,现在为了测试V2版本，我们将V2版本打标tag=fat-v2;使用端在消费时指定Invocation Attachment 参数,inv.setAttachment(TAG_KEY, routeTag);基于此我们可以方便自测试，同时生产上我们也可以做简单的生产灰度运用。</p> |
| <p><img src="https://dubbo.apache.org/imgs/v3/users/zhonglunwangluo-2.png" alt="image2"> |
| 图二</p> |
| <h3 id="2云原生友好性">2、云原生友好性</h3> |
| <p>Dubbo 在设计上遵循云原生微服务开发理念，微服务支持 Kubernetes平台调度，实现服务生命周期与容器生命周期的对齐，包括 Dubbo 的启动、销毁、服务注册等生命周期事件。中仑网络微服务管理使用的是MSE（Zookeeper）,因而我们服务暴露使用需与之对齐。具体操作上我们自定义Startup 启动探针、 Liveness 存活探针、Readiness 就绪探针。项目的正常切换需要保障无损的上下线，在实施中无损上线相对于下线来说会更麻烦点，项目的发布上线过程大体会遵从如下流程：大致分成三个阶段，第一阶段升级少量（如 20% ）的实例，并切换少量流量到新版本，完成这个阶段后先暂停升级。经过人工确认之后继续第二个阶段，升级更大比例（如 90% ）的实例和流量，再次暂停等待人工确认。最后阶段将全量升级到新版本并验证完毕，从而完成整个发布过程。如果升级期间发现包括业务指标在内的任何异常，例如 CPU 或 memory 异常使用率升高或请求 500 日志过多等情况，可以快速回滚。因为我们使用的是MSE（Zookeeper）服务，dubbo服务自注册在应用启动过程暴露不受Kubernetes 生命周期的控制，出现项目未完全就绪部分服务可被提前可被访问问题。</p> |
| <p><img src="https://dubbo.apache.org/imgs/v3/users/zhonglunwangluo-3.png" alt="image3"> |
| 图三</p> |
| <p>实施处理上我们主要利用Dubbo Qos指令,初始使用服务不暴露，在应用就绪后调用Qos online指令进行服务上线替换老节点，每次替换的节点数量基于发布策略来制定;下线过程针对需下线节点我们会先使用Qos指令进行下线offline操作等待应用执行完服务，从而进行优雅停机，从实践的效果来看能满足我们的生产需求。</p> |
| <h3 id="3实例级别升级切换">3、实例级别升级切换</h3> |
| <p>相比于 2.x 版本中的基于接口粒度的服务发现机制，3.x 引入了全新的基于应用粒度的服务发现机制，进一步提升了 Dubbo3 在大规模集群实践中的性能与稳定性。此次升级过程中我们也同步引入了配置中心与原数据中心，即将图四置灰部分启用</p> |
| <p><img src="https://dubbo.apache.org/imgs/v3/users/zhonglunwangluo-4.png" alt="image4"> |
| 图四</p> |
| <p>采用实例级别注册管理，一个应用N个服务，接口级时N服务需监听推送，应用级只关注单实例相关信息。同时引入元数据中心后极大降低接口配置数据信息，减少接口数据传输大小，相关职责配置也更加清晰。根据测试新模型大幅提高系统资源利用率，降低 Dubbo 地址的单机内存消耗，大幅降低注册中心集群的存储与推送压力，上线后稳定性有较大的提升。</p> |
| <h3 id="三总结与展望">三、总结与展望</h3> |
| <p>在中仑网络Dubbo 2升级Dubbo 3的过程中我们也有过一些迟疑，如把接口级换成应用级还是混合注册;Dubbo 3.0新特性新技术在项目中引入的时机与范围。对公司来说大的升级意味风险和不可预知的问题，但同时也能为之带来资源利用率提升、基础功能的扩展与增强，作为技术人员我们需要反复谨慎评估与论证。现在我们已经完成切换所有的业务领域。</p> |
| <h3 id="四dubbo-社区合作">四、Dubbo 社区合作</h3> |
| <p>在这里再次感谢Dubbo社区人员的专业、高效，以及对中仑网络架构升级的大力支持，同时很荣幸能够成为一名社区的贡献者，感兴趣的同学可以<strong>加入贡献者钉钉群：31982034</strong>。</p> |
| <p>Dubbo 社区近期筹办了每周一次的微服务纯技术分享，讲解 Dubbo 使用、源码，同时涵盖众多云原生微服务知识，感兴趣的同学可扫码关注。</p></description></item><item><title>Blog: 平安健康的 Dubbo3 迁移历程</title><link>https://dubbo.apache.org/zh-cn/blog/2023/01/15/%E5%B9%B3%E5%AE%89%E5%81%A5%E5%BA%B7%E7%9A%84-dubbo3-%E8%BF%81%E7%A7%BB%E5%8E%86%E7%A8%8B/</link><pubDate>Sun, 15 Jan 2023 00:00:00 +0000</pubDate><guid>https://dubbo.apache.org/zh-cn/blog/2023/01/15/%E5%B9%B3%E5%AE%89%E5%81%A5%E5%BA%B7%E7%9A%84-dubbo3-%E8%BF%81%E7%A7%BB%E5%8E%86%E7%A8%8B/</guid><description> |
| <h1 id="1-背景">1 背景</h1> |
| <p>我们公司从15年开始就使⽤dubbo作为微服务框架，当社区推出dubbo3时，我们也⽴刻跟进并做了深⼊调研，发现dubbo3 的应⽤/实例级服务注册和发现模式能够在一定程度上解决我们当前注册中⼼⾯临的压⼒，解决稳定性和安全性问题。同时dubbo3在服务治理上也做了升级，契合云原⽣架构，⽽且dubbo3能够向下兼容dubbo2，这也将降低升级的成本和⻛险。</p> |
| <p>升级项目有了阶段性的进展，目前仍然在进行中。通过本⽂，我们对公司内部的Dubbo3 升级过程及收益等做了深⼊总结。</p> |
| <h1 id="2-dubbo3-核功能介绍">2 Dubbo3 核⼼功能介绍</h1> |
| <p>dubbo社区关于dubbo3的文档和资料越来越完善，以下是我们从社区引用的一些内容。</p> |
| <h2 id="21-下一代云原生服务框架">2.1 下一代云原生服务框架</h2> |
| <p><img src="https://dubbo.apache.org/imgs/v3/users/pingan-2.png" alt="pingan"></p> |
| <p>Dubbo3被社区寄予厚望，将其视为下一代云原生服务框架打造，Dubbo3 提供的核心特性列表，主要包括四部分。</p> |
| <ul> |
| <li><strong>全新服务发现模型</strong> 。应用粒度服务发现，面向云原生设计，适配基础设施与异构系统；性能与集群伸缩性大幅提升。</li> |
| <li>**下一代 **** RPC **<strong>协议</strong> <strong>Triple</strong> 。基于 HTTP/2 的 Triple 协议，兼容 gRPC；网关穿透性强、多语言友好、支持 Reactive Stream。</li> |
| <li><strong>统一流量治理模型</strong> 。面向云原生流量治理，SDK、Mesh、VM、Container 等统一治理规则；能够支持更丰富的流量治理场景。</li> |
| <li><strong>Service Mesh</strong> 。在最新的3.1.0的版本中支持Sidecar Mesh 与 Proxyless Mesh，提供更多架构选择，降低迁移、落地成本。</li> |
| </ul> |
| <p><img src="https://dubbo.apache.org/imgs/v3/users/pingan-3.png" alt="pingan"></p> |
| <p>首先是性能、资源利用率的提升。社区资料显示，升级 Dubbo3 的应用预期能实现单机内存 50% 的下降，对于越大规模的集群效果将越明显，Dubbo3 从架构上支持百万实例级别的集群横向扩展,同时依赖应用级服务发现、Triple协议等可以大大提供应用的服务治理效率和吞吐量。</p> |
| <p>其次， Dubbo3 让业务架构升级变得更容易、更合理，尤其是RPC协议，在 2.x 版本中，web、移动端与后端的通信都要经过网关代理，完成协议转换、类型映射等工作，dubbo3的Triple 协议让这些变得更容易与自然；并通过流式通信模型满足更多的使用场景。</p> |
| <p>最后，得益于 Dubbo3 的完善云原生解决方案，Dubbo3的mesh架构可以帮助业务屏蔽底层云原生基础设施细节，让业务更专注于业务，这也是mesh的最根本的优势。</p> |
| <h2 id="22-应用级服务发现核心原理">2.2 应用级服务发现核心原理</h2> |
| <p><img src="https://dubbo.apache.org/imgs/v3/users/pingan-4.png" alt="pingan"></p> |
| <p>我们从 Dubbo 最经典的工作原理图说起，Dubbo 从设计之初就内置了服务地址发现的能力，Provider 注册地址到注册中心，Consumer 通过订阅实时获取注册中心的地址更新，在收到地址列表后，consumer 基于特定的负载均衡策略发起对 provider 的 RPC 调用。 在这个过程中</p> |
| <ul> |
| <li>每个 Provider 通过特定的 key 向注册中心注册本机可访问地址；</li> |
| <li>注册中心通过这个 key 对 provider 实例地址进行聚合；</li> |
| <li>Consumer 通过同样的 key 从注册中心订阅，以便及时收到聚合后的地址列表；</li> |
| </ul> |
| <p><img src="https://dubbo.apache.org/imgs/v3/users/pingan-5.png" alt="pingan"></p> |
| <p>再来看一下Provider向注册中心注册的 URL 地址的详细格式，这里把 URL 地址数据划分成了几份：</p> |
| <ul> |
| <li>首先是实例可访问地址，主要信息包含 ip port，是消费端将基于这条数据生成 tcp 网络链接，作为后续 RPC 数据的传输载体。</li> |
| <li>其次是 RPC 元数据，元数据用于定义和描述一次 RPC 请求，表明这条地址数据是与某条具体的 RPC 服务有关的，它的版本号、分组以及方法相关信息。</li> |
| <li>下一部分是 RPC 配置数据，部分配置用于控制 RPC 调用的行为，还有一部分配置用于同步 Provider 进程实例的状态，典型的如超时时间、数据编码的序列化方式等。</li> |
| <li>最后一部分是自定义的元数据，这部分内容区别于以上框架预定义的各项配置，给了用户更大的灵活性，用户可任意扩展并添加自定义元数据，以进一步丰富实例状态。</li> |
| </ul> |
| <p>结合以上对于 Dubbo2 接口级地址模型的分析，以及最开始的 Dubbo 基本原理图，可以得出这么几条结论：</p> |
| <ul> |
| <li>第一，地址发现聚合的 key 就是 RPC 粒度的服务。</li> |
| <li>第二，注册中心同步的数据不止包含地址，还包含了各种元数据以及配置。</li> |
| <li>得益于 1 与 2，Dubbo 实现了支持应用、RPC 服务、方法粒度的服务治理能力。</li> |
| </ul> |
| <p>这就是一直以来 Dubbo2 在易用性、服务治理功能性、可扩展性上强于很多服务框架的真正原因。</p> |
| <p>面对这样的地址数量级放大的问题，在 Dubbo3 架构下，社区认真思考了两个问题：</p> |
| <ul> |
| <li>如何在保留易用性、功能性的同时，重新组织 URL 地址数据，避免冗余数据的出现，让 Dubbo3 能支撑更大规模集群水平扩容？</li> |
| <li>如何在地址发现层面与其他的微服务体系如 Kubernetes、Spring Cloud 打通？</li> |
| </ul> |
| <p><img src="https://dubbo.apache.org/imgs/v3/users/pingan-6.png" alt="pingan"></p> |
| <p>最终，社区给出的方案也是非常巧妙和经典。Dubbo3 的应用级服务发现方案设计的基本思路是：地址发现链路上的聚合元素也就是之前提到的 Key 由服务调整为应用，这也是其名称叫做应用级服务发现的由来,与kubernetes和spring cloud的服务注册发现处于同一粒度，能够平滑打通；另外，通过注册中心同步的数据内容上做了大幅精简，只保留最核心的 ip、port 地址数据。 经过上述调整，应用级别服务发现在保持接口级地址模型易用性的同时，实现了地址单条数据大小和总数量的下降。</p> |
| <p>元数据、配置数据以及自定义数据等通过元数据中心或者MetadataService进行同步，且将所有的数据生成一个metadata revision, metadata revision相同则认为元数据等信息相同，通过这种方式来降低元数据中心或MetadataService的访问频次。</p> |
| <h1 id="3-前期调研">3 前期调研</h1> |
| <p>了解了 Dubbo3 的核心功能以及应用级服务发现的工作原理后，我们开始进入前期工作阶段。</p> |
| <h2 id="31-性能压测">3.1 性能压测</h2> |
| <p>从社区的资料来看，dubbo3各方面都非常不错，但是我们还得自己检验一次，所以我们使用当前在用的dubbo2内部定制版和dubbo3的性能压测，压测的主要场景在于同步调用，异步场景只做了dubbo3的压测， <strong>以下压测数据和结论仅供参考</strong> 。结果表明dubbo3在性能上面确实做了很多的优化，在相同cpu使用率的情况下，dubbo3的tps是要高于dubbo2的；tps相当的情况下，dubbo3的cpu使用率要低于dubbo2。尤其是dubbo2的接口级与dubbo3的实例级，在tps相当的情况下，dubbo3的cpu使用率要较定制版的dubbo2低20%左右。</p> |
| <p>压测环境：</p> |
| <table> |
| <thead> |
| <tr> |
| <th>类别</th> |
| <th>版本</th> |
| <th>机器配置</th> |
| </tr> |
| </thead> |
| <tbody> |
| <tr> |
| <td>Provider</td> |
| <td>dubbo 3.0.4</td> |
| <td>4C8G</td> |
| </tr> |
| <tr> |
| <td>Consumer</td> |
| <td>dubbo 3.0.4</td> |
| <td>4C8G</td> |
| </tr> |
| <tr> |
| <td>Provider</td> |
| <td>dubbo 2.5.3.22(基于2.5.3版本定制)</td> |
| <td>4C8G</td> |
| </tr> |
| <tr> |
| <td>Consumer</td> |
| <td>dubbo 2.5.3.222(基于2.5.3版本定制)</td> |
| <td>4C8G</td> |
| </tr> |
| </tbody> |
| </table> |
| <p>测试场景：</p> |
| <p>使用的是Dubbo协议，接口没有其它逻辑，直接将输入返回给消费者, 接口数据包大小500B，每个场景压30分钟。</p> |
| <p>测试数据 (仅供参考)：</p> |
| <p><img src="https://dubbo.apache.org/imgs/v3/users/pingan-7.png" alt="pingan"></p> |
| <h2 id="32-升级前调研">3.2 升级前调研</h2> |
| <p>做了压测得到dubbo2和dubbo3的压测数据后，我们开始计划将 Dubbo3 引入公司进行试点，此时，我们需要考虑dubbo3与dubbo2的兼容和迁移重构问题，升级目标，以及dubbo3提供有哪些能力支持升级和迁移。</p> |
| <h3 id="321-升级的兼容和迁移重构问题">3.2.1 升级的兼容和迁移重构问题</h3> |
| <p>考虑到公司的系统规模，要将dubbo2升级到dubbo3却不是一个简单的过程，尤其是公司的dubbo2版本在原开源版本基础之上做了不少优化和扩展，涵盖了ops服务治理、monitor数据指标监控、服务注册和发现、RPC灰度路由、链路分析、序列化编解码、作为其他基础框架的底层支持等多个方面，同时dubbo3社区也处于活跃的状态，我们也希望能够持续享受dubbo社区的技术红利，在这样的背景下不得不考虑三个问题：</p> |
| <ol> |
| <li>需要解决公司版本的dubbo2与dubbo3的兼容问题；</li> |
| <li>原有功能的迁移重构问题；</li> |
| <li>不在dubbo3的源码上做改动，保持和社区版本一致。</li> |
| </ol> |
| <p>得益于dubbo 良好的扩展能力，我们可以通过dubbo 的SPI和IoC模块在dubbo3的基础之上优雅的兼容公司版本的dubbo2，不用改动dubbo3源码，只要研发dubbo3扩展包跟随dubbo3版本的API升级即可，这个升级改动的成本和从社区获取红利相比是比较小的。</p> |
| <h3 id="322-升级目标">3.2.2 升级目标</h3> |
| <p>既然历史包袱的解决方案已经有了，那么就要思考升级的目标了。首先确定的是，最终我们将会采用实例级的服务注册和服务发现，其次我们目前使用的注册中心是zookeeper，而dubbo社区更推荐使用的注册中心是nacos，而且我们在验证阶段时也暴露过几个在zookeeper上出现而在nacos上没有出现的问题，这也使得我们开始考虑将来是否将注册中心最终也迁移到nacos上。</p> |
| <p>同时，我们也希望整个迁移过程是平滑、可控的，我们整体方案也要将风险把控作为核心要点考虑，尽可能的做到失败降级、实时可控。</p> |
| <p>综上，我们将升级的目标归纳为下面几点：</p> |
| <p>1）平滑的从dubbo2升级到dubbo3。</p> |
| <p>2）将接口级服务注册和发现模式平滑的迁移到应用级服务注册和发现模式。</p> |
| <p>3）为后面平滑迁移注册中心做好准备。</p> |
| <p>4）迁移过程可监控、可观测。</p> |
| <p>5）迁移过程要可灰度、可实时管控。</p> |
| <p>6）统一dubbo3的通用配置规范，尽量适配原dubbo2的export和refer方式。</p> |
| <h3 id="323-dubbo3对于迁移的支撑能力">3.2.3 dubbo3对于迁移的支撑能力</h3> |
| <p>前面介绍的是我们的目标，但是如何把dubbo3的原生设计理念融入到现实情况中呢？以下是我们的相关思考，并在验证过程中。</p> |
| <p>首先dubbo3能够支持在registryUrl上通过参数管理provider和consumer以不同的模式进行服务注册和服务发现，其中核心参数名有: registry-type, registry-protocol-type, register-mode。</p> |
| <p>其次，dubbo3可以支持使用多个注册中心，不同的注册中心通过上面的registryUrl参数控制注册中心的服务注册模式和服务发现模式。而且还可以通过ProviderConfig和ConsumerConfig这两个这两个Config类分别管理provider侧和consumer侧使用的注册中心。在consumer侧，如果有使用多个注册中心，默认会使用ZoneAwareCluster创建的ZoneAwareClusterInvoker来进行负载均衡，从类名上可以看出，该ClusterInvoker是有提供区域感知的能力，查看源码时发现它还提供了preferred的功能，只在相应的registryUrl中添加了preferred=true，这个registryUrl创建的ClusterInvoker就会被优先调用。</p> |
| <p>在同一注册中心进行接口级迁移到实例级的场景中，dubbo3的MigrationInvoker也提供了相应的支持，MigrationInvoker可以根据MigrationRule来控制实例级的RPC流量，并且根据MigrationRuleListener能够实时监听到指定应用的MigrationRule的变更。</p> |
| <p>关于RPC 的监控在dubbo中一直由MonitorFilter和DubboMonitor提供RPC监控数据的收集和上报，收集的数据有消费者的ip端口、提供者的ip端口、应用名称、DubboService、Method、以及成功数、失败数、输入字节数、输出字节数、耗时、并发数等，</p> |
| <p>这些能力能够满足基本的迁移工作，结合我们的现状来看，相对升级目标要求的平滑迁移，迁移流量可观测、可灰度、可管控还有一些距离，不过在梳理dubbo3这块能力的时候，也找到了相对简单的扩展方案。到此，对于整体的迁移方案也有了一个大致的雏形。</p> |
| <h1 id="4-升级迁移方案设计">4 升级&amp;迁移方案设计</h1> |
| <p>方案的设计重点放在&quot;平滑、可控&quot;两点，根据dubbo3的新架构，目前正在验证中的迁移方案示意图如下：</p> |
| <p><img src="https://dubbo.apache.org/imgs/v3/users/pingan-8.png" alt="pingan"></p> |
| <p>从上图可以看出，在整个升级迁移的过程中，应用域中会存在多个dubbo版本，dubbo3是能够兼容社区的dubbo2版本，而我们公司内部的dubbo2版本是基于dubbo2.5.3开源版本深度定制过的，在ops服务治理、monitor数据指标监控、服务注册和发现、RPC灰度路由、序列化编解码等方面都做了扩展定制，我们的思路是由dubbo3基于dubbo的SPI采用扩展的方式或者ExtensionLoader的Wrapper模式去兼容定制版的dubbo2。</p> |
| <p>除了应用外，在dubbo3的架构基础上划分了3个逻辑域，分别是注册域、配置管控域和监控域。注册域主要服务于服务的注册和发现，例如provider在DubboService暴露时，将服务信息和元数据信息上报到注册域的注册中心和元数据中心，consumer通过注册中心和元数据中心来发现服务。配置管控域主要是管理应用配置和迁移流量管控，dubbo3提供的配置中心支持自身能力的配置，所以流量规则的配置由dubbo3的配置中心进行维护，dubbo3的DynamicConfigration提供了很多关于动态配置的方法可以直接使用。监控域除了原RPC流量的监控外，还细分了迁移流量的监控，在迁移过程中，可以通过监控直观的看到迁移流量的现状，出现问题时，也可以及时报警通知相关人员介入。</p> |
| <p>整个升级过程分为3个阶段：</p> |
| <p>第一阶段：将dubbo2升级到dubbo3的接口级，验证功能、兼容性、性能和稳定性</p> |
| <p>第二阶段：接口级和应用级双注册，通过MigrationRule和RegistryMigrationRule管理RPC流量</p> |
| <p>第三阶段：全面切换到应用级，撤掉MigrationRule和RegistryMigrationRule</p> |
| <h2 id="41-dubbo3扩展兼容dubbo2定制版本">4.1 dubbo3扩展兼容dubbo2定制版本</h2> |
| <p>考虑到dubbo3社区版本的迭代情况，最终决定dubbo3兼容dubbo2定制版本的插件以SDK的方式单独维护，实现兼容的扩展功能主要有如下内容：</p> |
| <ol> |
| <li>RPC 正向透递与反向透传</li> |
| </ol> |
| <p>在consumer侧和provider侧扩展Filter接口实现类，为正向与反向透传数据实现其发送和接收的功能。Dubbo2定制版是在序列化编解码层面对RpcResult进行了修改，要兼容这一逻辑也只能在序列化编解码层面去支持，采用Wrapper模式对Codec2这个SPI进行增强，与其它扩展类一并实现该兼容功能。</p> |
| <ol start="2"> |
| <li>RPC 灰度路由</li> |
| </ol> |
| <p>扩展Dubbo 的Router、 Cluster和ConfiguratorFactory等SPI，与内部的eunomia灰度管控平台集成实现RPC灰度路由，替换并兼容掉原dubbo2定制版在其源码层面修改实现的灰度路由功能。</p> |
| <ol start="3"> |
| <li>monitor数据指标监控</li> |
| </ol> |
| <p>扩展Protocol、MonitorFilter、Monitor等SPI，与内部的监控中心完成对接，与dubbo2定制版的监控逻辑保持一致。</p> |
| <ol start="4"> |
| <li>ops 支持实例级</li> |
| </ol> |
| <p>在ops层面，除了要兼容原接口级的服务管控外，还要添加实例级的服务管控。</p> |
| <ol start="5"> |
| <li>其它中间件兼容</li> |
| </ol> |
| <p>除了dubbo本身的兼容外，内部还有部分自研的中间件也是有依赖dubbo或者跟dubbo有关联的，还要对这些中间件进行改造升级。</p> |
| <h2 id="42-迁移扩展">4.2 迁移扩展</h2> |
| <p>在dubbo3原有能力基础上，也要另外进行扩展以提供平滑迁移的能力，我们构想的设计方案如下：</p> |
| <ol> |
| <li>扩展支持注册中心的迁移可灰度、可管控</li> |
| </ol> |
| <p>在dubbo3中，当consumer侧应用了多个注册中心时，默认会通过ZoneAwareCluster创建ZoneAwareClusterInvoker来进行负载均衡，参考其实现可以扩展一个Cluster实现类和一个ClusterInvoker实现类将ZoneAwareCluster替换掉，注册中心迁移的流量管理、灰度、降级等能力都在扩展的ClusterInvoker中去实现</p> |
| <ol start="2"> |
| <li>扩展支持接口级到实例级迁移规则的全局配置管理</li> |
| </ol> |
| <p>MigrationRule由MigrationRuleListener通过DynamicConfiguration监听指定的应用的迁移规则，如果一个系统拥有成百上千个微服务应用时，由这种方式去管理，维护成本将会变高，我们借鉴这个方法实现了全局级别的MigrationRule管理能力。</p> |
| <ol start="3"> |
| <li>扩展迁移流量可观测、可报警</li> |
| </ol> |
| <p>dubbo RPC的流量监控已经有MonitorFilter和DubboMonitor实现了，只是MonitorFilter不能识别本次RPC请求的Invoker对象是通过哪个注册中心进行服务发现的，以及该Invoke对象的服务发现模式是接口级还是实例级的；，我们在consumer侧新增一个ClusterFilter接口和Filter接口去实现这个识别逻辑。</p> |
| <ol start="4"> |
| <li>迁移组件开关</li> |
| </ol> |
| <p>在扩展的最后，要考虑迁移组件下线的问题，即使要下线也不可能再次调整业务工程将迁移组件全部从依赖中删除掉，所以需要通过开关控制迁移组件的功能下线。</p> |
| <h2 id="43-配置统一管理">4.3 配置统一管理</h2> |
| <p>在升级和迁移过程中，我们可能会随时调整注册中心和迁移规则的配置参数，为减少出错的风险以及业务工程升级改动的工作量，这些公共的配置需要统一管理维护起来，dubbo3的配置中心正常能够把这个任务较好的承接下来。</p> |
| <p>最终我们又扩展了一个配置加载的组件，通过我们公司内部的配置中心管理维护迁移组件的开关和配置中心的连接地址与超时等配置参数。有了这个组件后，新的应用可以不用担心dubbo3和迁移的公共配置，老的应用也减少了这部分公共配置的调整工作量。</p> |
| <h2 id="44-风险预案">4.4 风险预案</h2> |
| <p>dubbo作为一个提供底层支撑能力的微服务框架，我们始终把稳定性的要求放在首位，升级过程中任何一点意外，都可能导致线上问题，所以我们整个方案都是在面向失败、面向风险设计的。除了在扩展的迁移组件中实现了主动降级外，也着重考虑了一些极端情况，同时为这些极端情况提供风险预案。线上环境可能会出现各种意想不到的情况，在迁移过程中需要预先思考各种风险，准备完善的应对处理预案，保证系统快速恢复。</p> |
| <h2 id="45-小结">4.5 小结</h2> |
| <p>dubbo2是一个优秀的微服务框架，提供的SPI以及Extension机制能够非常方便的让用户去扩展实现想要功能。dubbo3在其基础之上，丰富了不少新的SPI，我们花了很长的时间去设计迁移方案，真正花在迁移组件上的开发时间较短。</p> |
| <p>dubbo3整体架构升级调整对于过去的服务注册压力也得到了解决。性能上也做了优化，架构升级后的dubbo3也更适应目前云原生的架构，dubbo 3.1.x 版本支持sidecar和proxyless的mesh方案，而且社区也在准备开源java agent 方式的proxyless，这样就能较好的将微服务架框的framework与数据面解耦，降低微服务框架的维护成本和升级成本。</p> |
| <h1 id="5-社区协作">5 社区协作</h1> |
| <p>目前该项目仍然在持续升级中，我们跟社区保持着紧密的联系，期间碰到不少问题，都得到了社区开发同学耐⼼解答并最终给予解决。对于要升级 Dubbo3 的⽤户，可以在社区的Github User Issue（https://github.com/apache/dubbo/issues/9436） 进⾏登记，想参与社区的同学们也可以关注 Dubbo 官⽅公众号（搜索 Apache Dubbo）了解更多关于dubbo社区的进展。</p></description></item><item><title>Blog: 全国首个政企采购云平台：政采云的混合云跨网方案实践</title><link>https://dubbo.apache.org/zh-cn/blog/2023/03/22/%E5%85%A8%E5%9B%BD%E9%A6%96%E4%B8%AA%E6%94%BF%E4%BC%81%E9%87%87%E8%B4%AD%E4%BA%91%E5%B9%B3%E5%8F%B0%E6%94%BF%E9%87%87%E4%BA%91%E7%9A%84%E6%B7%B7%E5%90%88%E4%BA%91%E8%B7%A8%E7%BD%91%E6%96%B9%E6%A1%88%E5%AE%9E%E8%B7%B5/</link><pubDate>Wed, 22 Mar 2023 00:00:00 +0000</pubDate><guid>https://dubbo.apache.org/zh-cn/blog/2023/03/22/%E5%85%A8%E5%9B%BD%E9%A6%96%E4%B8%AA%E6%94%BF%E4%BC%81%E9%87%87%E8%B4%AD%E4%BA%91%E5%B9%B3%E5%8F%B0%E6%94%BF%E9%87%87%E4%BA%91%E7%9A%84%E6%B7%B7%E5%90%88%E4%BA%91%E8%B7%A8%E7%BD%91%E6%96%B9%E6%A1%88%E5%AE%9E%E8%B7%B5/</guid><description> |
| <p>对云岛业务结构的公司来说，云平台属于公司内部、完全可控的局域网，而岛端则是有自己安全网络策略的独立内部网络。需要云岛通信时，会基于需求，按客户要求走流程开通一些端口，这个过程需要一定的成本且不完全可控。业务上，如果这种跨网需求增多，则会逐渐变成痛点。如果可以搭建一个透明的跨网传输网络，配合良好的顶层设计，就可以在业务支撑、安全管控和运维成本中寻求较好的平衡。</p> |
| <p>本文将介绍政采云基于 Dubbo 的跨网方案落地过程中面临的技术挑战、社区合作以及更深层次抽象的一些思考。在政采云这种政企业务场景中的数据跨网，与业界公有云、自建私有云的公司相比，既有共性又有自己的特点，希望能为大家提供新的思路或者启发。</p> |
| <h2 id="前言">前言</h2> |
| <p>稳定、高效、可靠的基础设施是互联网企业应对业务高峰流量的底层基石。作为政采云的基础技术平台，基础平台部一直致力于通过业内前沿技术的落地，保障公司内部所有业务在线生产系统所依赖的基础技术平台能稳定、安全、低成本、可持续地运行与发展。</p> |
| <p>由于公司对 Dubbo 框架的重度使用，<strong>跨网数据传输系统</strong>一般基于 Dubbo 特性开发，在政采云内部就有多个版本的实现。</p> |
| <p>早在几年前，政采云就上线了基于 Dubbo Filter 转发的方案，它解决了岛到云的单向数据传输，安全认证等问题。另外，业务部门也有按照自己的需求，推出网状点对点的方案，实现了一定程度的透明传输。</p> |
| <p>结合前两年的探索实践以及业界相关领域技术的成熟度，2022年下半年，我们对各跨岛方案，进行了整合升级，也就是现在的<strong>高速公路</strong>方案，保障跨岛标准化同时，解决了之前方案实践过程中面临的很多业务痛点，包括：</p> |
| <ul> |
| <li> |
| <p><strong>单向传输</strong>：因为架构原因，如需双向需要对等重新部署一套，成本较大。</p> |
| </li> |
| <li> |
| <p><strong>白名单开通成本高</strong>：点对点的网状架构，需要两两开通白名单，因为政企网络特殊性，开通流程复杂且慢。</p> |
| </li> |
| <li> |
| <p><strong>平台维护成本高</strong>：业务各自一套数据传输平台，重复建设且运维成本高。</p> |
| </li> |
| <li> |
| <p><strong>公共功能的缺失</strong>：核心功能，业务可以按需开发，但是数据审计、链路追踪、可观测性等公共特性，往往没有足够投入。</p> |
| </li> |
| </ul> |
| <h2 id="1-跨网数据传输系统演进">1. 跨网数据传输系统演进</h2> |
| <h3 id="11-历史架构">1.1 历史架构</h3> |
| <p><img src="https://dubbo.apache.org/imgs/v3/users/zcy-1.png" alt="img"></p> |
| <p></p> |
| <p>自左向右、自下而上进行模块介绍：</p> |
| <ul> |
| <li> |
| <p><strong>业务Web</strong>：业务 Web 作为数据发送方，调本地 集群 Provider 时，携带跨岛信息过去（Dubbo 上下文）。</p> |
| </li> |
| <li> |
| <p><strong>岛业务Center</strong>：本地虚拟Provider，通过Filter拦截跨岛请求，通过http传送到云平台 Dubbo 网关，返回数据后反序列化返回岛业务 web。</p> |
| </li> |
| <li> |
| <p><strong>Dubbo网关</strong>：接收 Http 请求，通过泛化调用云端 Provider，处理数据后返回业务 Center。</p> |
| </li> |
| <li> |
| <p><strong>云业务Center</strong>：普通 Dubbo Provider。</p> |
| </li> |
| </ul> |
| <h3 id="12-高速公路架构">1.2 高速公路架构</h3> |
| <p><img src="https://dubbo.apache.org/imgs/v3/users/zcy-2.png" alt="img"></p> |
| <p></p> |
| <p><strong>1.2.1 隧道机制</strong></p> |
| <p>隧道技术是一种通过使用<strong>互联网络</strong>的<strong>基础设施</strong>在网络之间传递数据的方式。使用隧道传递的<strong>数据</strong>(或负载)可以是不同协议的数据帧或包。</p> |
| <p>高速公路架构中，使用了隧道这个概念。两端（业务层）是 Dubbo 私有协议，跨网传输过程中，则使用了 http 协议，http 协议可以更好的被中间设备、网关识别转发。这个机制的最大便利在于对业务的低侵入性。对于业务集群的应用完全不需要修改。 |
| <img src="https://dubbo.apache.org/imgs/v3/users/zcy-3.png" alt="img"></p> |
| <p>除了路由标记，出口/入口 Dubbo 协议字节流没有任何业务外信息，所以可以路由任何 Dubbo 请求。</p> |
| <p><img src="https://dubbo.apache.org/imgs/v3/users/zcy-4.png" alt="img"></p> |
| <p><strong>1.2.2 主要节点</strong></p> |
| <p><strong>客户端 Sdk</strong>：不改变用户使用 Dubbo 的方式，多种形式提供Dubbo的路由。</p> |
| <p>**Dubbo 出口网关：**代理 Dubbo 流量出口。</p> |
| <p>**Dubbo 入口网关：**代理 Dubbo 流量入口。</p> |
| <p>**统一网关：**基于 Apisix，代理跨网间所有流量，可以扩展鉴权、审计、限流等特性</p> |
| <h2 id="2-挑战与应对之策">2. 挑战与应对之策</h2> |
| <p>如前言中所述，已有的几个方案设计上存在了一些问题，落地后也限制了使用了场景。在架构上，我们提出了高速公路方案，选择了全双工的对等网络传输框架。角色上，云平台定位一个特殊的岛端应用，遵循P2P实施原则。而对用户而言，高速公路是一个通往岛端的隧道，遵循对用户透明原则。我们可以先来看下在搭建平台的过程中面临的一些挑战以及解法。</p> |
| <h3 id="21-技术挑战">2.1 技术挑战</h3> |
| <p>结合当下跨网数据传输系统面临的处境，并对业界 Dubbo 跨网方案做过一番调研后，在平台搭建上确定了如下三期目标：</p> |
| <ul> |
| <li><strong>一期目标</strong>：网络能力建设，简单来说是搭建基于 Dubbo 的传输通道，上层功能先维持不变。</li> |
| <li><strong>二期目标</strong>：业务上，找业务先行试点，基于反馈，小步快跑，快速迭代；技术上，寻求 Dubbo 社区协作，增强对Dubbo相关技术风险的把控，同时抽离通用特性，反馈社区。</li> |
| <li><strong>三期目标</strong>：抽象出更通用的网络框架，从而使语言层，传输协议层、及中间件层独立扩展，一键切换。</li> |
| </ul> |
| <p>在上述三期目标基本落地后，高速公路系统不仅可以跑起来，同时拥有非常强大的扩展性，更好的承接业务需求及共建。在这过程中，我们需要解决不少技术问题。</p> |
| <p><strong>2.1.1 客户端路由</strong></p> |
| <p>如前面历史方案所述，其场景被限制为岛到云的单向数据传输，特点如下：</p> |
| <ul> |
| <li> |
| <p><strong>客户端无路由能力</strong>：Consumer 端只能指定是否路由到云平台，而不能指定其他岛端。</p> |
| </li> |
| <li> |
| <p><strong>基于filter的扩展</strong>：Dubbo的 Filter 并不是为路由设计的，在此基础上较难扩展。</p> |
| </li> |
| <li> |
| <p><strong>需要本地Provider角色</strong>：Consumer 端发出的请求，必须由一个注册在 Zookeeper 下的 Provider 兜住，然后 Filter 根据上下文决定是否转发，这就限制了业务方必须部署一个本地 Provider 应用（哪怕是空应用），才能做到跨网访问。</p> |
| </li> |
| </ul> |
| <p>我们要解决的问题之一，就是打破单向传输瓶颈，客户端可以更自由的路由到目标云/岛。我们设计了以下几种路由方式：</p> |
| <ul> |
| <li> |
| <p><strong>注解方式</strong>：使用@DubboReference提供的通用 parameters 参数，设置路由目标，可以达到方法粒度的路由。</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#268bd2">@DubboReference</span>(check <span style="color:#719e07">=</span> <span style="color:#cb4b16">false</span>, parameters <span style="color:#719e07">=</span> {<span style="color:#2aa198">&#34;ENV_SHANGHAI&#34;</span>, <span style="color:#2aa198">&#34;ALL&#34;</span>}) <span style="color:#586e75">//all表示所有方法，可以单独指定</span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">private</span> DemoService demoService; |
| </span></span></code></pre></div></li> |
| <li> |
| <p><strong>配置中心指定</strong>：把以上parameters = {&ldquo;ENV_SHANGHAI&rdquo;, &ldquo;ALL&rdquo;} 信息，在配置中心配置，达到同样的效果，这种方式对代码完全无侵入。</p> |
| </li> |
| <li> |
| <p><strong>线程指定</strong>：这种方式最灵活。</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span>AddressZoneSpecify.setAddress(Enviroment.SHANGHAI); |
| </span></span><span style="display:flex;"><span>demoService.play(); |
| </span></span></code></pre></div></li> |
| </ul> |
| <p>无论哪种路由方式，基于“用户透明“的原则，都不改变用户使用 dubbo 的方式。</p> |
| <p><strong>2.1.2 Dubbo请求地址切换</strong></p> |
| <p>客户端路由最小限度地侵入业务代码，达到了透明调用远程服务的目标。但是，用户仍旧需要部署一套虚拟 Provider 应用，接收请求后按规则进行路由。</p> |
| <p>为了避免部署多余的应用，我们需要有一定的机制，直接把dubbo流量切换到远程。</p> |
| <p><img src="https://dubbo.apache.org/imgs/v3/users/zcy-5.png" alt="img"></p> |
| <p></p> |
| <p>解决了切换问题后，本地的 APP2 不再需要，甚至zk也可以移除。当然，如果业务同时有本地和远程的调用需要，也可以继续存在。</p> |
| <p><img src="https://dubbo.apache.org/imgs/v3/users/zcy-6.png" alt="img"></p> |
| <p></p> |
| <p>原先，我们准备通过Dubbo的Route自定义扩展，去实现动态切换地址的能力。查阅资料后，发现Dubbo已经提供了类似能力。</p> |
| <p><a href="https://cn.dubbo.apache.org/zh-cn/docs3-v2/java-sdk/advanced-features-and-usage/service/specify-ip/">https://cn.dubbo.apache.org/zh-cn/docs3-v2/java-sdk/advanced-features-and-usage/service/specify-ip/</a></p> |
| <p>该特性放在Dubbo的子工程dubbo-spi-extensions中，同样以Route扩展形式实现。</p> |
| <p>但在实际使用过程中，我们遇到如下问题：</p> |
| <ul> |
| <li><strong>不支持 Dubbo2</strong>：使用 Dubbo2 时，直接以异常的形式提醒暂不支持。</li> |
| <li><strong>NPE异常：</strong> 某些场景下调用出现了NPE异常。</li> |
| <li><strong>丢失部分信息：</strong> Router下构建新 Invocation 时，丢失了 version、group等信息。</li> |
| <li><strong>重试异常：</strong> 远程 Provider 如果发生了异常，客户端在重试的时候，选择了本地集群 Provider 调用，造成错误.</li> |
| </ul> |
| <p>作为一个尝鲜新特性，我们理解功能存在不稳定的情况。但这个功能作为我们跨网方案的技术要点，又必须解决。所以，我们通过PR的形式，把相应补丁提交到Dubbo社区。这个过程中，我们联系到了Dubbo PMC 远云大佬，一起讨论和完善PR，直到解决所有已知问题。</p> |
| <p><strong>2.1.3 出口网关的实现</strong></p> |
| <p>在上图中，通过切换地址，我们似乎可以直接访问远程应用，并且架构非常简单。但是遗憾的是，存在几个难以解决的问题：</p> |
| <ul> |
| <li><strong>网关组件的限制</strong>：在云岛/岛岛间，存在一系列网关组件，来提供转发、负载均衡的功能，比如SLB、NGINX、WAF。这些组件并不能识别私有的 Dubbo 流量并转发</li> |
| <li><strong>ip白名单开通成本高：</strong> 类似 P2P 方案，需要点对点开通 IP 白名单，成本巨大。</li> |
| <li><strong>升级维护复杂：</strong> 客户端通过集成 SDK 的形式转发，后续如需要劫持流量进行扩展，需要同时对每个接入应用进行升级。</li> |
| </ul> |
| <p><img src="https://dubbo.apache.org/imgs/v3/users/zcy-7.png" alt="img"></p> |
| <p></p> |
| <p>针对以上问题，我们的设计中，需要加入 Dubbo 网关的角色，来实现以下目标。</p> |
| <p>① <strong>两端ip收敛</strong></p> |
| <ul> |
| <li>显著减少网关长连接数量</li> |
| <li>弱化服务注册发现流程（每个环境只有一个 Dubbo 网关，直接配置即可互相发现）</li> |
| <li>简化鉴权、认证流程。一条链路可以使用白名单，一群则只能配置较复杂的鉴权</li> |
| </ul> |
| <p>② <strong>两端功能收敛</strong></p> |
| <ul> |
| <li>客户端的 SDK 专注路由功能，基本不用升级</li> |
| <li>扩展功能放在 Dubbo-Proxy，统一升级，业务端无感知</li> |
| </ul> |
| <p>Dubbo-Proxy 作为业务网关，可以减轻对业务端的侵入，起到类似分布式运行时（Dapr）作用。但是，在引入之前，需要解决一些现实的技术问题。其中，最重要的问题是如何接收陌生的 Dubbo 流量，然后进行转发。做了一些相关调研后，有两个方案可用：</p> |
| <ul> |
| <li> |
| <p><strong>通用Provider</strong>：直接在 Dubbo-Proxy 注册一个普通的通用 Service，客户端的 SDK 利用 Filter，劫持流量，直接调用通用 Service 后处理数据返回。</p> |
| </li> |
| <li> |
| <p>**注册虚拟节点：**该方案来源于远云。客户端在本地zk订阅远程节点时，通知 Proxy，Proxy 获取订阅的信息后（预先订阅所有 zk 变更），主动注册相应虚拟 Service（对 zk 来说，注册一个节点的参数只是字符串）到zk上。这样，可以把客户端的远程流量“骗”到 Proxy ，Proxy 再使用服务端泛化，接收请求并转发。</p> |
| </li> |
| </ul> |
| <p>以上两种方案，都可以实现出口网关。但是，在设计上，角色间需要多次交互，才能达到目的。那么，是否有更简洁的方式，直接支持这种接收和转发呢？</p> |
| <p>首先，我们对 Dubbo 源码进行了调研，看 Provider 接收到陌生流量（无相应Service）后会如何处理，是否有扩展点可以拦截。发现在 Byte 流解析阶段，Dubbo 即对 Service 进行了检查，不存在直接抛异常返回。</p> |
| <p><img src="https://dubbo.apache.org/imgs/v3/users/zcy-8.png" alt="img"> |
| </p> |
| <p>在 Provider 处理的生命周期中，Decode 出于非常早期的阶段，几乎没有什么扩展点可以拦截处理。因为快速失败的理念，早期的检测确实可以避免后面无谓的代码执行消耗。但是，对比 Spring ，Dubbo 在扩展性上是有不足的，即对于一个通用的异常，却没有相应的扩展机制。</p> |
| <p>我们决定在 decode 的基础上，加上对这个异常的扩展。主要思路是，在 decode 被调用处，catch 住这块异常，通过 SPI 的形式，获取扩展实现，可以定制异常信息，也可以控制 decode 流程重试。这块修改难度并不大，私有版本上顺利通过测试，同时提交 PR 到社区。这个过程中，远云大佬帮忙发现了一个并发安全的 bug，并给了不少减少风险的建议。</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#586e75">//解码结束后，无论是否异常，都将进入这个方法</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">handleRequest</span>(<span style="color:#268bd2">final</span> ExchangeChannel channel, Request req) <span style="color:#268bd2">throws</span> RemotingException { |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">if</span> (req.error <span style="color:#719e07">!=</span> <span style="color:#cb4b16">null</span>) { |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">// Give ExceptionProcessors a chance to retry request handle or custom exception information.</span> |
| </span></span><span style="display:flex;"><span> String exPs <span style="color:#719e07">=</span> System.getProperty(EXCEPTION_PROCESSOR_KEY); |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">if</span> (StringUtils.isNotBlank(exPs)) { |
| </span></span><span style="display:flex;"><span> ExtensionLoader<span style="color:#719e07">&lt;</span>ExceptionProcessor<span style="color:#719e07">&gt;</span> extensionLoader <span style="color:#719e07">=</span> channel.getUrl().getOrDefaultFrameworkModel().getExtensionLoader(ExceptionProcessor.class); |
| </span></span><span style="display:flex;"><span> ExceptionProcessor expProcessor <span style="color:#719e07">=</span> extensionLoader.getOrDefaultExtension(exPs); |
| </span></span><span style="display:flex;"><span> <span style="color:#dc322f">boolean</span> handleError <span style="color:#719e07">=</span> expProcessor.shouldHandleError(error); |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">if</span> (handleError) { |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">//获取异常扩展，执行wrapAndHandleException操作，需要重试的场景可以抛出retry异常</span> |
| </span></span><span style="display:flex;"><span> msg <span style="color:#719e07">=</span> Optional.ofNullable(expProcessor.wrapAndHandleException(channel, req)).orElse(msg); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> res.setErrorMessage(<span style="color:#2aa198">&#34;Fail to decode request due to: &#34;</span> <span style="color:#719e07">+</span> msg); |
| </span></span><span style="display:flex;"><span> res.setStatus(Response.BAD_REQUEST); |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> channel.send(res); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">//handleRequest过程中的retry控制</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">received</span>(Channel channel, Object message) <span style="color:#268bd2">throws</span> RemotingException { |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">//解码</span> |
| </span></span><span style="display:flex;"><span> decode(message); |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">try</span> { |
| </span></span><span style="display:flex;"><span> handler.handleRequest(channel, message); |
| </span></span><span style="display:flex;"><span> } <span style="color:#719e07">catch</span> (RetryHandleException e) { |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">if</span> (message <span style="color:#719e07">instanceof</span> Request) { |
| </span></span><span style="display:flex;"><span> ErrorData errorData <span style="color:#719e07">=</span> (ErrorData) ((Request) message).getData(); |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">//有定制，进行重试</span> |
| </span></span><span style="display:flex;"><span> retry(errorData.getData()); |
| </span></span><span style="display:flex;"><span> } <span style="color:#719e07">else</span> { |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">// Retry only once, and only Request will throw an RetryHandleException</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">throw</span> <span style="color:#719e07">new</span> RemotingException(channel, <span style="color:#2aa198">&#34;Unknown error encountered when retry handle: &#34;</span> <span style="color:#719e07">+</span> e.getMessage()); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> handler.received(channel, message); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> } |
| </span></span></code></pre></div><p>关于ExceptionProcessor扩展，我们在官方扩展包Dubbo-Spi-Extensions中，提供了一个默认实现，允许控制重试解码，并自定义异常处理。</p> |
| <p><strong>2.1.4 中心网关</strong></p> |
| <p>最新架构，已经非常接近最终实现了，但是缺了一个中心网关角色。引入这个网关(基于 Apisix )的原因：</p> |
| <ul> |
| <li>白名单问题：虽然 Dubbo 网关收敛了终端 IP，但是要实现岛岛互通，还是得两两互开白名单。引入中心网关（云平台）后，每个岛单独和云平台互开即可。白名单开通复杂度从O(n*n) 变为O(n)。</li> |
| <li>统一网关的好处：作为公司级网关，可以统一对所有应用进行限流、鉴权、审计、可观测性等功能拓展。</li> |
| </ul> |
| <h2 id="3-更多思考">3. 更多思考</h2> |
| <p>无论公司内外，能选择的跨网方案非常多，我们会去选择一个能解决痛点的，而不是完美的方案。落地方案一般比较保守，但是对于架构的思考，一定是需要更超前的。</p> |
| <p><strong>http协议导致的性能损失</strong></p> |
| <p>前面说到，在 Dubbo 网关和中心网关间，我们使用了 Http 协议。对比 Dubbo 等精简协议，Http 协议显然更臃肿。但是，也许这是现阶段最合适的方案。除了避免私有协议在网络设备中的“艰难前行”，Http 协议开发成本更低，相应落地风险也更小。一些新技术，也许是我们后续发展的方向。比如 Higress，支持 Triple 协议（基于 Http2）交换信息，在获得更高性能的同时，也解决了设备识别问题。但是选择 Higress，需要面对学习认知成本、新开源 BUG 多等问题，同时它可能更适合内部网络（即使跨公网也能搭建 VPN），而不是我们各私有岛端（客户自定义安全策略）的网络互通。</p> |
| <p><strong>扩展性不足</strong></p> |
| <p>高速公路是一个基于 Dubbo 的跨网方案，在协议与框架层，与 Dubbo 的绑定比较深，但是它应该能做的更多。也许很快，会接入 Http、Mq 等应用协议的流量，或者 Python、Go 等语言的客户端，甚至是 Mysql 的数据互通。这个时候，要么对架构大改，要么各种兼容，这都不是我们想看到的。参考网络分层协议，我们也粗略地做了一个分层抽象规划。</p> |
| <p><img src="https://dubbo.apache.org/imgs/v3/users/zcy-9.png" alt="img"> |
| </p> |
| <ul> |
| <li>物理层打通：主要解决网络异构问题，即约定不同安全策略的子域如何通信。</li> |
| <li>通讯协议层加速：前面讲到的应用层协议，需要做到允许独立扩展及切换。</li> |
| <li>语言层编译加速：业务网关可能更适合使用 Golang，然后 Java 节点是否可以用 Native 优化性能？</li> |
| <li>框架层功能升级：比如当前对 Dubbo 的定制开发，使用的 Apisix 中心网关是否可以扩展 dubbo 转 dubbo?</li> |
| <li>任务编排：业务的跨网调度，不一定是A-&gt;B-&gt;C-&gt;D，会不会是A、B同时完成后才能-&gt;C-&gt;D?</li> |
| <li>更上层的控制面/治理面/运维面</li> |
| </ul> |
| <h2 id="4-未来规划">4. 未来规划</h2> |
| <p>随着高速公路方案在政采云的逐渐落地，我们未来会从稳定性、功能增强、新技术探索三个方面去做深、做广：</p> |
| <p>（1）<strong>稳定性</strong>：基础服务的稳定性是一切的基石，而这往往是不少研发同学容易忽视的一点，研发同学需“在晴天时修屋顶”。</p> |
| <ul> |
| <li><strong>系统自身的健壮性</strong>：资源池化隔离、QoS 保障能力建设。</li> |
| <li><strong>节点实例的稳定性</strong>：加固发现能力，持续完善异常检测工具（除了常规的健康检测，会从观测指标的不同纬度综合决策），自动进行异常实例的替换；加强数据运营，提升反馈能力。</li> |
| </ul> |
| <p>（2）<strong>功能增强</strong></p> |
| <ul> |
| <li><strong>协议增强</strong>：当前只能对 Dubbo 流量转发，计划增加对 Http/Grpc等协议等支持，从而支持更多的场景（已有业务提此类需求）。</li> |
| <li><strong>安全性增强</strong>：在中心网关 Apisix 开发鉴权、审计等插件，更好的控制跨网的调用与被调。</li> |
| <li><strong>易用性增强</strong>：开发自动工单系统，对需要配置的事项，由业务测提工单，相应人员审核后自动配置，解放劳动力同时减少出错概率。</li> |
| </ul> |
| <p>（3）<strong>新技术探索</strong></p> |
| <p> 网关场景，通常有个两个比较明显的特点：</p> |
| <ul> |
| <li> |
| <p>并发量高： 多个应用复用同一个网关</p> |
| </li> |
| <li> |
| <p>行为轻量： 一般只有转发、权限校验等轻量操作</p> |
| </li> |
| </ul> |
| <p>基于这两个特点，语言层性能开销在总性能开销中的占比，往往会业务应用更大，这个时候， Golang 等语言会比 Java更有优势。当前也在对 Dubbo-Go 调研，未来替换基于 Java 版 Dubbo 的网关应用。</p> |
| <p>另外，Higress 方案看起来不错，必定会有许多值得我们学习的东西。</p></description></item><item><title>Blog: Dubbo Java 3.1.4 正式发布</title><link>https://dubbo.apache.org/zh-cn/blog/2022/12/01/dubbo-java-3.1.4-%E6%AD%A3%E5%BC%8F%E5%8F%91%E5%B8%83/</link><pubDate>Thu, 01 Dec 2022 00:00:00 +0000</pubDate><guid>https://dubbo.apache.org/zh-cn/blog/2022/12/01/dubbo-java-3.1.4-%E6%AD%A3%E5%BC%8F%E5%8F%91%E5%B8%83/</guid><description> |
| <p>Dubbo 3.1.4 版本是目前 Dubbo 3 的最新稳定版本，我们建议所有的用户都升级到最新的稳定版本。</p> |
| <h1 id="dubbo-314">Dubbo 3.1.4</h1> |
| <p><img src="https://dubbo.apache.org/imgs/blog/release/3-1-4.png" alt="image.png"></p> |
| <h3 id="新特性">新特性</h3> |
| <ul> |
| <li>Dubbo QoS 支持指定白名单 IP 列表访问所有命令</li> |
| </ul> |
| <h3 id="bugfix">Bugfix</h3> |
| <ul> |
| <li>修复在泛化调用时 Dubbo Metrics 采集方法名错误</li> |
| <li>修复使用 Zookeeper 作为元数据中心时，上报接口映射可能存在相互覆盖的问题</li> |
| <li>修复 timeout countdown 在 Triple 协议的支持</li> |
| <li>修复 timeout countdown 存在透传的问题</li> |
| <li>修复多注册中心请求时，由于没有可用的地址导致的 NPE 问题</li> |
| <li>修复 Mesh 模式下 Triple 获取 remoteApplicationName 为空的问题</li> |
| <li>修复 GraalVM Native Image 的支持</li> |
| <li>修复端口复用时无 SSL 连接导致的 NPE 异常</li> |
| <li>完善 JDK 编译器报错日志的输出格式</li> |
| <li>修复 MetadataReportConfig 部分配置时应用无法启动的问题</li> |
| <li>修复 dubbo.reference 作为默认参数在 3.x 版本中不生效的问题</li> |
| <li>完善 Zookeeper 连接失败的日志</li> |
| <li>修复 ReferenceConfig 中配置的 ClassLoader 可能被覆盖的问题</li> |
| <li>修复部分属性在应用级服务发现时被缓存在实例级的地址中导致方法级配置失效的问题</li> |
| <li>修复 Triple 协议 onError 异常的问题</li> |
| </ul> |
| <h3 id="faq">FAQ</h3> |
| <p>本次发布中有 3 个提交涉及异常日志 FAQ 的完善。关于错误码机制请参考官网错误码机制介绍一文。（https://cn.dubbo.apache.org/zh-cn/overview/mannual/java-sdk/faq/intro/）</p> |
| <h3 id="代码优化">代码优化</h3> |
| <p>本次发布中有 11 个提交涉及代码质量的优化。</p> |
| <h3 id="依赖升级">依赖升级</h3> |
| <ul> |
| <li>升级 fastjson2: 2.0.14 -&gt; 2.0.21</li> |
| <li>升级 resteasy-jaxrs: 3.0.19.Final -&gt; 3.0.20.Final</li> |
| </ul> |
| <h3 id="贡献者">贡献者</h3> |
| <p>Dubbo 感谢以下贡献者对本次发布的贡献：@cnjxzhao, @CrazyHZM, @EarthChen, @gold-fisher, @IncrementalRefinement, @Koooooo-7, @ShenFeng312, @tonycody, @twz007, @win120a, @wlazjr</p> |
| <h3 id="新贡献者">新贡献者</h3> |
| <ul> |
| <li>@twz007 在 PR #11012 提交了第一个贡献</li> |
| <li>@IncrementalRefinement 在 PR #11046 提交了第一个贡献</li> |
| <li>@gold-fisher 在 PR #11058 提交了第一个贡献</li> |
| <li>@wlazjr 在 PR #11084 提交了第一个贡献</li> |
| <li>@ShenFeng312 在 PR #11102 提交了第一个贡献</li> |
| </ul> |
| <h1 id="未来版本规划">未来版本规划</h1> |
| <p><img src="https://dubbo.apache.org/imgs/blog/release/release-roadmap.png" alt="image.png"></p> |
| <p>Dubbo 版本的发布规划以及在《<a href="https://mp.weixin.qq.com/s?__biz=MzIwODYwNTA4MA==&amp;mid=2247484424&amp;idx=1&amp;sn=2f5ff4846f7dafad325f78fd8cf4d1fc&amp;chksm=9701deffa07657e9a46eb97bb859770b4856599566b992724013a848a730f394702938e72404&amp;token=1547029975&amp;lang=zh_CN#rd">聚焦稳定性，Dubbo 发版规划公布</a>》一文中正式发布，欢迎查看。</p></description></item><item><title>Blog: 聚焦稳定性，Dubbo Java 发版规划公布</title><link>https://dubbo.apache.org/zh-cn/blog/2022/10/22/%E8%81%9A%E7%84%A6%E7%A8%B3%E5%AE%9A%E6%80%A7dubbo-java-%E5%8F%91%E7%89%88%E8%A7%84%E5%88%92%E5%85%AC%E5%B8%83/</link><pubDate>Sat, 22 Oct 2022 00:00:00 +0000</pubDate><guid>https://dubbo.apache.org/zh-cn/blog/2022/10/22/%E8%81%9A%E7%84%A6%E7%A8%B3%E5%AE%9A%E6%80%A7dubbo-java-%E5%8F%91%E7%89%88%E8%A7%84%E5%88%92%E5%85%AC%E5%B8%83/</guid><description> |
| <h2 id="dubbo-简介">Dubbo 简介</h2> |
| <p>Apache Dubbo 是一款 RPC 服务开发框架，用于解决微服务架构下的服务治理与通信问题，官方提供了 Java、Golang 等多语言 SDK 实现。使用 Dubbo 开发的微服务原生具备相互之间的远程地址发现与通信能力， 利用 Dubbo 提供的丰富服务治理特性，可以实现诸如服务发现、负载均衡、流量调度等服务治理诉求。Dubbo 被设计为高度可扩展，用户可以方便的实现流量拦截、选址的各种定制逻辑。</p> |
| <h2 id="我应该如何选择版本">我应该如何选择版本？</h2> |
| <p>对于这个问题，一直以来 Dubbo 都没有很好地去回答。究其原因保证所有版本的稳定性是一件非常有挑战的事情。比如在 Dubbo 2.7 的一些版本中，出现了一些前后不兼容的问题，给一些用户升级带来了困扰。为此，很多用户从保障稳定性的视角出发，选择了更保守的策略，即生产环境采用被采用最多的版本，此后就不再更新，避免升级过程中出现意外。</p> |
| <p>但是这种方式无疑是有问题的，一方面这将导致永远无法用上社区新的功能，得到技术演进的红利；另一方面，对于安全漏洞和带来不稳定因素的 bug 等已知问题如果不升级永远会存在，久而久之将给应用带来巨大的风险，很有可能导致严重的安全生产事故。</p> |
| <p>因此，为了更好地回答这个问题，Dubbo 制定了未来的版本迭代规划，明确版本的稳定性维护机制，提升开发者使用 Dubbo 的信心。</p> |
| <h2 id="现状">现状</h2> |
| <p>在此前，Dubbo 总共维护了 2.6.x、2.7.x 以及 3.x 三个大版本，其中 2.7.x 为捐献进入 Apache 基金会之后的版本。</p> |
| <p>2.6.x 在去年已经宣布生命周期结束（EOL）了，而 2.7.x 累计维护了四年的时间了。这四年的时间里，2.7.x 版本经历了多次大的修改，如 2.7.3 版本中对 Nacos 的注册方式进行了修改、2.7.6 版本中添加了应用级服务发现、2.7.9 版本中对应用级服务发现进行大的重构等。</p> |
| <p>这些修改都对 2.7.x 版本的稳定性带来了巨大的风险隐患，导致 2.7.x 中很多版本或多或少存在不同的问题，用户无法选择一个最稳定的版本进行使用。</p> |
| <p>因此，我们希望在 3.x 版本中将这种不稳定的情况通过发版机制给收敛掉，提高 Dubbo 版本的稳定性。</p> |
| <h2 id="未来总体规划">未来总体规划</h2> |
| <p>在接下来，Dubbo 将以每 6 个月为一个周期，对每个版本包括了新功能合入、稳定性维护以及安全漏洞修复三个大方向的内容。</p> |
| <p>新功能合入是指将 Dubbo 开发过程中所有新的特性、性能优化、破坏性修改都会被合入的行为。由于新功能是需要一段时间迭代稳定的，所以新功能的合入会给对应版本带来不稳定因素，因此只能在每个版本最开始的时候进行。</p> |
| <p>稳定性维护是指修复<strong>已有</strong>功能的非预期行为，进一步提升版本的稳定性。特别的，对于一些大的问题修复，如功能需要整体重构的，或者回带来破坏性影响的提交将被视为新功能提交，执行新功能合入的流程。避免因为修复一个问题而来带更多问题的严重后果。</p> |
| <p>安全维护是指修复使用中的安全风险问题，这一块主要是解决来自白帽子提交的漏洞问题。</p> |
| <p>新功能合入在每个版本中会持续 <strong>6</strong> 个月，稳定性维护在每个版本中会持续 <strong>12</strong> 个月，安全维护在每个版本中会持续 <strong>18</strong> 个月。</p> |
| <p>因此，从整体迭代规划来看，每 6 个月 Dubbo 会开始一个新的版本迭代，与之同时的，也会有一个版本宣布生命周期结束（EOL）。</p> |
| <h2 id="逐版本维护规划">逐版本维护规划</h2> |
| <p><img src="https://dubbo.apache.org/imgs/blog/release/release-roadmap.png" alt="image.png"></p> |
| <p>上图为具体到每个版本在每个时间点的维护状态图。</p> |
| <p>对于 Dubbo 2.7 以及 3.0 版本，目前已经进入了安全维护阶段，将在 2023 年 3 月宣布版本维护周期结束。</p> |
| <p>对于 Dubbo 3.1 版本，目前已经是稳定性维护阶段，如前一小节所述，目前只会继续合入和稳定性修改的修改。处于稳定性维护阶段的版本也是社区推荐生产使用的最新版本。稳定性维护工作将持续到 2023 年 3 月，在此之后会有持续 6 个月的安全维护阶段，最终在 2023 年 9 月结束其版本的生命周期。</p> |
| <p>对于 Dubbo 3.2 版本，目前仍处在新功能合入的阶段，发布的是 beta 版本。此阶段适合一些尝鲜使用，版本稳定性相较于已经进入仅稳定性维护阶段的版本稍欠。在 2023 年 3 月，Dubbo 3.2 将结束新功能合入周期，进行充分的稳定性验证，并正式发布生产可用的 GA 版本。此后在 2023 年 9 月之前会进行稳定性的维护，在 2024 年 3 月结束版本的生命周期。</p> |
| <p>对于 Dubbo 3.3 版本，将在 2023 年 3 月紧随着 3.2 版本结束新功能合入阶段后正式开始开发。因此，Dubbo 3.3 版本的第一个 beta release 也将会在 2023 年 3 月发布。同样的，经过 6 个月的新功能合入阶段之后，Dubbo 3.3 版本将会在 2023 年 9 月正式发布生产可用 GA 版本，同时进入稳定性维护阶段。之后在 2024 年 3 月进入安全维护阶段，在 2024 年 9 月结束版本的生命周期。</p> |
| <h2 id="总结">总结</h2> |
| <p>对于绝大多数的生产用户，我们建议使用<strong>当前处于仅稳定性维护阶段的版本的最新小版本</strong>。如在 2022 年 9 月至 2023 年 3 月这段时间，Dubbo 3.1 是处于仅稳定性维护阶段的，因此首选 Dubbo 3.1 版本。而对于如 3.1.0、3.1.1、3.1.2 等的 Dubbo 3.1.x 的多个小版本，我们建议直接使用最新的小版本。由于各个小版本之间仅包含稳定性修复，所以越往后的版本是越稳定的。</p> |
| <p>对于愿意尝鲜、体验新功能的用户，可以直接基于最新的开发版本进行测试。即使是开发版本，Dubbo 也有一整套的质量保障机制，如果使用过程中遇到问题，欢迎向社区提交反馈。</p> |
| <p>目前，阿里巴巴集团已经基于 Dubbo 3.0 的稳定版本完美支撑了整个核心电商今年双十一的所有调用，现在也正在升级到 Dubbo 3.1 这个最新的稳定版本上来。我们欢迎更多的用户一起升级到 Dubbo 3.1 版本上，在升级过程中可以参考官网给出的升级指南，遇到任何问题也可以通过 issue、微信群、钉钉群及时反馈社区，我们将尽全力协助。</p> |
| <h2 id="更多">更多</h2> |
| <p>在版本规划的方向上，除了本次发布的迭代线路图，Dubbo 还将通过一系列的机制保障用户的使用体验是连续的、稳定的。在大版本升级方面，Dubbo 将建设<strong>完善的版本升级指南</strong>，如 Dubbo 3.1 版本升级到 Dubbo 3.2 版本中的重大修改点，让用户在升级的时候能够清晰的了解其中的风险点，更好的规划升级节奏。</p> |
| <p>此外，对于目前人在大范围使用的 Dubbo 2.7 版本，在近期 Dubbo 社区也将推出<strong>针对 Dubbo 2.7 版本的升级的指南与工具</strong>，通过工程化的方式让所有的 Dubbo 2.7 用户都可以提前查出所有的版本差异点，平滑升级到 Dubbo 3 上来。</p></description></item><item><title>Blog: Dubbo Java 3.0.2 发版公告</title><link>https://dubbo.apache.org/zh-cn/blog/2021/07/18/dubbo-java-3.0.2-%E5%8F%91%E7%89%88%E5%85%AC%E5%91%8A/</link><pubDate>Sun, 18 Jul 2021 00:00:00 +0000</pubDate><guid>https://dubbo.apache.org/zh-cn/blog/2021/07/18/dubbo-java-3.0.2-%E5%8F%91%E7%89%88%E5%85%AC%E5%91%8A/</guid><description> |
| <h2 id="新特性">新特性</h2> |
| <ul> |
| <li>支持通过 @DubboService 注解暴露泛化服务</li> |
| <li>元数据中心xml格式的配置支持 protocol 和 port 属性</li> |
| <li>兼容 curator5 以上的版本</li> |
| <li>点对点调用支持*通配符进行匹配, 一个提供者地址可对应多个接口</li> |
| <li>为应用级别的服务发现增加动态配置去进行规则覆盖</li> |
| <li>对提供者测的动态配置覆盖规则提供开关，可以使提供者无视动态配置，不重新暴露</li> |
| <li>支持 native image</li> |
| <li>提供取消执行 shutdown hook 的开关</li> |
| <li>支持 Kubernetes Mesh 的服务治理规则</li> |
| <li>Netty 连接支持 SSL 配置</li> |
| </ul> |
| <h2 id="bug-修复">Bug 修复</h2> |
| <ul> |
| <li>DubboBootStrap start 重复调用后，动态配置被覆盖</li> |
| <li>动态配置规则被删除后，依然生效</li> |
| <li>triple 协议在暴露时会抛出空指针异常</li> |
| <li>ConfigCenterConfig.setAddress 方法会覆盖掉 username 属性</li> |
| <li>DefaultFuture.closeChannel 会销毁掉消费端测的线程池</li> |
| <li>TripleClientHandler.writeRequest 抛出空指针异常</li> |
| <li>解析3.0迁移规则异常时会抛出空指针异常</li> |
| <li>Activated Extensions 的顺序性问题</li> |
| <li>URLAddress.parse 方法在解析 ipv6 地址时存在问题</li> |
| <li>用户自定义的参数在 properties 配置中不生效</li> |
| <li>同时使用 API 模式和 Spring 模式配置时属性，Config Id 存在覆盖问题</li> |
| <li>应用级别服务发现在启动时不生效</li> |
| <li>Nacos 注册中心无法动态感知提供者的数量变化</li> |
| <li>${dubbo.application} 在 xml 文件中无法被 spring 的 placeholder 规则给解析替换</li> |
| <li>获取实例参数的顺序问题，先去获取了实例级别参数，再去获取接口级别参数</li> |
| <li>当 DubboConfigBeanInitializer 不存在时，注册应用启动监听器会抛出异常</li> |
| <li>Mock 时 参数中包含 &lsquo;:&rsquo; 或者 &lsquo;=&rsquo; 字符时，不生效</li> |
| <li>删除 Mesh 规则时空指针异常</li> |
| </ul> |
| <h2 id="优化">优化</h2> |
| <ul> |
| <li>抓住 RemovalTask 的异常，保证信号量能够释放</li> |
| <li>通过 唯一 service name 检查 ReferenceConfig/ServiceConfig 是否重复</li> |
| <li>优化生成随机数的性能</li> |
| <li>如果用户使用接口级别去做服务发现，不发布应用与接口的映射数据到元数据中心</li> |
| <li>使用 StringBuilder#append(Char) 提升性能</li> |
| <li>保证 GRPC 编译的类文件中接口的顺序</li> |
| <li>优化 reference bean 的占位符解析</li> |
| <li>MergeableClusterInvoker 中使用 CompletableFuture#get(long, TimeUnit) 去提升性能</li> |
| <li>内置服务 MetadataService 不延迟暴露</li> |
| <li>优化 ConfigBean 和 Bootstrap 的启动逻辑</li> |
| <li>优化 Config 检查是否重复的逻辑</li> |
| <li>使用 Ring 数据结构去进行注册通知</li> |
| <li>优化动态配置的初始化逻辑</li> |
| <li>ConfigManager 使用 ConcurrentHashMap 去移除锁逻辑，提升 equals 和 toString 性能</li> |
| <li>优化 MetadataInfo equals 方法 以及 Instance Listener</li> |
| <li>优化异步 export/refer 逻辑</li> |
| <li>使用 TreeSet 数据结构保证应用级别服务发现时应用名称的顺序一致</li> |
| <li>RegistryNotifier 的第一个十次通知不延迟</li> |
| <li>dubbo-compile 编译使用新的格式生成 stub</li> |
| <li>Mesh 服务治理规则在动态配置中心的分组和其他规则分组统一，由 DEFAULT_GROUP 改成 dubbo</li> |
| <li>使用 nacos 用作注册中心时，可以在注册中心地址中使用参数来改变在 nacos 中的分组</li> |
| <li>计算 ServiceInfo 的 reversion 时，移除运行时参数，避免生成多个 reversion</li> |
| <li>Nacos 注册中心抛出异常时，将异常封装称 RpcException 抛出</li> |
| <li>禁止动态配置中心对一些权限参数进行动态修改</li> |
| <li>优化 Config Bean 的初始化流程，并兼容 spring 3.x/4.1.x</li> |
| <li>Bootstrap.start 方法可重入，暴露或引用新的服务</li> |
| <li>将 org.apache.dubbo 包中的类默认添加到白名单中</li> |
| <li>保证生成的 Config 的 Id 唯一，并检查 Config 是否之前存在</li> |
| <li>Javaassist 兼容改变 override 声明字段</li> |
| <li>重构解码时的检查逻辑，当找不到 path, version 对应的提供者是，抛出异常</li> |
| <li>当 ApplicationModel 为 null 时，兼容 adaptive extensions</li> |
| </ul> |
| <h2 id="代码质量提升">代码质量提升</h2> |
| <p>感谢以下提高 Apache Dubbo 的稳定性的贡献。</p> |
| <p><a href="https://github.com/apache/dubbo/pull/8111">#8111</a>, |
| <a href="https://github.com/apache/dubbo/pull/8147">#8147</a>, |
| <a href="https://github.com/apache/dubbo/pull/8164">#8164</a>, |
| <a href="https://github.com/apache/dubbo/pull/8177">#8177</a>, |
| <a href="https://github.com/apache/dubbo/pull/8180">#8180</a>, |
| <a href="https://github.com/apache/dubbo/pull/8161">#8161</a>, |
| <a href="https://github.com/apache/dubbo/pull/8183">#8183</a>, |
| <a href="https://github.com/apache/dubbo/pull/8205">#8205</a>, |
| <a href="https://github.com/apache/dubbo/pull/8173">#8173</a>, |
| <a href="https://github.com/apache/dubbo/pull/8219">#8219</a>, |
| <a href="https://github.com/apache/dubbo/pull/8228">#8228</a>, |
| <a href="https://github.com/apache/dubbo/pull/8232">#8232</a>, |
| <a href="https://github.com/apache/dubbo/pull/8230">#8230</a>, |
| <a href="https://github.com/apache/dubbo/pull/8236">#8236</a>, |
| <a href="https://github.com/apache/dubbo/pull/8260">#8260</a>, |
| <a href="https://github.com/apache/dubbo/pull/8262">#8262</a>, |
| <a href="https://github.com/apache/dubbo/pull/8252">#8252</a>, |
| <a href="https://github.com/apache/dubbo/pull/8246">#8246</a>, |
| <a href="https://github.com/apache/dubbo/pull/8208">#8208</a>, |
| <a href="https://github.com/apache/dubbo/pull/8278">#8278</a>, |
| <a href="https://github.com/apache/dubbo/pull/8267">#8267</a>, |
| <a href="https://github.com/apache/dubbo/pull/8277">#8277</a>, |
| <a href="https://github.com/apache/dubbo/pull/8291">#8291</a>, |
| <a href="https://github.com/apache/dubbo/pull/8296">#8296</a>, |
| <a href="https://github.com/apache/dubbo/pull/8302">#8302</a>, |
| <a href="https://github.com/apache/dubbo/pull/8175">#8175</a>, |
| <a href="https://github.com/apache/dubbo/pull/8319">#8319</a>, |
| <a href="https://github.com/apache/dubbo/pull/8309">#8309</a>, |
| <a href="https://github.com/apache/dubbo/pull/8336">#8336</a>, |
| <a href="https://github.com/apache/dubbo/pull/8332">#8332</a>, |
| <a href="https://github.com/apache/dubbo/pull/8328">#8328</a>, |
| <a href="https://github.com/apache/dubbo/pull/8355">#8355</a>, |
| <a href="https://github.com/apache/dubbo/pull/8396">#8396</a>, |
| <a href="https://github.com/apache/dubbo/pull/8401">#8401</a>, |
| <a href="https://github.com/apache/dubbo/pull/8395">#8395</a>, |
| <a href="https://github.com/apache/dubbo/pull/8415">#8415</a>, |
| <a href="https://github.com/apache/dubbo/pull/8406">#8406</a>, |
| <a href="https://github.com/apache/dubbo/pull/8411">#8411</a>, |
| <a href="https://github.com/apache/dubbo/pull/8418">#8418</a>, |
| <a href="https://github.com/apache/dubbo/pull/8439">#8439</a>, |
| <a href="https://github.com/apache/dubbo/pull/8404">#8404</a>, |
| <a href="https://github.com/apache/dubbo/pull/8443">#8443</a></p> |
| <h2 id="maven依赖变化">Maven依赖变化</h2> |
| <ul> |
| <li>移除依赖: org.eclipse.collections:eclipse-collections</li> |
| <li>移除依赖: com.google.guava:guava</li> |
| <li>jetty: 9.4.11.v20180605 -&gt; 9.4.43.v20210629</li> |
| <li>apollo client: 1.1.1 -&gt; 1.8.0</li> |
| <li>snakeyaml: 1.20 -&gt; 1.29</li> |
| <li>tomcat embed: 8.5.31 -&gt; 8.5.69</li> |
| <li>nacos client: 2.0.0 -&gt; 2.0.2</li> |
| <li>swagger: 1.5.19 -&gt; 1.5.24</li> |
| <li>hessian_lite: 3.2.8 -&gt; 3.2.11</li> |
| </ul></description></item><item><title>Blog: Dubbo Java 3.1.3 正式发布</title><link>https://dubbo.apache.org/zh-cn/blog/2022/07/18/dubbo-java-3.1.3-%E6%AD%A3%E5%BC%8F%E5%8F%91%E5%B8%83/</link><pubDate>Mon, 18 Jul 2022 00:00:00 +0000</pubDate><guid>https://dubbo.apache.org/zh-cn/blog/2022/07/18/dubbo-java-3.1.3-%E6%AD%A3%E5%BC%8F%E5%8F%91%E5%B8%83/</guid><description> |
| <h2 id="dubbo-313">Dubbo 3.1.3</h2> |
| <p><img src="https://dubbo.apache.org/imgs/blog/release/3-1-3.png" alt="image.png"></p> |
| <h3 id="修改内容">修改内容</h3> |
| <ul> |
| <li>修复本地调用的过程中 Filter 顺序异常的问题</li> |
| <li>支持导入协议配置项到 MetadataService</li> |
| <li>支持在发布 MetadataService 时自动选择可用端口</li> |
| <li>完善错误码内容</li> |
| <li>泛化调用下支持一致性哈希负载均衡</li> |
| <li>修复泛化调用时反序列化异常的问题</li> |
| <li>修复由于 JVM Methods 顺序不一致导致的应用级元数据无法复用的问题</li> |
| <li>默认关闭端口复用能力，修复 remoting 组建找不到 SPI 的问题</li> |
| <li>修复由于引用计数异常导致的 safe gard 问题</li> |
| <li>删除 Nacos 注册中心组建中使用的 guava 依赖</li> |
| <li>修复接口级使用 Nacos 注册中心时由于地址聚合导致的无法下线的问题</li> |
| <li>多个代码质量优化提交</li> |
| </ul> |
| <h3 id="新贡献者">新贡献者</h3> |
| <ul> |
| <li><a href="https://github.com/zhangzq7">@zhangzq7</a> 在 <a href="https://github.com/apache/dubbo/pull/10847">#10847</a> 中提交了第一个贡献</li> |
| <li><a href="https://github.com/akaakking">@akaakking</a> 在 <a href="https://github.com/apache/dubbo/pull/10799">#10799</a> 中提交了第一个贡献</li> |
| <li><a href="https://github.com/wxbty">@wxbty</a> 在 <a href="https://github.com/apache/dubbo/pull/10921">#10921</a> 中提交了第一个贡献</li> |
| <li><a href="https://github.com/haoxz11">@haoxz11</a> 在 <a href="https://github.com/apache/dubbo/pull/10937">#10937</a> 中提交了第一个贡献</li> |
| </ul> |
| <h3 id="新贡献者-1">新贡献者</h3> |
| <ul> |
| <li><a href="https://github.com/weixsun">@weixsun</a> 在 <a href="https://github.com/apache/dubbo/pull/10941">#10941</a> 中提交了第一个贡献</li> |
| </ul> |
| <h2 id="未来的版本规划">未来的版本规划</h2> |
| <p>3.0、3.1、3.2 有什么区别？未来会怎么发展？发版周期是怎么样的？更多的版本迭代规划也将在近期推出，欢迎关注 Apache Dubbo 官方公众号获取最新的信息。</p></description></item><item><title>Blog: Dubbo Java 3.2.0-beta.3 正式发布</title><link>https://dubbo.apache.org/zh-cn/blog/2022/12/18/dubbo-java-3.2.0-beta.3-%E6%AD%A3%E5%BC%8F%E5%8F%91%E5%B8%83/</link><pubDate>Sun, 18 Dec 2022 00:00:00 +0000</pubDate><guid>https://dubbo.apache.org/zh-cn/blog/2022/12/18/dubbo-java-3.2.0-beta.3-%E6%AD%A3%E5%BC%8F%E5%8F%91%E5%B8%83/</guid><description> |
| <p>Dubbo 3.2.0-beta.3 版本是目前 Dubbo 3 的最新特性版本，包括了如 Spring Boot 3、JDK 17、服务粒度的线程池隔离等新特性的支持，欢迎大家尝鲜使用。</p> |
| <h1 id="dubbo-320-beta3">Dubbo 3.2.0-beta.3</h1> |
| <p><img src="https://dubbo.apache.org/imgs/blog/release/3-2-0-beta-3.png" alt="image.png"></p> |
| <p><strong>注：Dubbo 3.2.0-beta.3 的代码基础和 Dubbo 3.1.4 完全一致，因此在 Dubbo 3.1.4 中包括的所有修改内容，在 Dubbo 3.2.0-beta.3 中也同样存在，后续说明中对于重复的内容讲不再赘述。</strong></p> |
| <h3 id="新特性">新特性</h3> |
| <ul> |
| <li>支持使用 jackson 作为Dubbo 内部的 JSON 序列化方式</li> |
| <li>优化 Dubbo Logger 的选择逻辑，在存在多种日志框架的情况下会尝试读取其配置，选择一个有效的日志框架，解决在 SpringBoot 等场景下 Dubbo 日志不输出的问题。</li> |
| <li>Triple 协议支持客户端流控</li> |
| <li>支持发布 Dubbo Metrics 数据到 Spring Boot 的 Endpoints 上</li> |
| <li>支持可选关闭线程池满时的线程 Dump 以及支持配置 Dump 的结果输出路径</li> |
| <li>xDS 实现支持路由规则的解析</li> |
| <li>支持 Dubbo QoS 命令安全性分级，默认对外暴露存活检测的端口，支持 Kubernetes 的原生接入</li> |
| <li>支持基于 P2C 的自适应负载均衡</li> |
| </ul> |
| <h3 id="bugfix">Bugfix</h3> |
| <ul> |
| <li>修复默认 Metadata 缓存未开启的问题</li> |
| <li>修复 Metrics 指标资源路径错误的问题</li> |
| <li>完善线程池隔离的配置，默认采用共享线程池，避免创建过多的线程</li> |
| <li>完善 prefer-serialization 的选择逻辑，提供向前兼容的能力</li> |
| <li>修复 Triple 协议传输时未携带版本号导致版本调用错误的问题</li> |
| <li>完善 GraalVM Native Image 的支持</li> |
| </ul> |
| <h3 id="性能优化">性能优化</h3> |
| <ul> |
| <li>优化在连接数高时由于获取 channels 数量导致的资源占用问题</li> |
| </ul> |
| <h3 id="代码优化">代码优化</h3> |
| <p>本次发布中有 5 个提交涉及代码质量的优化。</p> |
| <h3 id="贡献者">贡献者</h3> |
| <p>Dubbo 感谢以下贡献者对本次发布的贡献：@AlbumenJ, @asa3311, @conghuhu, @CrazyHZM, @gitchenjh, @haoyann, @JavaHello, @Koooooo-7, @nannanfighting, @ningboliu, @shanuo0312, @songxiaosheng, @tonycody, @XDanwar</p> |
| <h3 id="新贡献者">新贡献者</h3> |
| <ul> |
| <li>@JavaHello 在 PR #10970 提交了第一个贡献</li> |
| <li>@songxiaosheng 在 PR #10997提交了第一个贡献</li> |
| <li>@Koooooo-7 在 PR #11051 提交了第一个贡献</li> |
| <li>@ningboliu 在 PR #10745 提交了第一个贡献</li> |
| <li>@XDanwar 在 PR #11063 提交了第一个贡献</li> |
| </ul> |
| <h1 id="未来版本规划">未来版本规划</h1> |
| <p><img src="https://dubbo.apache.org/imgs/blog/release/release-roadmap.png" alt="image.png"></p> |
| <p>Dubbo 版本的发布规划以及在《<a href="https://mp.weixin.qq.com/s?__biz=MzIwODYwNTA4MA==&amp;mid=2247484424&amp;idx=1&amp;sn=2f5ff4846f7dafad325f78fd8cf4d1fc&amp;chksm=9701deffa07657e9a46eb97bb859770b4856599566b992724013a848a730f394702938e72404&amp;token=1547029975&amp;lang=zh_CN#rd">聚焦稳定性，Dubbo 发版规划公布</a>》一文中正式发布，欢迎查看。</p></description></item><item><title>Blog: Dubbo 3.2.0-beta.2 正式发布</title><link>https://dubbo.apache.org/zh-cn/blog/2022/11/18/dubbo-3.2.0-beta.2-%E6%AD%A3%E5%BC%8F%E5%8F%91%E5%B8%83/</link><pubDate>Fri, 18 Nov 2022 00:00:00 +0000</pubDate><guid>https://dubbo.apache.org/zh-cn/blog/2022/11/18/dubbo-3.2.0-beta.2-%E6%AD%A3%E5%BC%8F%E5%8F%91%E5%B8%83/</guid><description> |
| <h2 id="dubbo-320-beta2">Dubbo 3.2.0-beta.2</h2> |
| <p><img src="https://dubbo.apache.org/imgs/blog/release/3-2-0-beta-2.png" alt="image.png"></p> |
| <h3 id="修改内容">修改内容</h3> |
| <ul> |
| <li>切换到在用户线程序列化，提升协议性能</li> |
| <li>支持 Netty3 的端口复用</li> |
| <li>修复存在多个用户配置的 providedBy 时不生效的问题</li> |
| <li>支持 istio 的 first-party-jwt 能力</li> |
| <li>删除 fastjson 和 gson 的传递依赖</li> |
| <li>支持可选 appResponse 不透传的能力</li> |
| <li>切换到 Fastjson2 为默认序列化依赖</li> |
| <li>完善注册中心推送的日志</li> |
| <li>修复路由刷新时机早于服务目录刷新时机的问题</li> |
| <li>关闭地址推空保护</li> |
| <li>更新支持 GraalVM Native 的 SPI 生成代码</li> |
| <li>支持使用 plain text 模式传输 xds 通道</li> |
| <li>支持 Nacos 批量注册，修复多注册覆盖的问题</li> |
| <li>支持 Spring Framework 6 and Spring Boot 3</li> |
| <li>多个代码质量优化提交</li> |
| <li>前述 Dubbo 3.1.3 的所有修改内容</li> |
| </ul> |
| <h3 id="新贡献者">新贡献者</h3> |
| <ul> |
| <li><a href="https://github.com/weixsun">@weixsun</a> 在 <a href="https://github.com/apache/dubbo/pull/10941">#10941</a> 中提交了第一个贡献</li> |
| </ul> |
| <h2 id="未来的版本规划">未来的版本规划</h2> |
| <p>3.0、3.1、3.2 有什么区别？未来会怎么发展？发版周期是怎么样的？更多的版本迭代规划也将在近期推出，欢迎关注 Apache Dubbo 官方公众号获取最新的信息。</p></description></item><item><title>Blog: Dubbo Java 2.7.14 发版公告</title><link>https://dubbo.apache.org/zh-cn/blog/2020/05/18/dubbo-java-2.7.14-%E5%8F%91%E7%89%88%E5%85%AC%E5%91%8A/</link><pubDate>Mon, 18 May 2020 00:00:00 +0000</pubDate><guid>https://dubbo.apache.org/zh-cn/blog/2020/05/18/dubbo-java-2.7.14-%E5%8F%91%E7%89%88%E5%85%AC%E5%91%8A/</guid><description> |
| <h2 id="变动项">变动项</h2> |
| <ul> |
| <li>为 ServiceDiscovery 增加动态配置中心的覆盖规则。（#8389）</li> |
| <li>修复当 mock 参数中包含 &lsquo;:&rsquo; 或者 &lsquo;=&rsquo; 符号时无法正常使用的问题。（#8379）</li> |
| <li>修复 zone 参数对 ZoneAwareClusterInvoker 配置无法生效的问题。（#8521）</li> |
| <li>为序列化白名单检查增加开关，默认为 true。（#8537）</li> |
| <li>修复当请求超时时序列化检查的空指针异常。（#8587）</li> |
| <li>修复 NetUtils.ignoreNetworkInterface 无法处理网卡中包含 &lsquo;(&rsquo; 符号的问题。（#8629）</li> |
| <li>统一获取本地地址的方式。（#8679）</li> |
| <li>修复当重试参数为0，依旧会重试1次的问题。（#8743）</li> |
| <li>当清除未使用的 invoker 时，立即关闭客户端。（#8756）</li> |
| <li>修复 destroy 方法以及 doOverrideIfNecessary 中的异常。（#8683）</li> |
| <li>DefaultFuture.closeChannel 根据日志级别选择是否打印请求的详细数据。（#8778）</li> |
| <li>使用 MapUtils 替换 AttachmentsAdapter（#8772）</li> |
| </ul> |
| <h2 id="maven依赖变化">Maven依赖变化</h2> |
| <ul> |
| <li>netty4: 4.1.51.Final -&gt; 4.1.66.Final</li> |
| <li>netty4_ssl: 2.0.39.Final -&gt; 2.0.40.Final</li> |
| <li>http_client: 4.5.3 -&gt; 4.5.13</li> |
| <li>jetty: 9.4.11.v20180605 -&gt; 9.4.43.v20210629</li> |
| <li>apollo_client: 1.1.1 -&gt; 1.8.0</li> |
| <li>tomcat_embed: 8.5.31-&gt; 9.0.48</li> |
| <li>commons_io: 2.6 -&gt; 2.7</li> |
| <li>curator: 5.0.0 -&gt; 5.1.0</li> |
| <li>hessian_lite: 3.2.8 -&gt; 3.2.11</li> |
| </ul></description></item><item><title>Blog: Dubbo Go 1.5.1</title><link>https://dubbo.apache.org/zh-cn/blog/1/01/01/dubbo-go-1.5.1/</link><pubDate>Mon, 01 Jan 0001 00:00:00 +0000</pubDate><guid>https://dubbo.apache.org/zh-cn/blog/1/01/01/dubbo-go-1.5.1/</guid><description> |
| <p>近期我们发布了 dubbo-go v1.5.1，虽然是 v1.5 的一个子版本，但相比于 v1.5.0， 社区还是投入了很大人力添加了如下重大改进。</p> |
| <h2 id="1-应用维度注册模型">1 应用维度注册模型</h2> |
| <p>在新模型 release 后，我们发现 Provider 每个 URL 发布元数据都会注册 ServiceInstance，影响性能需要优化。</p> |
| <p>我们的优化方案是：</p> |
| <p>去除 ServiceDiscoveryRegistry 中注册 ServiceInstance 的代码，在 config_loader 中的loadProviderConfig 方法的最后注册 ServiceInstance</p> |
| <p>具体步骤：</p> |
| <ol> |
| <li>获取所有注册的 Registry，过滤出 ServiceDiscoveryRegistry，拿取所有 ServiceDiscovery。</li> |
| <li>创建 ServiceInstance。</li> |
| <li>每个 ServiceDiscovery 注册 ServiceInstance。</li> |
| </ol> |
| <p>保证 Provider 在注册成功之后，才暴露元数据信息。</p> |
| <h2 id="2-支持基于-seata-的事务">2 支持基于 Seata 的事务</h2> |
| <p>基于 Seata 扩展实现。通过增加过滤器，在服务端接收 xid 并结合 <a href="https://github.com/seata-golang/seata-golang">seata-golang</a> 达到支持分布式事务的目的。 从而使 Dubbo-go 在分布式场景下，让用户有更多的选择，能适应更多的个性化场景。</p> |
| <p>我们在 dubbo-samples 中给出了 <a href="https://github.com/apache/dubbo-go-samples/tree/1.5/seata">事务测试用例</a> 。</p> |
| <h2 id="3-多注册中心集群负载均衡">3 多注册中心集群负载均衡</h2> |
| <p>对于多注册中心订阅的场景，选址时的多了一层注册中心集群间的负载均衡：</p> |
| <p>在 Cluster Invoker 这一级，我们支持的选址策略有：</p> |
| <ul> |
| <li>指定优先级</li> |
| <li>同 zone 优先</li> |
| <li>权重轮询</li> |
| </ul> |
| <h2 id="4-传输链路安全性">4 传输链路安全性</h2> |
| <p>该版本在传输链路的安全性上做了尝试，对于内置的 Dubbo getty Server 提供了基于 TLS 的安全链路传输机制。</p> |
| <p>为尽可能保证应用启动的灵活性，TLS Cert 的指定通过配置文件方式，具体请参见 Dubbo-go 配置读取规则与 TLS 示例：</p> |
| <h2 id="5-路由功能增强">5 路由功能增强</h2> |
| <p>本次路由功能重点支持了 动态标签路由 和 应用/服务级条件路由。</p> |
| <h3 id="51-动态标签路由">5.1 动态标签路由</h3> |
| <p>标签路由通过将某一个或多个服务的提供者划分到同一个分组，约束流量只在指定分组中流转，从而实现流量隔离的目的，可以作为蓝绿发布、灰度发布等场景的能力基础。</p> |
| <p>标签主要是指对 Provider 端应用实例的分组，目前有两种方式可以完成实例分组，分别是<code>动态规则打标</code>和<code>静态规则打标</code>，其中动态规则相较于静态规则优先级更高，而当两种规则同时存在且出现冲突时，将以动态规则为准。</p> |
| <h4 id="511-动态规则打标">5.1.1 动态规则打标</h4> |
| <p>可随时在<a href="https://dubbo.apache.org/zh-cn/docsv2.7/user/examples/routing-rule/">服务治理控制台</a>下发标签归组规则</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-yaml" data-lang="yaml"><span style="display:flex;"><span><span style="color:#586e75"># governance-tagrouter-provider应用增加了两个标签分组tag1和tag2</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># tag1包含一个实例 127.0.0.1:20880</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># tag2包含一个实例 127.0.0.1:20881</span> |
| </span></span><span style="display:flex;"><span>--- |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">force</span>: <span style="color:#cb4b16">false</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">runtime</span>: <span style="color:#cb4b16">true</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">enabled</span>: <span style="color:#cb4b16">true</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">key</span>: governance-tagrouter-provider |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">tags</span>: |
| </span></span><span style="display:flex;"><span> - <span style="color:#268bd2">name</span>: tag1 |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">addresses</span>: [<span style="color:#2aa198">&#34;127.0.0.1:20880&#34;</span>] |
| </span></span><span style="display:flex;"><span> - <span style="color:#268bd2">name</span>: tag2 |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">addresses</span>: [<span style="color:#2aa198">&#34;127.0.0.1:20881&#34;</span>] |
| </span></span><span style="display:flex;"><span> ... |
| </span></span></code></pre></div><h4 id="512-静态规则打标">5.1.2 静态规则打标</h4> |
| <p>可以在 server 配置文件的 tag 字段里设置</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-yaml" data-lang="yaml"><span style="display:flex;"><span><span style="color:#268bd2">services</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#2aa198">&#34;UserProvider&#34;</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">registry</span>: <span style="color:#2aa198">&#34;hangzhouzk&#34;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">protocol </span>: <span style="color:#2aa198">&#34;dubbo&#34;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">interface </span>: <span style="color:#2aa198">&#34;com.ikurento.user.UserProvider&#34;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">loadbalance</span>: <span style="color:#2aa198">&#34;random&#34;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">warmup</span>: <span style="color:#2aa198">&#34;100&#34;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">tag</span>: <span style="color:#2aa198">&#34;beijing&#34;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">cluster</span>: <span style="color:#2aa198">&#34;failover&#34;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">methods</span>: |
| </span></span><span style="display:flex;"><span> - <span style="color:#268bd2">name</span>: <span style="color:#2aa198">&#34;GetUser&#34;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">retries</span>: <span style="color:#2aa198">1</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">loadbalance</span>: <span style="color:#2aa198">&#34;random&#34;</span> |
| </span></span></code></pre></div><p>consumer 添加 tag 至 attachment 即可</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-go" data-lang="go"><span style="display:flex;"><span>ctx <span style="color:#719e07">:=</span> context.<span style="color:#268bd2">Background</span>() |
| </span></span><span style="display:flex;"><span>attachment <span style="color:#719e07">:=</span> <span style="color:#b58900">make</span>(<span style="color:#268bd2">map</span>[<span style="color:#dc322f">string</span>]<span style="color:#dc322f">string</span>) |
| </span></span><span style="display:flex;"><span>attachment[<span style="color:#2aa198">&#34;dubbo.tag&#34;</span>] = <span style="color:#2aa198">&#34;beijing&#34;</span> |
| </span></span><span style="display:flex;"><span>ctx = context.<span style="color:#268bd2">WithValue</span>(ctx, constant.AttachmentKey, attachment) |
| </span></span><span style="display:flex;"><span>err <span style="color:#719e07">:=</span> userProvider.<span style="color:#268bd2">GetUser</span>(ctx, []<span style="color:#268bd2">interface</span>{}{<span style="color:#2aa198">&#34;A001&#34;</span>}, user) |
| </span></span></code></pre></div><p>请求标签的作用域为每一次 invocation，使用 attachment 来传递请求标签，注意保存在 attachment 中的值将会在一次完整的远程调用中持续传递，得益于这样的特性，我们只需要在起始调用时，通过一行代码的设置，达到标签的持续传递。</p> |
| <h4 id="513-规则详解">5.1.3 规则详解</h4> |
| <h5 id="格式">格式</h5> |
| <ul> |
| <li><code>Key</code>明确规则体作用到哪个应用。<strong>必填</strong>。</li> |
| <li><code>enabled=true</code> 当前路由规则是否生效，可不填，缺省生效。</li> |
| <li><code>force=false</code> 当路由结果为空时，是否强制执行，如果不强制执行，路由结果为空的路由规则将自动失效，可不填，缺省为 <code>false</code>。</li> |
| <li><code>runtime=false</code> 是否在每次调用时执行路由规则，否则只在提供者地址列表变更时预先执行并缓存结果，调用时直接从缓存中获取路由结果。如果用了参数路由，必须设为 <code>true</code>，需要注意设置会影响调用的性能，可不填，缺省为 <code>false</code>。</li> |
| <li><code>priority=1</code> 路由规则的优先级，用于排序，优先级越大越靠前执行，可不填，缺省为 <code>0</code>。</li> |
| <li><code>tags</code> 定义具体的标签分组内容，可定义任意n（n&gt;=1）个标签并为每个标签指定实例列表。<strong>必填</strong></li> |
| <li> |
| <ul> |
| <li>name， 标签名称</li> |
| </ul> |
| </li> |
| <li>addresses， 当前标签包含的实例列表</li> |
| </ul> |
| <h5 id="降级约定">降级约定</h5> |
| <ol> |
| <li><code>dubbo.tag=tag1</code> 时优先选择 标记了 <code>tag=tag1</code> 的 provider。若集群中不存在与请求标记对应的服务，默认将降级请求 tag 为空的 provider；如果要改变这种默认行为，即找不到匹配 tag1 的 provider 返回异常，需设置<code>dubbo.force.tag=true</code>。</li> |
| <li><code>dubbo.tag</code> 未设置时，只会匹配 tag 为空的 provider。即使集群中存在可用的服务，若 tag 不匹配也就无法调用，这与约定 1 不同，携带标签的请求可以降级访问到无标签的服务，但不携带标签/携带其他种类标签的请求永远无法访问到其他标签的服务。</li> |
| </ol> |
| <h3 id="52-应用服务级条件路由">5.2 应用/服务级条件路由</h3> |
| <p>您可以在路由规则配置中配置多个条件路由及其粒度</p> |
| <p>Sample:</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-yaml" data-lang="yaml"><span style="display:flex;"><span><span style="color:#586e75"># dubbo router yaml configure file</span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">routerRules</span>: |
| </span></span><span style="display:flex;"><span> - <span style="color:#268bd2">scope</span>: application |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">key</span>: BDTService |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">priority</span>: <span style="color:#2aa198">1</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">enable</span>: <span style="color:#cb4b16">false</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">force</span>: <span style="color:#cb4b16">true</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">conditions </span>: [<span style="color:#2aa198">&#34;host = 192.168.199.208 =&gt; host = 192.168.199.208 &#34;</span>] |
| </span></span><span style="display:flex;"><span> - <span style="color:#268bd2">scope</span>: service |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">key</span>: com.ikurento.user.UserProvider |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">priority</span>: <span style="color:#2aa198">1</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">force</span>: <span style="color:#cb4b16">true</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">conditions </span>: [<span style="color:#2aa198">&#34;host = 192.168.199.208 =&gt; host = 192.168.199.208 &#34;</span>] |
| </span></span></code></pre></div><h4 id="521-规则详解">5.2.1 规则详解</h4> |
| <h5 id="各字段含义">各字段含义</h5> |
| <ul> |
| <li>scope表示路由规则的作用粒度，scope的取值会决定key的取值。必填。</li> |
| <li> |
| <ul> |
| <li>service 服务粒度</li> |
| </ul> |
| </li> |
| <li>application 应用粒度</li> |
| <li>Key明确规则体作用在哪个服务或应用。必填。</li> |
| <li> |
| <ul> |
| <li>scope=service时，key取值为[{group}/]{service}[:{version}]的组合</li> |
| </ul> |
| </li> |
| <li>scope=application时，key取值为application名称</li> |
| <li>enabled=true 当前路由规则是否生效，可不填，缺省生效。</li> |
| <li>force=false 当路由结果为空时，是否强制执行，如果不强制执行，路由结果为空的路由规则将自动失效，可不填，缺省为 false。</li> |
| <li>runtime=false 是否在每次调用时执行路由规则，否则只在提供者地址列表变更时预先执行并缓存结果，调用时直接从缓存中获取路由结果。如果用了参数路由，必须设为 true，需要注意设置会影响调用的性能，可不填，缺省为 false。</li> |
| <li>priority=1 路由规则的优先级，用于排序，优先级越大越靠前执行，可不填，缺省为 0。</li> |
| <li>conditions 定义具体的路由规则内容。必填。</li> |
| </ul> |
| <h2 id="6-回顾与展望">6 回顾与展望</h2> |
| <p>Dubbo-go 处于一个比较稳定成熟的状态。目前新版本正处于往云原生方向的尝试，应用服务维度注册是首先推出的功能，这是一个和之前模型完全不一样的新注册模型。该版本是我们朝云原生迈进新一步的关键版本。除此之外，包含在该版本也有一些之前提到的优化。</p> |
| <p>下一个版本 v1.5.2，本次的关注重点以通信模型改进为主，除此之外，与 2.7.x 的兼容性、易用性及质量保证也是本次关注的信息。</p> |
| <p>在<strong>服务发现</strong>，会支持更加多的方式，如：文件、Consul。 从而使 Dubbo-go 在服务发现场景下，让用户有更多的选择，能适应更多的个性化场景。</p> |
| <p>另外 <strong>易用性及质量保证</strong>，主要关注的是 samples 与自动化构建部分。可降低用户上手 Dubbo-go 的难度，提高代码质量。</p> |
| <p>目前下一个版本正在紧锣密鼓的开发中，具体规划及任务清单<sup id="fnref:1"><a href="#fn:1" class="footnote-ref" role="doc-noteref">1</a></sup> ，都已经在 Github 上体现。</p> |
| <div class="footnotes" role="doc-endnotes"> |
| <hr> |
| <ol> |
| <li id="fn:1"> |
| <p><a href="https://github.com/apache/dubbo-go/projects/10">https://github.com/apache/dubbo-go/projects/10</a>&#160;<a href="#fnref:1" class="footnote-backref" role="doc-backlink">&#x21a9;&#xfe0e;</a></p> |
| </li> |
| </ol> |
| </div></description></item><item><title>Blog: Dubbo Go Hessian2 v1.7.0</title><link>https://dubbo.apache.org/zh-cn/blog/1/01/01/dubbo-go-hessian2-v1.7.0/</link><pubDate>Mon, 01 Jan 0001 00:00:00 +0000</pubDate><guid>https://dubbo.apache.org/zh-cn/blog/1/01/01/dubbo-go-hessian2-v1.7.0/</guid><description> |
| <p>Dubbo-go-hessian2 v1.7.0已发布，详见 <a href="https://github.com/apache/dubbo-go-hessian2/releases/tag/v1.7.0">https://github.com/apache/dubbo-go-hessian2/releases/tag/v1.7.0</a>， 以下对这次更新内容进行详细整理。</p> |
| <p>另外v1.6.3 将 attachment 类型由 map[string]stiring 改为map[string]interface{} 导致版本不兼容问题，这部分已还原，后续的计划是将dubbo协议的request/response对象整体迁移到dubbogo项目中进行迭代修改， hessian2中将不再改动到request/response对象。</p> |
| <h2 id="1-new-features">1. New Features</h2> |
| <h3 id="11-add-getstacktrace-method-into-throwabler-and-its-implements-207httpsgithubcomapachedubbo-go-hessian2pull207">1.1 add GetStackTrace method into Throwabler and its implements. <a href="https://github.com/apache/dubbo-go-hessian2/pull/207">#207</a></h3> |
| <p>go语言client请求java语言服务时，如果java语言抛出了异常，异常对应的堆栈信息是被保存在StackTraceElement中。</p> |
| <p>这个异常信息在日志中最好能被打印出来，以方便客户端排查问题，所以在Throwabler和对应子类中增加了StackTraceElement的获取。</p> |
| <p>注：其实还有一种更好的方法，所有的具体的异常类型都包含java_exception/exception.go的Throwable struct。这样只需要在Throwable中增加GetStackTrace方法就可以了。但是这种方式需要更多的测试验证，改动的逻辑相对会复杂一些。但是代码会更整洁。 这里先不用这种方法。</p> |
| <h3 id="12-catch-user-defined-exceptions-208httpsgithubcomapachedubbo-go-hessian2pull208">1.2 catch user defined exceptions. <a href="https://github.com/apache/dubbo-go-hessian2/pull/208">#208</a></h3> |
| <p>golang中增加一个java中Exception对象的序列化输出方法：</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-go" data-lang="go"><span style="display:flex;"><span><span style="color:#268bd2">func</span> <span style="color:#268bd2">JavaException</span>() []<span style="color:#dc322f">byte</span> { |
| </span></span><span style="display:flex;"><span> e <span style="color:#719e07">:=</span> hessian.<span style="color:#268bd2">NewEncoder</span>() |
| </span></span><span style="display:flex;"><span> exception <span style="color:#719e07">:=</span> java_exception.<span style="color:#268bd2">NewException</span>(<span style="color:#2aa198">&#34;java_exception&#34;</span>) |
| </span></span><span style="display:flex;"><span> e.<span style="color:#268bd2">Encode</span>(exception) |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">return</span> e.<span style="color:#268bd2">Buffer</span>() |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><p>在output/output.go 提供调用入口:添加如下函数初始化声明</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-go" data-lang="go"><span style="display:flex;"><span><span style="color:#268bd2">func</span> <span style="color:#268bd2">init</span>() { |
| </span></span><span style="display:flex;"><span> funcMap[<span style="color:#2aa198">&#34;JavaException&#34;</span>] = testfuncs.JavaException |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><p>java代码中增加调用go方法序列化结果:</p> |
| <p><strong>说明</strong>: Assert.assertEquals 不能直接比较Exception对象是否相等</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span> <span style="color:#586e75">/** |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"> * test java java.lang.Exception object and go java_exception Exception struct |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"> */</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">@Test</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">testException</span>() { |
| </span></span><span style="display:flex;"><span> Exception exception <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> Exception(<span style="color:#2aa198">&#34;java_exception&#34;</span>); |
| </span></span><span style="display:flex;"><span> Object javaException <span style="color:#719e07">=</span> GoTestUtil.readGoObject(<span style="color:#2aa198">&#34;JavaException&#34;</span>); |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">if</span> (javaException <span style="color:#719e07">instanceof</span> Exception) { |
| </span></span><span style="display:flex;"><span> Assert.assertEquals(exception.getMessage(), ((Exception) javaException).getMessage()); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> } |
| </span></span></code></pre></div><h3 id="13-support-java8-time-object-212httpsgithubcomapachedubbo-go-hessian2pull212-221httpsgithubcomapachedubbo-go-hessian2pull221">1.3 support java8 time object. <a href="https://github.com/apache/dubbo-go-hessian2/pull/212">#212</a>, <a href="https://github.com/apache/dubbo-go-hessian2/pull/221">#221</a></h3> |
| <p>golang中增加一个java8对象的序列化输出方法：</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-go" data-lang="go"><span style="display:flex;"><span><span style="color:#586e75">// test java8 java.time.Year |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"></span><span style="color:#268bd2">func</span> <span style="color:#268bd2">Java8TimeYear</span>() []<span style="color:#dc322f">byte</span> { |
| </span></span><span style="display:flex;"><span> e <span style="color:#719e07">:=</span> hessian.<span style="color:#268bd2">NewEncoder</span>() |
| </span></span><span style="display:flex;"><span> year <span style="color:#719e07">:=</span> java8_time.Year{Year: <span style="color:#2aa198">2020</span>} |
| </span></span><span style="display:flex;"><span> e.<span style="color:#268bd2">Encode</span>(year) |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">return</span> e.<span style="color:#268bd2">Buffer</span>() |
| </span></span><span style="display:flex;"><span>} |
| </span></span><span style="display:flex;"><span><span style="color:#586e75">// test java8 java.time.LocalDate |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"></span><span style="color:#268bd2">func</span> <span style="color:#268bd2">Java8LocalDate</span>() []<span style="color:#dc322f">byte</span> { |
| </span></span><span style="display:flex;"><span> e <span style="color:#719e07">:=</span> hessian.<span style="color:#268bd2">NewEncoder</span>() |
| </span></span><span style="display:flex;"><span> date <span style="color:#719e07">:=</span> java8_time.LocalDate{Year: <span style="color:#2aa198">2020</span>, Month: <span style="color:#2aa198">9</span>, Day: <span style="color:#2aa198">12</span>} |
| </span></span><span style="display:flex;"><span> e.<span style="color:#268bd2">Encode</span>(date) |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">return</span> e.<span style="color:#268bd2">Buffer</span>() |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><p>在output/output.go 提供调用入口:添加函数初始化声明</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-go" data-lang="go"><span style="display:flex;"><span><span style="color:#268bd2">func</span> <span style="color:#268bd2">init</span>() { |
| </span></span><span style="display:flex;"><span> funcMap[<span style="color:#2aa198">&#34;Java8TimeYear&#34;</span>] = testfuncs.Java8TimeYear |
| </span></span><span style="display:flex;"><span> funcMap[<span style="color:#2aa198">&#34;Java8LocalDate&#34;</span>] = testfuncs.Java8LocalDate |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><p>java代码中增加调用go方法序列化结果:</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#586e75">/** |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"> * test java8 java.time.* object and go java8_time/* struct |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"> */</span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">@Test</span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">public</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">testJava8Year</span>() { |
| </span></span><span style="display:flex;"><span> Year year <span style="color:#719e07">=</span> Year.of(2020); |
| </span></span><span style="display:flex;"><span> Assert.assertEquals(year |
| </span></span><span style="display:flex;"><span> , GoTestUtil.readGoObject(<span style="color:#2aa198">&#34;Java8TimeYear&#34;</span>)); |
| </span></span><span style="display:flex;"><span> LocalDate localDate <span style="color:#719e07">=</span> LocalDate.of(2020, 9, 12); |
| </span></span><span style="display:flex;"><span> Assert.assertEquals(localDate, GoTestUtil.readGoObject(<span style="color:#2aa198">&#34;Java8LocalDate&#34;</span>)); |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><h3 id="14-support-test-golang-encoding-data-in-java-213httpsgithubcomapachedubbo-go-hessian2pull213">1.4 support test golang encoding data in java. <a href="https://github.com/apache/dubbo-go-hessian2/pull/213">#213</a></h3> |
| <p>为了更好的测试验证hessian库，原来已经支持在golang中测试java的序列化数据，现在增加在java中测试golang的序列化数据，实现双向测试验证。</p> |
| <p>golang中增加序列化输出方法:</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-go" data-lang="go"><span style="display:flex;"><span><span style="color:#268bd2">func</span> <span style="color:#268bd2">HelloWorldString</span>() []<span style="color:#dc322f">byte</span> { |
| </span></span><span style="display:flex;"><span> e <span style="color:#719e07">:=</span> hessian.<span style="color:#268bd2">NewEncoder</span>() |
| </span></span><span style="display:flex;"><span> e.<span style="color:#268bd2">Encode</span>(<span style="color:#2aa198">&#34;hello world&#34;</span>) |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">return</span> e.<span style="color:#268bd2">Buffer</span>() |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><p>将该方法注册到output/output.go中</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-go" data-lang="go"><span style="display:flex;"><span> <span style="color:#586e75">// add all output func here |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"></span> <span style="color:#268bd2">func</span> <span style="color:#268bd2">init</span>() { |
| </span></span><span style="display:flex;"><span> funcMap[<span style="color:#2aa198">&#34;HelloWorldString&#34;</span>] = testfuncs.HelloWorldString |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><p>output/output.go 提供调用入口:</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-go" data-lang="go"><span style="display:flex;"><span><span style="color:#268bd2">func</span> <span style="color:#268bd2">main</span>() { |
| </span></span><span style="display:flex;"><span> flag.<span style="color:#268bd2">Parse</span>() |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">if</span> <span style="color:#719e07">*</span>funcName <span style="color:#719e07">==</span> <span style="color:#2aa198">&#34;&#34;</span> { |
| </span></span><span style="display:flex;"><span> _, _ = fmt.<span style="color:#268bd2">Fprintln</span>(os.Stderr, <span style="color:#2aa198">&#34;func name required&#34;</span>) |
| </span></span><span style="display:flex;"><span> os.<span style="color:#268bd2">Exit</span>(<span style="color:#2aa198">1</span>) |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> f, exist <span style="color:#719e07">:=</span> funcMap[<span style="color:#719e07">*</span>funcName] |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">if</span> !exist { |
| </span></span><span style="display:flex;"><span> _, _ = fmt.<span style="color:#268bd2">Fprintln</span>(os.Stderr, <span style="color:#2aa198">&#34;func name not exist: &#34;</span>, <span style="color:#719e07">*</span>funcName) |
| </span></span><span style="display:flex;"><span> os.<span style="color:#268bd2">Exit</span>(<span style="color:#2aa198">1</span>) |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">defer</span> <span style="color:#268bd2">func</span>() { |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">if</span> err <span style="color:#719e07">:=</span> <span style="color:#b58900">recover</span>(); err <span style="color:#719e07">!=</span> <span style="color:#cb4b16">nil</span> { |
| </span></span><span style="display:flex;"><span> _, _ = fmt.<span style="color:#268bd2">Fprintln</span>(os.Stderr, <span style="color:#2aa198">&#34;error: &#34;</span>, err) |
| </span></span><span style="display:flex;"><span> os.<span style="color:#268bd2">Exit</span>(<span style="color:#2aa198">1</span>) |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> }() |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">if</span> _, err <span style="color:#719e07">:=</span> os.Stdout.<span style="color:#268bd2">Write</span>(<span style="color:#268bd2">f</span>()); err <span style="color:#719e07">!=</span> <span style="color:#cb4b16">nil</span> { |
| </span></span><span style="display:flex;"><span> _, _ = fmt.<span style="color:#268bd2">Fprintln</span>(os.Stderr, <span style="color:#2aa198">&#34;call error: &#34;</span>, err) |
| </span></span><span style="display:flex;"><span> os.<span style="color:#268bd2">Exit</span>(<span style="color:#2aa198">1</span>) |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> os.<span style="color:#268bd2">Exit</span>(<span style="color:#2aa198">0</span>) |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><p>java代码中增加调用go方法序列化结果:</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#268bd2">public</span> <span style="color:#268bd2">class</span> <span style="color:#268bd2">GoTestUtil</span> { |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> <span style="color:#268bd2">static</span> Object <span style="color:#268bd2">readGoObject</span>(String func) { |
| </span></span><span style="display:flex;"><span> System.out.println(<span style="color:#2aa198">&#34;read go data: &#34;</span> <span style="color:#719e07">+</span> func); |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">try</span> { |
| </span></span><span style="display:flex;"><span> Process process <span style="color:#719e07">=</span> Runtime.getRuntime() |
| </span></span><span style="display:flex;"><span> .exec(<span style="color:#2aa198">&#34;go run output/output.go -func_name=&#34;</span> <span style="color:#719e07">+</span> func, |
| </span></span><span style="display:flex;"><span> <span style="color:#cb4b16">null</span>, |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">new</span> File(<span style="color:#2aa198">&#34;..&#34;</span>)); |
| </span></span><span style="display:flex;"><span> <span style="color:#dc322f">int</span> exitValue <span style="color:#719e07">=</span> process.waitFor(); |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">if</span> (exitValue <span style="color:#719e07">!=</span> 0) { |
| </span></span><span style="display:flex;"><span> Assert.fail(readString(process.getErrorStream())); |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">return</span> <span style="color:#cb4b16">null</span>; |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> InputStream is <span style="color:#719e07">=</span> process.getInputStream(); |
| </span></span><span style="display:flex;"><span> Hessian2Input input <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> Hessian2Input(is); |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">return</span> input.readObject(); |
| </span></span><span style="display:flex;"><span> } <span style="color:#719e07">catch</span> (Exception e) { |
| </span></span><span style="display:flex;"><span> e.printStackTrace(); |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">return</span> <span style="color:#cb4b16">null</span>; |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> <span style="color:#268bd2">static</span> String <span style="color:#268bd2">readString</span>(InputStream in) <span style="color:#268bd2">throws</span> IOException { |
| </span></span><span style="display:flex;"><span> StringBuilder out <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> StringBuilder(); |
| </span></span><span style="display:flex;"><span> InputStreamReader reader <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> InputStreamReader(in, StandardCharsets.UTF_8); |
| </span></span><span style="display:flex;"><span> <span style="color:#dc322f">char</span><span style="color:#719e07">[]</span> buffer <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> <span style="color:#dc322f">char</span><span style="color:#719e07">[</span>4096<span style="color:#719e07">]</span>; |
| </span></span><span style="display:flex;"><span> <span style="color:#dc322f">int</span> bytesRead; |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">while</span> ((bytesRead <span style="color:#719e07">=</span> reader.read(buffer)) <span style="color:#719e07">!=</span> <span style="color:#719e07">-</span>1) { |
| </span></span><span style="display:flex;"><span> out.append(buffer, 0, bytesRead); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">return</span> out.toString(); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><p>增加java测试代码:</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#268bd2">@Test</span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">public</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">testHelloWordString</span>() { |
| </span></span><span style="display:flex;"><span> Assert.assertEquals(<span style="color:#2aa198">&#34;hello world&#34;</span> |
| </span></span><span style="display:flex;"><span> , GoTestUtil.readGoObject(<span style="color:#2aa198">&#34;HelloWorldString&#34;</span>)); |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><h3 id="15-support-javasqltime--javasqldate-219httpsgithubcomapachedubbo-go-hessian2pull219">1.5 support java.sql.Time &amp; java.sql.Date. <a href="https://github.com/apache/dubbo-go-hessian2/pull/219">#219</a></h3> |
| <p>增加了 java 类 java.sql.Time, java.sql.Date 支持，分别对应到hessian.Time 和 hessian.Date， 详见 <a href="https://github.com/apache/dubbo-go-hessian2/pull/219/files">https://github.com/apache/dubbo-go-hessian2/pull/219/files</a>。</p> |
| <h2 id="2-enhancement">2. Enhancement</h2> |
| <h3 id="21-export-function-encnull-225httpsgithubcomapachedubbo-go-hessian2pull225">2.1 Export function EncNull. <a href="https://github.com/apache/dubbo-go-hessian2/pull/225">#225</a></h3> |
| <p>开放 hessian.EncNull 方法，以便用户特定情况下使用。</p> |
| <h2 id="3-bugfixes">3. Bugfixes</h2> |
| <h3 id="31-fix-enum-encode-error-in-request-203httpsgithubcomapachedubbo-go-hessian2pull203">3.1 fix enum encode error in request. <a href="https://github.com/apache/dubbo-go-hessian2/pull/203">#203</a></h3> |
| <p>原来在 dubbo request 对象中没有判断 enum 类型的情况，此pr增加了判断是不是POJOEnum类型。详见 <a href="https://github.com/apache/dubbo-go-hessian2/pull/203/files">https://github.com/apache/dubbo-go-hessian2/pull/203/files</a></p> |
| <h3 id="32-fix-byte-field-decoding-issue-216httpsgithubcomapachedubbo-go-hessian2pull216">3.2 fix []byte field decoding issue. <a href="https://github.com/apache/dubbo-go-hessian2/pull/216">#216</a></h3> |
| <p>v1.7.0 之前如果 struct中包含[]byte字段时无法反序列化, 报错“error list tag: 0x29”，主要原因是被当做list进行处理，对于这种情况应该按照binary数据进行处理即可。</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-go" data-lang="go"><span style="display:flex;"><span><span style="color:#268bd2">type</span> Circular <span style="color:#268bd2">struct</span> { |
| </span></span><span style="display:flex;"><span> Num <span style="color:#dc322f">int</span> |
| </span></span><span style="display:flex;"><span> Previous <span style="color:#719e07">*</span>Circular |
| </span></span><span style="display:flex;"><span> Next <span style="color:#719e07">*</span>Circular |
| </span></span><span style="display:flex;"><span> ResponseDataBytes []<span style="color:#dc322f">byte</span> <span style="color:#586e75">// &lt;---- |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"></span>} |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">func</span> (Circular) <span style="color:#268bd2">JavaClassName</span>() <span style="color:#dc322f">string</span> { |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">return</span> <span style="color:#2aa198">&#34;com.company.Circular&#34;</span> |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><h3 id="33-fix-decoding-error-for-map-in-map-229httpsgithubcomapachedubbo-go-hessian2pull229">3.3 fix decoding error for map in map. <a href="https://github.com/apache/dubbo-go-hessian2/pull/229">#229</a></h3> |
| <p>v1.7.0 之前嵌套map无法正确解析，主要原因是对应的map对象被当做一个数据类型却未被自动加到类引用列表中，而嵌套map类信息是同一类型的引用，去类引用列表找，找不到就报错了。 解决这个问题的方法就是遇到map类对象，也将其加入到类引用列表中即可。 问题详细参考 <a href="https://github.com/apache/dubbo-go-hessian2/issues/119">#119</a>.</p> |
| <h3 id="34-fix-fields-name-mismatch-in-duration-class-234httpsgithubcomapachedubbo-go-hessian2pull234">3.4 fix fields name mismatch in Duration class. <a href="https://github.com/apache/dubbo-go-hessian2/pull/234">#234</a></h3> |
| <p>这个 PR 解决了Duration对象中字段错误定义，原来是&quot;second/nano&quot;， 应该是&quot;seconds/nanos&quot;。</p> |
| <p>同时改善了测试验证数据。之前使用0作为int字段的测试数据，这是不准确的，因为int类型默认值就是0.</p></description></item><item><title>Blog: 安全漏洞</title><link>https://dubbo.apache.org/zh-cn/blog/1/01/01/%E5%AE%89%E5%85%A8%E6%BC%8F%E6%B4%9E/</link><pubDate>Mon, 01 Jan 0001 00:00:00 +0000</pubDate><guid>https://dubbo.apache.org/zh-cn/blog/1/01/01/%E5%AE%89%E5%85%A8%E6%BC%8F%E6%B4%9E/</guid><description> |
| <h2 id="1-log4j-cve-2021-44228-漏洞">1. Log4j CVE-2021-44228 漏洞</h2> |
| <p>最近，主流日志组件 <a href="https://logging.apache.org/log4j/2.x/">log4j2</a> 爆出<a href="https://cve.mitre.org/cgi-bin/cvename.cgi?name=CVE-2021-44228">安全漏洞 CVE-2021-44228</a>。</p> |
| <p>以下是漏洞 CVE-2021-44228 对 Apache Dubbo 框架的影响总结及用户应对指南。</p> |
| <h2 id="dubbo-影响范围">Dubbo 影响范围</h2> |
| <p><strong>该漏洞对 Dubbo 框架使用安全并无影响。</strong></p> |
| <p>Dubbo 本身不强依赖 log4j2 框架，也不会通过依赖传递将 log4j2 带到业务工程中去，因此，正在使用 Dubbo 2.7.x、3.0.x 等版本的用户均无需强制升级 Dubbo 版本。</p> |
| <p>以下是 Dubbo 各组件对 log4j2 的依赖分析，涉及 <code>dubbo-common</code>、<code>dubbo-spring-boot-starter</code>、<code>dubbo-spring-boot-actuator</code>：</p> |
| <ul> |
| <li>dubbo-common 包含对 <code>log4j-core</code> 的可选依赖，请检查项目自身是否启用了 log4j 依赖，如启用则对应升级即可。</li> |
| </ul> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-xml" data-lang="xml"><span style="display:flex;"><span>[INFO] --- maven-dependency-plugin:3.1.2:tree (default-cli) @ dubbo-common --- |
| </span></span><span style="display:flex;"><span>[INFO] org.apache.dubbo:dubbo-common:jar:2.7.14-SNAPSHOT |
| </span></span><span style="display:flex;"><span>[INFO] +- org.apache.logging.log4j:log4j-api:jar:2.11.1:provided |
| </span></span><span style="display:flex;"><span>[INFO] \- org.apache.logging.log4j:log4j-core:jar:2.11.1:provided |
| </span></span></code></pre></div><ul> |
| <li>dubbo-spring-boot-starter 通过 spring-boot 组件传递了 log4j-api 依赖，log4j-api 本身并无安全问题，升级 log4j-core 组件时注意与 log4j-api 的兼容性</li> |
| </ul> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-xml" data-lang="xml"><span style="display:flex;"><span>[INFO] --- maven-dependency-plugin:3.1.2:tree (default-cli) @ dubbo-spring-boot-starter --- |
| </span></span><span style="display:flex;"><span>[INFO] org.apache.dubbo:dubbo-spring-boot-starter:jar:2.7.14-SNAPSHOT |
| </span></span><span style="display:flex;"><span>[INFO] \- org.springframework.boot:spring-boot-starter:jar:2.3.1.RELEASE:compile (optional) |
| </span></span><span style="display:flex;"><span>[INFO] \- org.springframework.boot:spring-boot-starter-logging:jar:2.3.1.RELEASE:compile (optional) |
| </span></span><span style="display:flex;"><span>[INFO] \- org.apache.logging.log4j:log4j-to-slf4j:jar:2.13.3:compile (optional) |
| </span></span><span style="display:flex;"><span>[INFO] \- org.apache.logging.log4j:log4j-api:jar:2.13.3:compile (optional) |
| </span></span></code></pre></div><ul> |
| <li>dubbo-spring-boot-actuator 通过 spring-boot 组件传递了 log4j-api 依赖，log4j-api 本身并无安全问题，升级 log4j-core 组件时应注意与 log4j-api 的兼容性</li> |
| </ul> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-xml" data-lang="xml"><span style="display:flex;"><span>[INFO] org.apache.dubbo:dubbo-spring-boot-actuator:jar:2.7.14-SNAPSHOT |
| </span></span><span style="display:flex;"><span>[INFO] \- org.springframework.boot:spring-boot-starter-web:jar:2.3.1.RELEASE:compile (optional) |
| </span></span><span style="display:flex;"><span>[INFO] \- org.springframework.boot:spring-boot-starter:jar:2.3.1.RELEASE:compile |
| </span></span><span style="display:flex;"><span>[INFO] \- org.springframework.boot:spring-boot-starter-logging:jar:2.3.1.RELEASE:compile |
| </span></span><span style="display:flex;"><span>[INFO] \- org.apache.logging.log4j:log4j-to-slf4j:jar:2.13.3:compile |
| </span></span><span style="display:flex;"><span>[INFO] \- org.apache.logging.log4j:log4j-api:jar:2.13.3:compile |
| </span></span></code></pre></div><h2 id="2-序列化">2. 序列化</h2> |
| <p>Dubbo 支持序列化协议的扩展，理论上用户可以基于该扩展机制启用任意的序列化协议，这带来了极大的灵活的，但同时也要意识到其中潜藏的安全性风险。 |
| 数据反序列化是最容易被被攻击者利用的一个环节，攻击者利用它执行 RCE 攻击等窃取或破坏服务端数据，用户在切换序列化协议或实现前， |
| 应充分调研目标序列化协议及其框架实现的安全性保障，并提前设置相应的安全措施（如设置黑/白名单）。Dubbo 框架自身并不能保证目标序列化机制的安全性。</p> |
| <p>Dubbo 2.7 官方版本提供的序列化协议有如下几种：</p> |
| <ul> |
| <li>Hessian2</li> |
| <li>Fastjson</li> |
| <li>Kryo</li> |
| <li>FST</li> |
| <li>JDK</li> |
| <li>Protostuff/Protobuf</li> |
| <li>Avro</li> |
| <li>Gson</li> |
| </ul> |
| <p>针对以上序列化扩展，在发现或收到相关的漏洞报告之后，Dubbo 官方会跟进并升级依赖到最新的安全版本，但最终的漏洞修复方案取决于序列化的框架实现。</p> |
| <blockquote> |
| <p>针对使用 <a href="https://github.com/apache/dubbo-hessian-lite/releases">dubbo hessian2</a> 版本的用户，Dubbo 官方会保证hessian2序列化机制的安全性并尽可能的修复上报的安全漏洞</p> |
| </blockquote></description></item><item><title>Blog: Dubbo 3 中的三层配置隔离</title><link>https://dubbo.apache.org/zh-cn/blog/1/01/01/dubbo-3-%E4%B8%AD%E7%9A%84%E4%B8%89%E5%B1%82%E9%85%8D%E7%BD%AE%E9%9A%94%E7%A6%BB/</link><pubDate>Mon, 01 Jan 0001 00:00:00 +0000</pubDate><guid>https://dubbo.apache.org/zh-cn/blog/1/01/01/dubbo-3-%E4%B8%AD%E7%9A%84%E4%B8%89%E5%B1%82%E9%85%8D%E7%BD%AE%E9%9A%94%E7%A6%BB/</guid><description> |
| <h2 id="models提供的隔离">Models提供的隔离</h2> |
| <p>Dubbo目前提供了三个级别上的隔离：JVM级别、应用级别、服务(模块)级别，从而实现各个级别上的生命周期及配置信息的单独管理。这三个层次上的隔离由 FrameworkModel、ApplicationModel 和 ModuleModel 及它们对应的 Config 来完成。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/models.png" alt="image"></p> |
| <ul> |
| <li> |
| <p>FrameworkModel ：Dubbo 框架的顶级模型，表示 Dubbo 框架的全局运行环境，适配多应用混合部署的场景，降低资源成本。</p> |
| <p>如：假设我们有一个在线教育平台，平台下有多个租户，而我们希望使这些租户的服务部署在同一个 JVM 上以节省资源，但它们之间可能使用不同的注册中心、监控设施、协议等，因此我们可以为每个租户分配一个 FrameWorkModel 实例来实现这种隔离。</p> |
| <p>FrameworkModel负责管理整个Dubbo框架的各种全局配置、元数据以及默认配置。</p> |
| </li> |
| <li> |
| <p>ApplicationModel ：应用程序级别模型，表示一个 Dubbo 应用（通常为一个 SpringApplication）。适配单JVM多应用场景，通常结合热发布使用，降低热发布对整个应用的影响范围。</p> |
| <p>如，以上的在线教育平台有多个子系统，如课程管理、学生管理，而每个子系统都是独立的 Spring 应用，在同个 JVM 中运行，共享一个 FrameworkModel，也会共享 Framework 级别的默认配置和资源：</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#586e75">//课程管理应用</span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">@SpringBootApplication</span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">public</span> <span style="color:#268bd2">class</span> <span style="color:#268bd2">ClassApplication</span> { |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> <span style="color:#268bd2">static</span> ApplicationModel classAppModel; |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> <span style="color:#268bd2">static</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">main</span>(String<span style="color:#719e07">[]</span> args) { |
| </span></span><span style="display:flex;"><span> classAppModel |
| </span></span><span style="display:flex;"><span> .getApplicationConfigManager() |
| </span></span><span style="display:flex;"><span> .addRegistry(<span style="color:#719e07">new</span> RegistryConfig(REGISTRY_URL_CLASS)); |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">//...其它设置</span> |
| </span></span><span style="display:flex;"><span> SpringApplication.run(ClassApplication.class, args); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> <span style="color:#268bd2">static</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">setApplicationModel</span>(ApplicationModel classAppModel){ |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">this</span>.classAppModel <span style="color:#719e07">=</span> classAppModel; |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#586e75">//学生管理应用</span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">@SpringBootApplication</span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">public</span> <span style="color:#268bd2">class</span> <span style="color:#268bd2">StudentApplication</span> { |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> <span style="color:#268bd2">static</span> ApplicationModel studentAppModel; |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> <span style="color:#268bd2">static</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">main</span>(String<span style="color:#719e07">[]</span> args) { |
| </span></span><span style="display:flex;"><span> studentAppModel |
| </span></span><span style="display:flex;"><span> .getApplicationConfigManager() |
| </span></span><span style="display:flex;"><span> .addRegistry(<span style="color:#719e07">new</span> RegistryConfig(REGISTRY_URL_STUDENT)); |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">//...其它设置</span> |
| </span></span><span style="display:flex;"><span> SpringApplication.run(StudentApplication.class, args); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> <span style="color:#268bd2">static</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">setApplicationModel</span>(ApplicationModel studentAppModel){ |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">this</span>.studentAppModel <span style="color:#719e07">=</span> studentAppModel; |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#586e75">//单机发布多应用</span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">public</span> <span style="color:#268bd2">class</span> <span style="color:#268bd2">MultiContextLauncher</span> { |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> <span style="color:#268bd2">static</span> FrameworkModel frameworkModel <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> FrameworkModel(); |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> <span style="color:#268bd2">static</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">main</span>(String<span style="color:#719e07">[]</span> args) { |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">//使用同一个FrameworkModel</span> |
| </span></span><span style="display:flex;"><span> ClassApplication.setApplicationModel(frameworkModel.newApplication()); |
| </span></span><span style="display:flex;"><span> StudenAppication.setApplicationModel(frameworkModel.newApplication()); |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">new</span> SpringApplicationBuilder(ClassApplication.class) |
| </span></span><span style="display:flex;"><span> .run(args); |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">new</span> SpringApplicationBuilder(StudentApplication.class.class) |
| </span></span><span style="display:flex;"><span> .run(args); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><p>由此，我们可以重新部署单个应用与其对应的ApplicationModel，实现热发布，而不会影响到另一个应用。</p> |
| </li> |
| <li> |
| <p>ModuleModel ：模块级别模型，表示应用下的子模块。适配一个应用下的多个模块（容器）。</p> |
| <p>如，上述的课程管理子系统内，新增课程和发布课程两个业务模块可能使用不同的spring容器。我们可以为每个spirng容器提供一个ModuleModel实例来管理、隔离模块级别的配置和资源：</p> |
| </li> |
| </ul> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#268bd2">@Configuration</span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">@ComponentScan</span>(<span style="color:#2aa198">&#34;com.example.demo.class&#34;</span>) |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">public</span> <span style="color:#268bd2">class</span> <span style="color:#268bd2">ClassManageConfig</span> { |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">// 课程管理模块配置</span> |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#268bd2">@Configuration</span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">@ComponentScan</span>(<span style="color:#2aa198">&#34;com.example.demo.student&#34;</span>) |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">public</span> <span style="color:#268bd2">class</span> <span style="color:#268bd2">ClassPublishConfig</span> { |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">// 课程发布模块配置</span> |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#268bd2">public</span> <span style="color:#268bd2">class</span> <span style="color:#268bd2">EducationPlatformApplication</span> { |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> <span style="color:#268bd2">static</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">main</span>(String<span style="color:#719e07">[]</span> args) { |
| </span></span><span style="display:flex;"><span> FrameworkModel frameworkModel <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> FrameworkModel(); |
| </span></span><span style="display:flex;"><span> ApplicationModel applicationModel <span style="color:#719e07">=</span> frameworkModel.newApplication(); |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">// 创建课程管理模块，使用自己的ApplicationContext与ModuleModel</span> |
| </span></span><span style="display:flex;"><span> ModuleModel classManageModuleModel <span style="color:#719e07">=</span> applicationModel.newModule(); |
| </span></span><span style="display:flex;"><span> AnnotationConfigApplicationContext classManageContext <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> AnnotationConfigApplicationContext(classManageModuleModel); |
| </span></span><span style="display:flex;"><span> classManageContext.register(ClassManagementConfig.class); |
| </span></span><span style="display:flex;"><span> classManageContext.refresh(); |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">// 创建学生管理模块，使用自己的ApplicationContext与ModuleModel</span> |
| </span></span><span style="display:flex;"><span> ModuleModel classPublishModuleModel <span style="color:#719e07">=</span> applicationModel.newModule(); |
| </span></span><span style="display:flex;"><span> AnnotationConfigApplicationContext classPublishContext <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> AnnotationConfigApplicationContext(classPublishModuleModel); |
| </span></span><span style="display:flex;"><span> classPublishContext.register(ClassPublishConfig.class); |
| </span></span><span style="display:flex;"><span> classPublishContext.refresh(); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><p>三层的模型设计让Dubbo在处理复杂业务场景时具有更强的适应性和可扩展性。</p> |
| <p> 以下是一个以传统方式（而非 DubboBootstrap）启动 Dubbo 的 Demo，可以帮助我们了解 FrameworkModel、ApplicationModel 和 ModuleModel 之间的组织关系。</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#268bd2">private</span> <span style="color:#268bd2">static</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">startWithExportNew</span>() <span style="color:#268bd2">throws</span> InterruptedException { |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">//创建三个层级的Model</span> |
| </span></span><span style="display:flex;"><span> FrameworkModel frameworkModel <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> FrameworkModel(); |
| </span></span><span style="display:flex;"><span> ApplicationModel applicationModel <span style="color:#719e07">=</span> frameworkModel.newApplication(); |
| </span></span><span style="display:flex;"><span> ModuleModel moduleModel <span style="color:#719e07">=</span> applicationModel.newModule(); |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">//提供配置中心、元数据中心、协议的配置</span> |
| </span></span><span style="display:flex;"><span> RegistryConfig registryConfig <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> RegistryConfig(REGISTRY_URL); |
| </span></span><span style="display:flex;"><span> MetadataReportConfig metadataReportConfig <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> MetadataReportConfig(METADATA_REPORT_URL); |
| </span></span><span style="display:flex;"><span> ProtocolConfig protocolConfig <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> ProtocolConfig(CommonConstants.DUBBO, <span style="color:#719e07">-</span>1); |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">//如果之后需要获取注册中心或元数据中心，需要设置id，之后通过它们的Id获取（适配多注册中心）</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">final</span> String registryId <span style="color:#719e07">=</span> <span style="color:#2aa198">&#34;registry-1&#34;</span>; |
| </span></span><span style="display:flex;"><span> registryConfig.setId(registryId); |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">//Model的配置管理通过对应的ConfigManager进行</span> |
| </span></span><span style="display:flex;"><span> ConfigManager appConfigManager <span style="color:#719e07">=</span> applicationModel.getApplicationConfigManager(); |
| </span></span><span style="display:flex;"><span> appConfigManager.setApplication(<span style="color:#719e07">new</span> ApplicationConfig(<span style="color:#2aa198">&#34;dubbo-demo-api-provider-app-1&#34;</span>)); |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">//提供应用层级的配置中心、元数据中心、协议默认设置</span> |
| </span></span><span style="display:flex;"><span> appConfigManager.addRegistry(registryConfig); |
| </span></span><span style="display:flex;"><span> appConfigManager.addMetadataReport(metadataReportConfig); |
| </span></span><span style="display:flex;"><span> appConfigManager.addProtocol(protocolConfig); |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> ModuleConfigManager moduleConfigManager <span style="color:#719e07">=</span> moduleModel.getConfigManager(); |
| </span></span><span style="display:flex;"><span> moduleConfigManager.setModule(<span style="color:#719e07">new</span> ModuleConfig(<span style="color:#2aa198">&#34;dubbo-demo-api-provider-app-1-module-1&#34;</span>)); |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> ServiceConfig<span style="color:#719e07">&lt;</span>DemoService<span style="color:#719e07">&gt;</span> serviceConfig <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> ServiceConfig<span style="color:#719e07">&lt;&gt;</span>(); |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">//设置该ServiceConfig对应的ModuleModel</span> |
| </span></span><span style="display:flex;"><span> serviceConfig.setScopeModel(moduleModel); |
| </span></span><span style="display:flex;"><span> serviceConfig.setProtocol(protocolConfig); |
| </span></span><span style="display:flex;"><span> serviceConfig.setInterface(DemoService.class); |
| </span></span><span style="display:flex;"><span> serviceConfig.setRef(<span style="color:#719e07">new</span> DemoServiceImpl()); |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">//为ModuleModel添加ServiceConfig</span> |
| </span></span><span style="display:flex;"><span> moduleConfigManager.addConfig(serviceConfig); |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> serviceConfig.export(); |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">new</span> CountDownLatch(1).await(); |
| </span></span><span style="display:flex;"><span> } |
| </span></span></code></pre></div><ul> |
| <li>ApplicationModel 由 FrameWorkModel 创建，ModuleModel 由 ApplicationModel 创建，由此完成它们之间层级关系的引用。</li> |
| <li>ServiceConfig 和 ReferenceConfig 需要设置其所属的 ScopeModel（实际只能为 ModuleModel ）。然后，还需将它们设置到对应的ModuleModel 中。</li> |
| </ul></description></item><item><title>Blog: IntelliJ IDEA❤️Apache Dubbo，IDEA官方插件正式发布！</title><link>https://dubbo.apache.org/zh-cn/blog/2023/10/23/intellij-idea%EF%B8%8Fapache-dubboidea%E5%AE%98%E6%96%B9%E6%8F%92%E4%BB%B6%E6%AD%A3%E5%BC%8F%E5%8F%91%E5%B8%83/</link><pubDate>Mon, 23 Oct 2023 00:00:00 +0000</pubDate><guid>https://dubbo.apache.org/zh-cn/blog/2023/10/23/intellij-idea%EF%B8%8Fapache-dubboidea%E5%AE%98%E6%96%B9%E6%8F%92%E4%BB%B6%E6%AD%A3%E5%BC%8F%E5%8F%91%E5%B8%83/</guid><description> |
| <p>最受欢迎的 Java 集成开发环境 IntelliJ IDEA 与开源微服务框架 Apache Dubbo 社区强强合作，给广大微服务开发者带来了福音。与 IntelliJ IDEA 2023.2 版本一起，<strong>Jetbrains 官方发布了一款全新插件 - Apache Dubbo in Spring Framework</strong>。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/10/plugin/img_6.png" alt="IntelliJ IDEA loves️ Apache Dubbo"></p> |
| <p>这款插件可以帮助开发者解决 Dubbo 项目初始化问题，同时方便识别项目开发过程中的 Dubbo 服务及其依赖关系，基于 Apache Dubbo 的微服务开发将变得非常简单。</p> |
| <h2 id="安装插件">安装插件</h2> |
| <p>在安装 Apache Dubbo 插件之前，请确保您使用的 IntelliJ IDEA 为 2023.2 及以上版本。 |
| <img src="https://dubbo.apache.org/imgs/blog/2023/10/plugin/img.png" alt="image.png"></p> |
| <p>有两种方式可以完成 Apache Dubbo 插件的安装</p> |
| <h3 id="方式一">方式一</h3> |
| <p>使用浏览器打开插件 <a href="https://plugins.jetbrains.com/plugin/20938-apache-dubbo-in-spring-framework">Apache Dubbo in Spring Framework</a> 官方地址，在页面右上角，点击 “Install to IntelliJ IDEA 2023.2” 按钮即可完成插件安装。 |
| <img src="https://dubbo.apache.org/imgs/blog/2023/10/plugin/img_1.png" alt="image.png"></p> |
| <h3 id="方式二">方式二</h3> |
| <p>打开 Preferences -&gt; Plugins，输入 &lsquo;Apache Dubbo&rsquo; 搜索插件，安装即可。 |
| <img src="https://dubbo.apache.org/imgs/blog/2023/10/plugin/img_2.png" alt="image.png"></p> |
| <h2 id="使用插件新建应用">使用插件新建应用</h2> |
| <p>插件安装完成，接下来，我们看一下如何使用插件创建和开发 Apache Dubbo 微服务应用。</p> |
| <h3 id="打开弹窗">打开弹窗</h3> |
| <p>通过 &ldquo;File -&gt; New -&gt; Project&rdquo; 打开新建项目对话框，在对话框中，可以看到 Apache Dubbo 插件已经出现在左侧模版列表中，点击选中即可。 |
| <img src="https://dubbo.apache.org/imgs/blog/2023/10/plugin/img_3.png" alt="image.png"></p> |
| <p>根据应用需要，录入项目名称、保存路径、坐标、JDK版本等信息了，录入完毕之后，点击 &ldquo;Next&rdquo; 进入下一步。</p> |
| <h3 id="选择组件">选择组件</h3> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/10/plugin/img_4.png" alt="image.png"></p> |
| <p>插件将使用 <code>dubbo-spring-boot-starter</code> 创建 Spring Boot 项目，因此我们</p> |
| <ul> |
| <li>首先，需要选择 Dubbo 与 Spring Boot 的版本。</li> |
| <li>其次，根据项目需要，选择相应的 Dubbo 与业务组件</li> |
| </ul> |
| <p>最后，点击 “Create”，完成项目创建。 |
| <img src="https://dubbo.apache.org/imgs/blog/2023/10/plugin/img_5.png" alt="image.png"></p> |
| <h2 id="总结">总结</h2> |
| <p>IntelliJ IDEA 官方插件的发布，极大的简化了 Dubbo 项目初始化的成本，接下来，Apache Dubbo 社区会继续与 IntelliJ 官方合作，将更多的 Dubbo 特性抽象为插件组件，以简化 Dubbo 使用中的依赖、配置管理等难题。 |
| 除了插件形式外，您也可以直接打开 <a href="https://start.dubbo.apache.org">start.dubbo.apache.org</a> 在线服务，通过浏览器快速创建 Dubbo 项目。</p></description></item><item><title>Blog: Apache Dubbo 首个 Node.js 3.0-alpha 版本正式发布</title><link>https://dubbo.apache.org/zh-cn/blog/2023/10/07/apache-dubbo-%E9%A6%96%E4%B8%AA-node.js-3.0-alpha-%E7%89%88%E6%9C%AC%E6%AD%A3%E5%BC%8F%E5%8F%91%E5%B8%83/</link><pubDate>Sat, 07 Oct 2023 00:00:00 +0000</pubDate><guid>https://dubbo.apache.org/zh-cn/blog/2023/10/07/apache-dubbo-%E9%A6%96%E4%B8%AA-node.js-3.0-alpha-%E7%89%88%E6%9C%AC%E6%AD%A3%E5%BC%8F%E5%8F%91%E5%B8%83/</guid><description> |
| <h1 id="关于-apache-dubbo3">关于 Apache Dubbo3</h1> |
| <p>Apache Dubbo 是一款易用、高性能的 WEB 和 RPC 框架，同时为构建企业级微服务提供服务发现、流量治理、可观测、认证鉴权等能力、工具与最佳实践。经过近几年发展，Dubbo3 已在阿里巴巴集团各条业务线实现全面推广，成功取代运行多年的 HSF 框架；同时 Dubbo3 的多语言体系也有了快速发展，目前涵盖的多语言体系有：</p> |
| <ul> |
| <li><a href="https://github.com/apache/dubbo">apache/dubbo</a> (java)</li> |
| <li><a href="https://github.com/apache/dubbo-go">apache/dubbo-go</a></li> |
| <li><a href="https://github.com/apache/dubbo-js">apache/dubbo-js</a> (web、node.js)</li> |
| <li><a href="https://github.com/apache/dubbo-rust">apache/dubbo-rust</a></li> |
| </ul> |
| <p>基于 Dubbo3 定义的 <strong>Triple</strong> 协议，你可以轻松编写浏览器、移动端、gRPC 兼容的 RPC 服务，并让这些服务同时运行在 HTTP/1 和 HTTP/2 上。Dubbo Node.js SDK 支持使用 IDL 或编程语言特有的方式定义服务，并提供一套轻量的 API 来发布或调用这些服务。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/9/nodejs/img.png" alt="image.png"></p> |
| <h1 id="关于-dubbo3-nodejs-首个发布版">关于 Dubbo3 Node.js 首个发布版</h1> |
| <p>Dubbo-js 项目于 9 月份刚刚发布了支持 Dubbo3 协议的首个 alpha 版本，该项目是 Dubbo3 的 Typescript 版本实现，提供了 Web、Node.js 两种发布包。其中，Web 框架能让开发者直接在浏览器页面访问后端服务，Node.js 则进一步丰富了后端微服务技术栈的选择。当前 Node.js 版本主要是实现了 Triple 协议的完整支持，接下来的版本中，社区将继续完善地址发现、负载均衡等服务治理能力。目前 dubbo-js 项目快速发展中，对参与 apache/dubbo-js 项目感兴趣的开发者，欢迎搜索钉钉群：<strong>29775027779</strong> 加入开发者群组。</p> |
| <h1 id="nodejs-微服务开发完整示例">Node.js 微服务开发完整示例</h1> |
| <p>本示例基于最新发布的 Node.js 版本，演示了基于 Triple 协议的 RPC 通信模式，示例使用 Protocol Buffer 定义 RPC 服务，并演示了代码生成、服务发布和服务访问等过程。</p> |
| <h2 id="前置条件">前置条件</h2> |
| <p>因为使用 Protocol Buffer 的原因，我们首先需要安装相关的代码生成工具，这包括 <code>@bufbuild/protoc-gen-es</code>、<code>@bufbuild/protobuf</code>、<code>@apachedubbo/protoc-gen-apache-dubbo-es</code>、<code>@apachedubbo/dubbo</code>。</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-shell" data-lang="shell"><span style="display:flex;"><span>npm install @bufbuild/protoc-gen-es @bufbuild/protobuf @apachedubbo/protoc-gen-apache-dubbo-es @apachedubbo/dubbo |
| </span></span></code></pre></div><h2 id="定义服务">定义服务</h2> |
| <p>现在，使用 Protocol Buffer (IDL) 来定义一个 Dubbo 服务。</p> |
| <p>创建目录，并生成文件</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-shell" data-lang="shell"><span style="display:flex;"><span>mkdir -p proto <span style="color:#719e07">&amp;&amp;</span> touch proto/example.proto |
| </span></span></code></pre></div><p>写入内容</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-protobuf" data-lang="protobuf"><span style="display:flex;"><span>syntax <span style="color:#719e07">=</span> <span style="color:#2aa198">&#34;proto3&#34;</span>; |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span><span style="color:#719e07">package</span> apache<span style="color:#719e07">.</span>dubbo.demo.example.v1; |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">message</span> <span style="color:#268bd2">SayRequest</span> { |
| </span></span><span style="display:flex;"><span> <span style="color:#dc322f">string</span> sentence <span style="color:#719e07">=</span> <span style="color:#2aa198">1</span>; |
| </span></span><span style="display:flex;"><span>} |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">message</span> <span style="color:#268bd2">SayResponse</span> { |
| </span></span><span style="display:flex;"><span> <span style="color:#dc322f">string</span> sentence <span style="color:#719e07">=</span> <span style="color:#2aa198">1</span>; |
| </span></span><span style="display:flex;"><span>} |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">service</span> ExampleService { |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">rpc</span> Say(SayRequest) <span style="color:#719e07">returns</span> (SayResponse) {} |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><p>这个文件声明了一个叫做 <code>ExampleService</code> 的服务，为这个服务定义了 <code>Say</code> 方法以及它的请求参数 <code>SayRequest</code> 和返回值 <code>SayResponse</code>。</p> |
| <h2 id="生成代码">生成代码</h2> |
| <p>创建 gen 目录，做为生成文件放置的目标目录</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-fallback" data-lang="fallback"><span style="display:flex;"><span>mkdir -p gen |
| </span></span></code></pre></div><p>运行以下命令，在 gen 目录下生成代码文件</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-shell" data-lang="shell"><span style="display:flex;"><span><span style="color:#268bd2">PATH</span><span style="color:#719e07">=</span><span style="color:#268bd2">$PATH</span>:<span style="color:#719e07">$(</span><span style="color:#b58900">pwd</span><span style="color:#719e07">)</span>/node_modules/.bin <span style="color:#cb4b16">\ |
| </span></span></span><span style="display:flex;"><span><span style="color:#cb4b16"></span> protoc -I proto <span style="color:#cb4b16">\ |
| </span></span></span><span style="display:flex;"><span><span style="color:#cb4b16"></span> --es_out gen <span style="color:#cb4b16">\ |
| </span></span></span><span style="display:flex;"><span><span style="color:#cb4b16"></span> --es_opt <span style="color:#268bd2">target</span><span style="color:#719e07">=</span>ts <span style="color:#cb4b16">\ |
| </span></span></span><span style="display:flex;"><span><span style="color:#cb4b16"></span> --apache-dubbo-es_out gen <span style="color:#cb4b16">\ |
| </span></span></span><span style="display:flex;"><span><span style="color:#cb4b16"></span> --apache-dubbo-es_opt <span style="color:#268bd2">target</span><span style="color:#719e07">=</span>ts <span style="color:#cb4b16">\ |
| </span></span></span><span style="display:flex;"><span><span style="color:#cb4b16"></span> example.proto |
| </span></span></code></pre></div><p>运行命令后，应该可以在目标目录中看到以下生成的文件:</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-fallback" data-lang="fallback"><span style="display:flex;"><span>├── gen |
| </span></span><span style="display:flex;"><span>│ ├── example_dubbo.ts |
| </span></span><span style="display:flex;"><span>│ └── example_pb.ts |
| </span></span><span style="display:flex;"><span>├── proto |
| </span></span><span style="display:flex;"><span>│ └── example.proto |
| </span></span></code></pre></div><h2 id="实现服务">实现服务</h2> |
| <p>接下来我们就需要添加业务逻辑了，实现 ExampleService ，并将其注册到 DubboRouter 中。</p> |
| <p>创建 dubbo.ts 文件</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-typescript" data-lang="typescript"><span style="display:flex;"><span><span style="color:#268bd2">import</span> { DubboRouter } <span style="color:#268bd2">from</span> <span style="color:#2aa198">&#34;@apachedubbo/dubbo&#34;</span>; |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">import</span> { ExampleService } <span style="color:#268bd2">from</span> <span style="color:#2aa198">&#34;./gen/example_dubbo&#34;</span>; |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">export</span> <span style="color:#719e07">default</span> (router: <span style="color:#dc322f">DubboRouter</span>) <span style="color:#719e07">=&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">// registers apache.dubbo.demo.example.v1 |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"></span> router.service(ExampleService, { |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">// implements rpc Say |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"></span> <span style="color:#268bd2">async</span> say(req) { |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">return</span> { |
| </span></span><span style="display:flex;"><span> sentence<span style="color:#719e07">:</span> <span style="color:#586e75">`You said: </span><span style="color:#2aa198">${</span>req.sentence<span style="color:#2aa198">}</span><span style="color:#586e75">`</span>, |
| </span></span><span style="display:flex;"><span> }; |
| </span></span><span style="display:flex;"><span> }, |
| </span></span><span style="display:flex;"><span> }, { serviceGroup<span style="color:#719e07">:</span> <span style="color:#2aa198">&#39;dubbo&#39;</span>, serviceVersion<span style="color:#719e07">:</span> <span style="color:#2aa198">&#39;1.0.0&#39;</span> }); |
| </span></span></code></pre></div><h2 id="启动-server">启动 Server</h2> |
| <p>Dubbo 服务可以嵌入到普通的 Node.js 服务器、Next.js、Express 或 Fastify 中。 |
| 在这里我们将使用 Fastify，所以让我们安装 Fastify 以及我们为 Fastify 准备的插件。</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-shell" data-lang="shell"><span style="display:flex;"><span>npm install fastify @apachedubbo/dubbo-fastify |
| </span></span></code></pre></div><p>创建 server.ts 文件，新建一个 Server，把上一步中实现的 <code>ExampleService</code> 注册给它。 |
| 接下来就可以直接初始化和启动 Server 了，它将在指定的端口接收请求。</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-typescript" data-lang="typescript"><span style="display:flex;"><span><span style="color:#268bd2">import</span> { fastify } <span style="color:#268bd2">from</span> <span style="color:#2aa198">&#34;fastify&#34;</span>; |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">import</span> { fastifyDubboPlugin } <span style="color:#268bd2">from</span> <span style="color:#2aa198">&#34;@apachedubbo/dubbo-fastify&#34;</span>; |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">import</span> routes <span style="color:#268bd2">from</span> <span style="color:#2aa198">&#34;./dubbo&#34;</span>; |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">async</span> <span style="color:#268bd2">function</span> main() { |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">const</span> server <span style="color:#719e07">=</span> fastify(); |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">await</span> server.register(fastifyDubboPlugin, { |
| </span></span><span style="display:flex;"><span> routes, |
| </span></span><span style="display:flex;"><span> }); |
| </span></span><span style="display:flex;"><span> server.<span style="color:#268bd2">get</span>(<span style="color:#2aa198">&#34;/&#34;</span>, (_, reply) <span style="color:#719e07">=&gt;</span> { |
| </span></span><span style="display:flex;"><span> reply.<span style="color:#268bd2">type</span>(<span style="color:#2aa198">&#34;text/plain&#34;</span>); |
| </span></span><span style="display:flex;"><span> reply.send(<span style="color:#2aa198">&#34;Hello World!&#34;</span>); |
| </span></span><span style="display:flex;"><span> }); |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">await</span> server.listen({ host<span style="color:#719e07">:</span> <span style="color:#2aa198">&#34;localhost&#34;</span>, port: <span style="color:#dc322f">8080</span> }); |
| </span></span><span style="display:flex;"><span> console.log(<span style="color:#2aa198">&#34;server is listening at&#34;</span>, server.addresses()); |
| </span></span><span style="display:flex;"><span>} |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span><span style="color:#719e07">void</span> main(); |
| </span></span></code></pre></div><p>最后，运行代码启动服务</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-shell" data-lang="shell"><span style="display:flex;"><span>npx tsx server.ts |
| </span></span></code></pre></div><h2 id="访问服务">访问服务</h2> |
| <p>最简单方式是使用 HTTP/1.1 POST 请求访问服务，参数则作以标准 JSON 格式作为 HTTP 负载传递。如下是使用 cURL 命令的访问示例:</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-shell" data-lang="shell"><span style="display:flex;"><span>curl <span style="color:#cb4b16">\ |
| </span></span></span><span style="display:flex;"><span><span style="color:#cb4b16"></span> --header <span style="color:#2aa198">&#39;Content-Type: application/json&#39;</span> <span style="color:#cb4b16">\ |
| </span></span></span><span style="display:flex;"><span><span style="color:#cb4b16"></span> --header <span style="color:#2aa198">&#39;TRI-Service-Version: 1.0.0&#39;</span> <span style="color:#cb4b16">\ |
| </span></span></span><span style="display:flex;"><span><span style="color:#cb4b16"></span> --header <span style="color:#2aa198">&#39;TRI-Service-group: dubbo&#39;</span> <span style="color:#cb4b16">\ |
| </span></span></span><span style="display:flex;"><span><span style="color:#cb4b16"></span> --data <span style="color:#2aa198">&#39;{&#34;sentence&#34;: &#34;Hello World&#34;}&#39;</span> <span style="color:#cb4b16">\ |
| </span></span></span><span style="display:flex;"><span><span style="color:#cb4b16"></span> http://localhost:8080/apache.dubbo.demo.example.v1.ExampleService/Say |
| </span></span></code></pre></div><p>也可以使用标准的 Dubbo client 请求服务，我们首先需要从生成代码即 dubbo-node 包中获取服务代理，为它指定 server 地址并初始化，之后就可以发起起 RPC 调用了。</p> |
| <p>创建 client.ts 文件。</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-typescript" data-lang="typescript"><span style="display:flex;"><span><span style="color:#268bd2">import</span> { createPromiseClient } <span style="color:#268bd2">from</span> <span style="color:#2aa198">&#34;@apachedubbo/dubbo&#34;</span>; |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">import</span> { ExampleService } <span style="color:#268bd2">from</span> <span style="color:#2aa198">&#34;./gen/example_dubbo&#34;</span>; |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">import</span> { createDubboTransport } <span style="color:#268bd2">from</span> <span style="color:#2aa198">&#34;@apachedubbo/dubbo-node&#34;</span>; |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">const</span> transport <span style="color:#719e07">=</span> createDubboTransport({ |
| </span></span><span style="display:flex;"><span> baseUrl<span style="color:#719e07">:</span> <span style="color:#2aa198">&#34;http://localhost:8080&#34;</span>, |
| </span></span><span style="display:flex;"><span> httpVersion<span style="color:#719e07">:</span> <span style="color:#2aa198">&#34;1.1&#34;</span>, |
| </span></span><span style="display:flex;"><span>}); |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">async</span> <span style="color:#268bd2">function</span> main() { |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">const</span> client <span style="color:#719e07">=</span> createPromiseClient(ExampleService, transport, { serviceVersion<span style="color:#719e07">:</span> <span style="color:#2aa198">&#39;1.0.0&#39;</span>, serviceGroup<span style="color:#719e07">:</span> <span style="color:#2aa198">&#39;dubbo&#39;</span> }); |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">const</span> res <span style="color:#719e07">=</span> <span style="color:#719e07">await</span> client.say({ sentence<span style="color:#719e07">:</span> <span style="color:#2aa198">&#34;Hello World&#34;</span> }); |
| </span></span><span style="display:flex;"><span> console.log(res); |
| </span></span><span style="display:flex;"><span>} |
| </span></span><span style="display:flex;"><span><span style="color:#719e07">void</span> main(); |
| </span></span></code></pre></div><p>运行客户端</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-shell" data-lang="shell"><span style="display:flex;"><span>npx tsx client.ts |
| </span></span></code></pre></div><h1 id="总结">总结</h1> |
| <p>当前 Node.js 版本主要是实现了 Triple 协议的完整支持，接下来的版本中，社区将继续完善地址发现、负载均衡等服务治理能力。目前 dubbo-js 项目快速发展中，对参与 apache/dubbo-js 项目感兴趣的开发者，欢迎搜索钉钉群：<strong>29775027779</strong> 加入开发者群组。</p></description></item><item><title>Blog: Apache Dubbo 云原生可观测性的探索与实践</title><link>https://dubbo.apache.org/zh-cn/blog/2023/10/07/apache-dubbo-%E4%BA%91%E5%8E%9F%E7%94%9F%E5%8F%AF%E8%A7%82%E6%B5%8B%E6%80%A7%E7%9A%84%E6%8E%A2%E7%B4%A2%E4%B8%8E%E5%AE%9E%E8%B7%B5/</link><pubDate>Sat, 07 Oct 2023 00:00:00 +0000</pubDate><guid>https://dubbo.apache.org/zh-cn/blog/2023/10/07/apache-dubbo-%E4%BA%91%E5%8E%9F%E7%94%9F%E5%8F%AF%E8%A7%82%E6%B5%8B%E6%80%A7%E7%9A%84%E6%8E%A2%E7%B4%A2%E4%B8%8E%E5%AE%9E%E8%B7%B5/</guid><description> |
| <p>摘要：本文整理自平安壹钱包中间件资深工程师、Apache Dubbo committer宋小生在 Community Over Code 2023 大会上的分享。本篇内容主要分为五个部分：</p> |
| <ul> |
| <li>一、可观测性建设</li> |
| <li>二、多维指标体系</li> |
| <li>三、链路追踪门面</li> |
| <li>四、日志管理分析</li> |
| <li>五、稳定性的实践</li> |
| </ul> |
| <h2 id="一可观测性建设">一、可观测性建设</h2> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/observability/img.png" alt="dubbo-可观测性-metrics-and-tracing"></p> |
| <p>首先介绍一下云原生升级的挑战。目前大部分公司里基本上都有CICD、OPS来帮助开发、测试、运维提升开发的效率与质量，也会有容器化来帮助提升产线运维的效率与质量。但在云原生时代，大规模容器的频繁变更会带来很多稳定性的问题。这些稳定性问题，包含了很多我们可以提前规避掉的已知的异常，也包含了很多我们无法避免的异常，比如网络故障、机器宕机等系统无法提前测出来的问题。</p> |
| <p>如果我们能提前发现这些问题，其实是可以规避掉很多风险的。所以我们通过可观测系统及时的感知到了这些问题，高效的分析异常，快速的恢复系统。因此可以判定，在云原生时代，可观测系统的建设是非常重要的。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/observability/img_1.png" alt="dubbo-可观测性-metrics-and-tracing"></p> |
| <p>Dubbo作为微服务RPG的框架，直接建设一个大而全的可观测性系统或者平台是不现实的，而且它的定位也不是很符合。可观测性系统更强调关联性，通过单维度或者多维度进行系统的观测与问题的诊断。</p> |
| <p>首先看一下可度量系统的健康状态的指标。Dubbo通过采集系统内部的Dubbo指标的同时，把指标内部的数据暴露给外部的监控系统。这些监控指标中间包含了很多的应用信息、主机信息、Dubbo服务标签信息等等。当我们发现问题的时候，可以通过这些标签信息关联到全链路系统。之后全链路系统可以做到请求级或者应用级的系统性能分析或者系统异常诊断。</p> |
| <p>Dubbo侧通过适配各大厂商门面的形式，只需进行非常简易的依赖就引入或者配置就可以直接把数据导出到各大全链路平台。无论企业使用哪个流行平台，在后期升级Dubbo后都可以直接把链路导出去。</p> |
| <p>另外，链路系统还包含全链路的Traceid或者局部的磁盘ID。通过全链路的ID，我们可以在链路系统直接跳转到日志平台。在日志平台里包含非常详细的日志上下文，这些日志上下文可以提供非常精确的异常问题诊断。</p> |
| <p>Dubbo也提供了非常详细的错误码机制和专家建议的形式，在官网上通过日志的形式可以直接通过错误码的形式直接导航到官网上的帮助文档。</p> |
| <h2 id="二多维指标体系">二、多维指标体系</h2> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/observability/img_2.png" alt="dubbo-可观测性-metrics-and-tracing"></p> |
| <p>Dubbo在多维度指标体系实践的时候，我们主要从两个维度来看它。</p> |
| <p>第一个是纵向的维度。Dubbo指标在采集的时候有一个接入导出的流程。Dubbo为用户和开发者提供了简单易用的接入门面。接入后服务在运行过程中通过指标器进行指标的采集。Dubbo中提供了非常多的指标采集器，包括聚合和非聚合的指标采集等等。</p> |
| <p>然后采集的指标会通过变量值临时存储在内存里，之后会有部分指标（QPS等带有滑动窗口的最小值、最大值的聚合指标）进行聚合计算，最后这些指标会导出到外部系统。我们支持在Dubbo QPS服务质量中进行指标导出，或者把指标导出到Prometheus，或者http直接访问也可以进行指标的查询。</p> |
| <p>第二个是横向的维度。Dubbo指标采集覆盖了非常容易出现异常的地方。比如Dubbo 3提供了三大中心，包括注册中心、元数据中心、配置中心，存在外部网络交互的地方是非常容易出现问题的。</p> |
| <p>另外一个比较关键的是RPC电路上的采集，比如请求相应的时间、异常、nity网络、IO的指标等等。此外还有一些关于Dubbo线程池的指标采集。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/observability/img_3.png" alt="dubbo-可观测性-metrics-and-tracing"></p> |
| <p>前面说的是比较大面上的指标采集，具体Dubbo的采集需要哪些指标我们也调研了很多比较流行的方法论。</p> |
| <ul> |
| <li>图中第一张图是谷歌SRE书的四大黄金指标。它是谷歌总结大规模的分布式服务监控总结出来的，它可以进行请求级别的服务质量的衡量，主要包含延迟、流量、错误以及饱和度。</li> |
| <li>图中第二张图是RED 方法。它更侧重于请求，从外部视角来查看服务的健康状态，主要包含速率、错误与持续时间。</li> |
| <li>图中第三张图是USE 方法。它更侧重于系统内部的资源使用情况，包含利用率、饱和度与错误。</li> |
| </ul> |
| <p>可以看到，以上三个指标的方法论中都包含的指标是错误，错误也是每个开发者比较关注的。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/observability/img_4.png" alt="dubbo-可观测性-metrics-and-tracing"></p> |
| <p>然后我们进行了指标的系统完善。在Dubbo 3.2版本中，多维度指标体系已经完成，而且也在快速持续的版本迭代中。在这个版本中我们只需要引入一个快速集成的Spring Boot中的Starter包就可以实现指标的自动采集。之后我们通过Dubbo的QPS服务质量端口可以直接访问到。如果是本机可以通过浏览器，如果是服务器可以通过科尔命令访问52端口，后面加一个Metric路径，这样就可以看到非常详细的默认指标的导出。</p> |
| <p>可以看到这些指标有Dubbo前缀，类型是Dubbo的不同模块，比如消费者提供的请求级别，三大注册中心一起线程。</p> |
| <p>下面是Dubbo当前指标的行为，比如响应时间最后会加一些单位，这个格式参考的是Prometheus的官方格式。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/observability/img_5.png" alt="dubbo-可观测性-metrics-and-tracing"></p> |
| <p>多维度指标体系有些人可能会直接复用Spring Boot默认的manager管理端口，Dubbo也适配了一下Spring Boot Actuator的扩展。</p> |
| <p>操作和刚刚一样，只是引入Spring Boot Starter包。后面也无需做任何其他的配置，就可以在Spring端口里看到详细的指标了。包括Spring Boot内置的jvm指标、Dubbo指标等等。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/observability/img_6.png" alt="dubbo-可观测性-metrics-and-tracing"></p> |
| <p>指标体系接入之后，我们如果直接通过命令行访问只能看到一些瞬时的数据，但在监控指标体系我们其实更关注的是多维度的向量数据。如果我们把这些数据看作是一个点其实是比较难看出问题的，所以我们需要把这些数据存储起来，看作是一个实际化的向量数据。</p> |
| <p>Dubbo默认提供对Prometheus采集的介入。Prometheus作为指标存储与监控一体的监控系统，提供了很多的服务发现模型。比如我们直接把服务部署在K8s上，可以直接基于K8s标签的服务发现机制进行指标采集。如果公司有自建的cmdb系统，可以自己扩展http接口进行指标采集。此外,文件或者静态的服务发现机制只要能发现Dubbo服务的IP和服务接口，也可以进行指标采集。采集到的指标会自动存储在Prometheus的实际数据库里。</p> |
| <p>上图是我们通过Prometheus的查询框查询出来的响应时间的最新指标。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/observability/img_7.png" alt="dubbo-可观测性-metrics-and-tracing"></p> |
| <p>Prometheus的指标更侧重于存储与报警，如果我们想更直观的体现还需要接入Grafana。Grafana的目标是为企业提供简易接入的监控面板，上图是一个简易的全局大盘。</p> |
| <p>我们通过应用级别的筛选/机器IP维度的查询/服务接口的维度，查询服务的健康状态。可以看到，这些指标基本上都是基于前面总结的方法论实现的。比如QPS、请求数量、成功率、失败率、请求的时延等等。</p> |
| <p>此外，还有一些应用信息的指标，比如升级Dubbo 3时，想看到哪些应用已经升级到新的版本，就可以看到新的应用的版本号，也会有应用信息的实例IP分布，还有一些现成资源。</p> |
| <h2 id="三链路追踪门面">三、链路追踪门面</h2> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/observability/img_8.png" alt="dubbo-可观测性-metrics-and-tracing"></p> |
| <p>刚才说的指标比较抽象，它更利于帮助我们发现问题，接下来进行一些简单问题的诊断。微服务系统往往是多个系统之间有关联关系，所以服务之间的诊断更依赖于全链路系统。</p> |
| <p>全链路系统Dubbo，当时考虑使用Agent的方式，这种方式对于用户接入是非常方便的，在代理层直接注入一些指标采集的方式即可。如果用这种方式在企业里做全链路的覆盖是非常方便的，但如果Dubbo只做Dubbo的指标采集，风险会比较大。因为Agent接入后会进行字节码修改等不兼容的问题，有些时候很难在前期发现。</p> |
| <p>另外，Dubbo也调研了一些开源的链路追踪门面。Dubbo选择通过原生内置门面的形式，让专业的事情交给专业人做。Dubbo通过适配各大厂商的全链路追踪系统，快速适配接入的用户，只需增加少量的配置就可以实现链路数据的导出。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/observability/img_9.png" alt="dubbo-可观测性-metrics-and-tracing"></p> |
| <p>在链路追踪门面的选型方面，我们参考了业界比较流行的几个链路，从中挑选了两个进行选型，分别是OpenTelemetry和Micrometer。</p> |
| <p>OpenTelemetry，大家应该非常熟悉，它支持多语言，规范标准统一的API，支持大部分流行的第三方厂商的全链路追踪系统，是CNCF孵化的项目之一，很多中间件应用都已经接入了这种规范。</p> |
| <p>Micrometer，大家可能对的印象是指标采集的接入。它的缺点是只能支持Java，但它在语言方面，它是Spring Boot 3默认的指标采集，链路采集默认支持micrometer-tracing的功能。此外，Micrometer它还可以通过桥接包直接转化为open的协议，间接也支持各种第三方的采集。并且Micrometer自身也通过调节机制调节了很多的全链路厂商。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/observability/img_10.png" alt="dubbo-可观测性-metrics-and-tracing"></p> |
| <p>我们为了和前面使用到的指标采集进行统一，使用Micrometer后无需额外引入第三方的依赖，只需使用Micrometer Tracing的桥接包，就可以快速的接入。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/observability/img_11.png" alt="dubbo-可观测性-metrics-and-tracing"></p> |
| <p>上图是链路追踪系统的简单结构。Dubbo的边路采集主要采集rpc请求的链路。在消费者发起请求的时候，如果存在链路ID就直接复用，没有的话会产生链路ID，然后把她们上报给采集器。同样消费者也会通过rpc的上下文把链路数据透传给提供端。提供端拿到这个链路数据后，会对它进行父子关系的关联。最后把这些链路数据上报采集器。</p> |
| <p>采集器在前面的时候主要是内存级别的操作，对系统的损耗比较小。后面将进行异步的导出，和前面指标体系是一样的。内存级的同步采集，异步的把数据导出到第三方的链路系统。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/observability/img_12.png" alt="dubbo-可观测性-metrics-and-tracing"></p> |
| <p>链路系统接入也比较简单，主要是引入Spring Boot Starter的依赖包，进行一些比较简单的配置，包括不同厂商的导出地址等等。</p> |
| <p>链路系统可以帮助大家分析性能与异常，但一些系统问题原因的排查可能需要更详细的日志上下文来进行关联。这个时候这个链路系统会把数据放到mdc日志系统的上下文里面，然后在日志上下文里把链路系统编入的内容取出来，展示到日志的文件里。</p> |
| <p>日志文件可能也会接触到第三方的日志平台，如果你有二次开发能力，可以在这种系统平台里加上链接，让这些Traceid自动跳转，即全链路系统自动跳转到日志平台，日志平台也可以自动跳转到全链路系统，查询问题会非常高效。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/observability/img_13.png" alt="dubbo-可观测性-metrics-and-tracing"></p> |
| <p>上图是接入Zipkin的展示页面。可以看到它可以进行应用级的性能分析和接口级的性能分析。还可以看到一些Dubbo元数据，它的标签可以和指标大盘指标体系进行关联关系。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/observability/img_14.png" alt="dubbo-可观测性-metrics-and-tracing"></p> |
| <p>这是Skywalking的格式，包括列表形式、表格形式等等。它通过Traceid搜到全链路的请求链路，也可以进行性能和异常的诊断。</p> |
| <h2 id="四日志管理分析">四、日志管理分析</h2> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/observability/img_15.png" alt="dubbo-可观测性-metrics-and-tracing"></p> |
| <p>Dubbo通过日志里面的形式适配了各大日志组件。因为我们的日志组件在后期发展的体系是非常多的，可能是历史原因，Dubbo已经通过门面的形式适配了各大日志组件。</p> |
| <p>系统运行过程中，非常容易出现问题的地方包括，服务的注册与发现，注册服务发现模型，服务提供端的注册，服务消费端的订阅与通知，服务rpc请求链路。</p> |
| <p>当出现这些问题的时候，系统会出现异常。如果我们直接查看异常/网上检索/通过源码形式分析的话，不仅比较困难而且非常耗时。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/observability/img_16.png" alt="dubbo-可观测性-metrics-and-tracing"></p> |
| <p>基于此，Dubbo做了一个专家建议帮助的文档手册。升级到Dubbo 3版本后，可以看到日志里有一个帮助文档的sq链接的形式。这个帮助手册套里提供了一些问题可能出现的原因和排查问题的解决思路。</p> |
| <p>对排查问题比较感兴趣的同学，可以直接打开官网看一下。里面包含了非常多资深专家提供的问题诊断的思路，希望社区里的用户和开发者和我们一起共同建设。</p> |
| <h2 id="五稳定性的实践">五、稳定性的实践</h2> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/observability/img_17.png" alt="dubbo-可观测性-metrics-and-tracing"></p> |
| <p>最后我们结合指标、链路、日志进行稳定性实践的介绍。主要分为两个部分：观测系统的异常和快速的恢复。</p> |
| <p>观测系统的异常，在整体全链路系统建设之后，我们有运营人员主动的盯监控大盘发现告警，也有通过邮件、短信、钉钉的形式被动的收到告警。无论通过哪种形式，收到告警之后可以尝试使用可观测的思维，通过一些常见的、和异常相关的指标进行排查。</p> |
| <p>通过这个方法，你可能会发现一些问题，但不一定是病因。这个时候你可以通过指标发生问题的地方找到全链路系统，之后分析哪个系统的哪一段有问题。如果排查不到问题，再通过链路系统的全链路ID关联到日志，通过日志里排查详细原因。如果日志也排查不到问题，可能就需要你在系统流量摘掉之后，通过工具进行详细的根因分析。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/observability/img_18.png" alt="dubbo-可观测性-metrics-and-tracing"></p> |
| <p>快速的恢复，有了前面的原因定位后，基本上就可以知道哪里有问题了。这个时候可以根据你的原因进行流量的治理。比如切换机房流量，对流量进行限流，或者你的系统有异常的时候进行系统的回滚。</p></description></item><item><title>Blog: OpenSergo & Dubbo 微服务治理最佳实践</title><link>https://dubbo.apache.org/zh-cn/blog/2023/10/07/opensergo-dubbo-%E5%BE%AE%E6%9C%8D%E5%8A%A1%E6%B2%BB%E7%90%86%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5/</link><pubDate>Sat, 07 Oct 2023 00:00:00 +0000</pubDate><guid>https://dubbo.apache.org/zh-cn/blog/2023/10/07/opensergo-dubbo-%E5%BE%AE%E6%9C%8D%E5%8A%A1%E6%B2%BB%E7%90%86%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5/</guid><description> |
| <p>摘要：本文整理自阿里云 MSE 研发工程师何家欢的分享。本篇内容主要分为四个部分：</p> |
| <ul> |
| <li>一、Why 微服务治理？</li> |
| <li>二、OpenSergo：服务治理控制面与标准规范</li> |
| <li>三、OpenSergo &amp; Dubbo 最佳实践</li> |
| <li>四、OpenSergo 的未来之路</li> |
| </ul> |
| <h2 id="一why-微服务治理">一、Why 微服务治理？</h2> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/opensergo/img.png" alt="dubbo-opensergo-服务治理最佳实践"></p> |
| <p>现代的微服务架构里，我们通过将系统分解成一系列的服务并通过远程过程调用联接在一起，在带来一些优势的同时也为我们带来了一些挑战。</p> |
| <p>如上图所示，可以看到一个词云，这些都是目前微服务架构在生产上所遇到的挑战。比如，最常见的流量激增的场景，近一年内AIGC突然爆火，相关网站/服务都存在过因为激增流量导致服务不可用的情况，可能会让我们错过一个最佳的增长窗口。</p> |
| <p>再比如缺乏容错机制，某视频网站的某个服务异常，随调用链扩散，导致全站入口不可用，影响千万用户，产生实质性的经济损失。这些生产故障频频发生，也是在提醒我们稳定性是用好微服务的重大挑战之一。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/opensergo/img_1.png" alt="dubbo-opensergo-服务治理最佳实践"></p> |
| <p>为了保障微服务的稳定性，我们就需要做一些架构的演进。</p> |
| <p>我们先看一下左侧的微服务3大件，这个大家已经很熟悉了，通过这三者的配合，我们的应用就能够正常使用了，但是距离生产可用其实还有很大一段距离，各个企业和社区为了消除这其中的gap都有一些探索和实践，比如Dubbo社区在Dubbo3中引入一系列诸如流量管理、高可用性的能力来保障微服务的稳定性，这些措施可以统称为微服务治理。</p> |
| <p>所以其实大家已经意识到，从把微服务跑起来到真的生产可用，微服务治理是必不可少的一环。但微服务治理要做些什么，如何去做其实都还比较模糊。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/opensergo/img_2.png" alt="dubbo-opensergo-服务治理最佳实践"></p> |
| <p>从软件生命周期的角度，我们可以把微服务治理分成三个域，开发态与测试态、变更态、运行态。</p> |
| <p>在这三个域中都面临着很多挑战，对于这些挑战大家也有着一些探索和实践，比如对于发布有损的问题，我们可以通过无损上下线来解决，变更的影响面通过灰度来控制，对于不确定流量使用流控、热点防护，不稳定调用使用熔断与隔离。</p> |
| <p>可以看到在各个域中都有一些成熟的方案和效果很好的实践。但是不管是阿里还是其他公司，在体系化落地微服务治理时都会遇到很多问题。</p> |
| <h2 id="二opensergo服务治理控制面与标准规范">二、OpenSergo：服务治理控制面与标准规范</h2> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/opensergo/img_3.png" alt="dubbo-opensergo-服务治理最佳实践"></p> |
| <p>首先我们涉及的组件有很多，在微服务架构中，往往会涉及很多组件，它们需要有Dubbo这样的调用框架，nacos这样注册中心，snetinel、hystrix这样的稳定性中间件等等，因此也没办法进行统一治理，管控成本就非常高。</p> |
| <p>其次时概念不统一，比如在envoy中的隔离与 sentinel中的隔离完全不是一个意思，envoy的隔离是摘除不健康实例，sentinel的隔离是并发控制，这就会使开发者理解成本很高。</p> |
| <p>同时各个企业社区都有自己的最佳实践，这也就导致大家能力上是不对齐的，没有统一的标准。</p> |
| <p>还有配置不统一的问题相信大家都很有体感，比如sentinel、hystrix、istio都有熔断的能力，但是配置却各有差别，需要开发者分别学习，还要注意不混淆，不利于理解，也不利于统一管控。</p> |
| <p>可以发现由于这些问题，我们在落地体系化微服务治理时会有很大的阻力，我们需要的是一个统一的治理界面来让我们更好地做微服务治理，因此我们提出了OpenSergo这个项目。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/opensergo/img_4.png" alt="dubbo-opensergo-服务治理最佳实践"></p> |
| <p>而OpenSergo期望提出一套开放通用的、面向云原生架构的微服务治理解决方案及标准规范，来助力保障微服务高可用，上图的四个部分就是OpenSergo社区的愿景。</p> |
| <p>OpenSergo社区会基于业界微服务治理场景与实践抽象成规范，通过这种方式去解决前面提到的概念、配置、能力不统一的问题，并用统一的管控面去承载，降低使用和维护成本。</p> |
| <p>同时在纵向上，我们针对链路上的每一环进行抽象，覆盖完整的场景，在横向上，无论是Java生态，Go生态或是其他语言，无论是传统微服务还是Mesh架构，都会纳入到这套统一的体系中。</p> |
| <p>但是OpenSergo作为一个开放标准，仅凭借阿里是不够的，所以我们联合了多家公司以及社区比如bilibili、中国移动、字节跳动的cloudwego社区等，共同建设这套开放标准，希望能够真正解决微服务稳定性的风险。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/opensergo/img_5.png" alt="dubbo-opensergo-服务治理最佳实践"></p> |
| <p>接下来简单介绍一下OpenSergo的架构体系，前面也介绍了OpenSergo社区会基于场景抽象出OpenSergo的Spec，但这只是第一步，为了承载这些标准规范我们就需要一个控制面，社区在一开始的演进中选择从0开始开发一个控制面来做治理规则的管控、监听与下发。</p> |
| <p>但是随着社区的演进，我们发现基于Istion去扩展，成本更低，也能够复用更多的能力，因此在后续的演进中我们会选择结合Istio扩展控制面与决策中心实现治理规则统一管控、治理策略预计算。</p> |
| <p>在有了控制面后我们还需要数据面来进行具体治理能力的实现，它可以是像sentinel这样的中间件，也可以是框架本身。控制面与数据面之间的通讯在初始的架构中是基于grpc构建的链路，但在确定了后续演进方向会基于istio扩展后，社区选择拥抱xds，尽可能服用它的链路，对于一些无法承载的我们再使用自身的grpc链路。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/opensergo/img_6.png" alt="dubbo-opensergo-服务治理最佳实践"></p> |
| <p>前面也提到社区控制面的后续演进是基于Istio扩展的，Istio本身也有一些流量治能力，并有着一定的普及度。但是Istio主要关注流量管理，让流量到达该去的地方而不是微服务治理治理，所以在微服务稳定性的场景下，Istio所提供的这些能力是不足以满足我们的需求的。</p> |
| <p>因此我们在Istio的基础上，基于微服务稳定性的一些场景，比如前面提到的变更态稳定性、运行时稳定性去抽象、制定了满足需求的规范标准，希望能够更加贴合微服务场景。所以整体上我们在微服务治理领域会是Istio的超集，而不是互斥关系。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/opensergo/img_7.png" alt="dubbo-opensergo-服务治理最佳实践"></p> |
| <p>接下来我们一起看一下OpenSergo的标准规范是如何解决前面所提到的这些场景。</p> |
| <p>首先我们聊一下流量路由，它的主要作用是将符合一定特征的流量路由到指定的workload上，一般大家会用这种能力来实现灰度、同AZ路由等方案。</p> |
| <p>基于 Istio VirtualService/DestinationRule 的格式社区定义了流量路由spec，但我们在调研以及实践的过程中发现，它并不能很好的满足微服务场景下的需求。所以为了更贴近微服务的场景去扩展去做了扩展。比如我们增加了路由失败后的处理逻辑，这在微服务架构中是很常见的需求。</p> |
| <p>又由于Istio主要关注的是HTTP请求，它的CRD不能够很好地承载像Dubbo这样的RPC调用，所以我们为此增加了更多RPC模型的支持。后续我们也会探索与社区标准结合的方案，使我们的Spec更加通用与标准。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/opensergo/img_8.png" alt="dubbo-opensergo-服务治理最佳实践"></p> |
| <p>前面所提到的灰度，在阿里集团内部数年的安全生产实践中，与可监控、可回滚一起被定义为安全变更的三板斧，其中灰度是控制变更影响面，保障变更稳定性的必不可少的能力。</p> |
| <p>为了实现灰度，我们通常有几种方案，第一种是物理隔离，我们通过部署两套一样的环境来实现灰度，但是这种方案的部署和维护成本都很高。</p> |
| <p>为了提高资源利用率，便产生了第二种方案，流量灰度。我们不部署独立的环境，而是在流量的每一跳进行流量的特征匹配，并且由此决定去往灰度实例还是base实例，这种方案相较与前者更加灵活高效，可以通过前面提到的流量路由能力来实现。但是需要我们在每一跳都配置路由规则，相对比较繁琐。</p> |
| <p>并且由于有些信息在后续链路是获取不到的，比如uid，导致这个方案的实施有一定的困难。于是便产生了第三种方案，全链路灰度，我们通过在流量入口处进行流量匹配并打上标签，标签会自动沿着调用链路透传，后续链路根据标签来进行路由。通过这种方式，我们就能够更简洁地去定义灰度。Opensergo针对这种场景抽象了对应的CRD。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/opensergo/img_9.png" alt="dubbo-opensergo-服务治理最佳实践"></p> |
| <p>我们将这个CRD称之为TrafficLane也就是泳道，我觉得还是比较形象的，大家看一下上边的图片，橙色的是正常的流量走向，灰色的是灰度流量的走向，就像是将一个池子分成了多个泳道。</p> |
| <p>泳道的CRD有三个部分组成，也比较好理解，首先我们需要去匹配灰度流量，所以就要去定义匹配的条件，然后定义为这些流量打上什么标签，最后再定义这个标签以什么方式去透传。</p> |
| <p>通过这样的CRD我们就定义了一条灰度泳道。但是如果只是定义是不足以实现全路灰度的，我们还需要借助OpenSergo体系全链路全方位框架的一个支持，才能让标签在这些框架中自动的透传，这些框架也能通过标签进行路由。其中流量染色和标签透传会借助标准的trcae体系去实现，比如OT。</p> |
| <p>上图右侧是一个CRD的例子，大家可以简单看一下。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/opensergo/img_10.png" alt="dubbo-opensergo-服务治理最佳实践"></p> |
| <p>接下来我们一起看一下运行态稳定性的场景。</p> |
| <p>我们主要提两个场景，第一个是流量激增的场景，比如双十一的秒杀活动，一开始流量是稳定的情况下，系统也处于稳态。但是当流量激增的时候，系统就会开始往不稳定的方向发展，异常调用也会激增，最后就会变成不可用的状态。对于这类场景，我们可以用流量控制的能力拒绝超出容量的请求，或是通过流量平滑的能力削峰填谷，让流量处于比较平稳的状态，避免服务的不可用。</p> |
| <p>第二个是不稳定调用导致服务不可用的场景，比如我们调用一些第三方服务经常会出现不稳定的情况，这里的不稳定主要指异常或是慢调用。以dubbo为例，当服务提供方出现慢调用的时候，会导致服务消费方的线程堆积，影响到其他的正常调用甚至是整个服务的稳定性，并且这种风险会沿着调用链反向传递、扩散最终影响整个系统的稳定性。这时我们可以通过并发控制或是熔断保护来限制慢调用对资源的占用，保障系统的整体稳定性。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/opensergo/img_11.png" alt="dubbo-opensergo-服务治理最佳实践"></p> |
| <p>针对前面提到的这些场景，OpenSergo也制定了相关的CRD。在业界的实践中sentinel是一个成熟的流量防护方案，在阿里内部积累了大量的流量防护相关的场景和实践，2018年开源依赖在业界进一步丰富了这些积累，我们从这些积累中抽象出了一套流量防护的规范标准。</p> |
| <p>那么一条流量防护的规则应该包含哪些内容，大家可以简单想一下。</p> |
| <p>首先我们要确定的是要针对怎样的流量，我们可以按接口去划，也可以按请求中的特征去划。确定了目标之后，我们就需要定义要采取怎样的治理策略。这里的策略包括了刚才提到的这些策略，以及更高阶的比如自身过载保护等策略。</p> |
| <p>最后由于限流本身是有损的，但是我们不希望这种有损传递到用户侧，因此我们需要为不同的规则配置不同行为，从而使得在用户侧的表现是比较友好的，比如最基本的对于抢购场景的限流，我们可以返回一个排队中，请稍后的提示。</p> |
| <p>上图右侧是一个CRD的示例，流量目标为接口名为/foo的请求，策略为阈值为10的全局限流，fallback为特定的返回体。</p> |
| <p>通过这样的CRD配置，不管是Dubbo框架还是其他框架，我们都能很方便的使用流量防护的能力。</p> |
| <h2 id="三opensergo--dubbo-最佳实践">三、OpenSergo &amp; Dubbo 最佳实践</h2> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/opensergo/img_12.png" alt="dubbo-opensergo-服务治理最佳实践"></p> |
| <p>对于框架开发者来说想要接入到OpenSergo的体系中其实有两种方式</p> |
| <p>一种是通过对接OpenSergo体系的数据面来接入，框架开发者只需要实现对接Sentinel的适配模块就可以完成对接工作。而对于有特殊要求或是更贴近特定场景的框架，也可以自行对接OpenSergo的标准，来接入OpenSergo体系。</p> |
| <p>对于用户来说，不管是哪一种方式，都只需要简单地引入一些依赖，就可以无感地获取OpenSergo定义的微服务治理能力，并能在统一的控制面管控这些框架的微服务治理能力，大大提高使用微服务治理的体验与效率。讲完了接入的方式，我们再一起来看下实现的效果。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/opensergo/img_13.png" alt="dubbo-opensergo-服务治理最佳实践"></p> |
| <p>第一个实践是全链路灰度控制消除变更态稳定性风险。这是一个简单的demo，我们只需要部署这样的一个CRD，定义/A/dubbo的请求，当它的参数里出现xiaoing的时候，我们就把它导向灰度的环境。可以看到现在的请求走向是符合我们预期的，有灰度环境的就是灰度环境了。对于不符合要求的流量，就还是走基线环境，我们只需要简单的CRD就可以实现。</p> |
| <p>但我们的生产环境会比demo复杂的多，会涉及各种框架，比如RokcetMQ、spring cloud alibabab。但只要这些框架对接了Opensergo的体系，就可以用这一个CRD来做到全链路，全框架的灰度。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/opensergo/img_14.png" alt="dubbo-opensergo-服务治理最佳实践"></p> |
| <p>第二个实践是流量防护与容错保障运行时稳定性——不稳定调用场景。这里使用一个简单的Demo，应用A通过Dubbo调用应用B。右侧是一个正常接口和慢调用接口的流量图，蓝色的是总流量，黄色的是拒绝流量，橙色的异常流量。在一开始慢调用还没有发生，系统处于稳态，没有异常流量。</p> |
| <p>在第一个时间点，我手动调整了慢调用接口的RT，慢调用发生，异常流量出现，同时由于慢调用大量地占用了Dubbo的线程资源，导致正常调用的资源受到挤占，同样出现大量的异常流量，Dubbo侧也出现了线程池耗尽的异常。</p> |
| <p>大家可以想一下，这种场景下我们应该配置什么规则来解决这个问题，其实这个时候很多人会想要流量控制来做限流希望能解决这个问题，我们一起看下它的一个效果。</p> |
| <p>在第二个时间我配置了一条限流规则，可以看到情况虽然有所缓解，但是依旧有大量报错，这是因为在慢调用场景下，请求已经出现堆积，仅仅通过QPS限流还是会导致请求涌入进一步堆积。</p> |
| <p>所以我们真正需要的并发控制，在第三个时间点我配置并发控制规则来限制慢调用接口的并发数，也就是正在处理的请求数。可以看到通过这种限制，即便慢调用仍然存在，但是它所能占用的线程资源被限制，正常接口得以正常调用，从而避免稳定性风险的扩展，保障应用的稳定性。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/opensergo/img_15.png" alt="dubbo-opensergo-服务治理最佳实践"></p> |
| <p>第三个实践是流量防护与容错保障运行时稳定性——自适应过载保护。可以看到我们的demo在持续的高负载下，异常流量开始逐渐上升，系统的稳态被破坏，这时我们可以通过配置自适应过载保护规则，来自适应地调节限流行为，达到消除异常请求，帮助系统重新回到稳态的效果。</p> |
| <p>目前的策略我们在开源已经支持了BBR，在内部的实践中我们也有用PID。这些策略我就不在这里详细介绍了，大家感兴趣可以去我们的开源社区一起参与讨论。</p> |
| <p>从这三个例子可以看到Dubbo通过对接Sentinel接入OpenSergo体系后就无感地具备了OpenSergo所定义的通用的治理能力，并且能够通过统一的控制平面来管控。</p> |
| <p>而对于其他框架也是一样，可以设想一下如果我们生产上所涉及的所有框架都对接了OpenSergo体系，那我们就可以在一个控制面上管控所有服务，所有框架的微服务治理能力，更好地保障系统的稳定性。</p> |
| <h2 id="四opensergo-的未来之路">四、OpenSergo 的未来之路</h2> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/opensergo/img_16.png" alt="dubbo-opensergo-服务治理最佳实践"></p> |
| <p>这是多语言服务治理的生态大图。在生态上，我们希望OpenSergo是全链路多语言异构化的，我们会主要关注Java/Go + Gateway + Mesh 生态，在生态上不断去覆盖更多的框架。</p> |
| <p>在能力上我们会不断抽象并落地更多的通用的微服务治理能力。包括流量防护、自愈、服务容错、健全、发现等等。</p> |
| <p>目前我们已经和很多社区建立了联系和合作，比如Dubbo、ShenYu、APISIX、Higress、RocketMQ、MOSN等等，其中也有不少已经有了一些实质性的进展。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/opensergo/img_17.png" alt="dubbo-opensergo-服务治理最佳实践"></p> |
| <p>接下来分享一下我们近期的规划。</p> |
| <ul> |
| <li>控制面方面，我们会逐步推动控制面的生产可用，在明年3月份发布GA版本，让大家能够在生产上去验证微服务治理体系。</li> |
| <li>Spec方面，我们会去支持微服务安全治理、离群实例摘除，并持续地与社区标准集成。</li> |
| <li>治理能力的演进上，我们会重点完成Sentinel 2.0 流量治理的升级，并在安全和自适应方向上进行探索。</li> |
| <li>在社区合作上，我们会继续推进与社区间的交流与合作，推进各个微服务治理领域的生态落地，统一控制面、Spec 共建。</li> |
| </ul> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/opensergo/img_18.png" alt="dubbo-opensergo-服务治理最佳实践"></p> |
| <p>虽然阿里在集团以及云上积累了大量的经验和场景，但稳定性的问题是复杂的，场景是多样的，仅凭一方不足以覆盖所有稳定性的场景，也不足以成为标准，所以微服务治理技术、生态与标准化的演进还需要各个企业和社区的共同参与。</p> |
| <p>大家可以从以下三个方面入手来参与社区。</p> |
| <ul> |
| <li>微服务治理的spec，各个社区和企业都是各自领域中引领者，大家能从各自的场景和最佳实践出发，一起制定与完善标准规范。</li> |
| <li>微服务统一控制面的演进，这一块其实有很多的可能性，作为控制面其实它处在一个决策者的位置，一定程度上具备整个系统的上帝视角，在AI技术火爆的当下大有可为。</li> |
| <li>治理能力与社区生态的贡献，大家可以参与到服务治理能力的演进中，也可以贡献各个社区和OpenSergo体系的对接。</li> |
| </ul> |
| <p>最后我想说，微服务治理其实是一个很广阔的平台，参与其中，你可以接触到各个领域的技术与场景，而不是被限制在单点技术范围内摸爬滚打。欢迎企业与社区同学加入开源贡献小组，一起主导下一代微服务技术体系的演进！</p></description></item><item><title>Blog: Seata 微服务架构下的一站式分布式事务解决方案</title><link>https://dubbo.apache.org/zh-cn/blog/2023/10/07/seata-%E5%BE%AE%E6%9C%8D%E5%8A%A1%E6%9E%B6%E6%9E%84%E4%B8%8B%E7%9A%84%E4%B8%80%E7%AB%99%E5%BC%8F%E5%88%86%E5%B8%83%E5%BC%8F%E4%BA%8B%E5%8A%A1%E8%A7%A3%E5%86%B3%E6%96%B9%E6%A1%88/</link><pubDate>Sat, 07 Oct 2023 00:00:00 +0000</pubDate><guid>https://dubbo.apache.org/zh-cn/blog/2023/10/07/seata-%E5%BE%AE%E6%9C%8D%E5%8A%A1%E6%9E%B6%E6%9E%84%E4%B8%8B%E7%9A%84%E4%B8%80%E7%AB%99%E5%BC%8F%E5%88%86%E5%B8%83%E5%BC%8F%E4%BA%8B%E5%8A%A1%E8%A7%A3%E5%86%B3%E6%96%B9%E6%A1%88/</guid><description> |
| <p>摘要：本文整理自阿里云分布式事务产品负责人、Seata 开源项目创始人、微服务开源治理负责人季敏的分享。本篇内容主要分为三个部分：</p> |
| <ul> |
| <li>一、微服务架构下数据一致性的挑战</li> |
| <li>二、分布式事务Seata的架构演进</li> |
| <li>三、如何基于Seata扩展RPC和数据库</li> |
| </ul> |
| <h2 id="一微服务架构下数据一致性的挑战">一、微服务架构下数据一致性的挑战</h2> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/seata/img.png" alt="dubbo-seata-分布式事务最佳实践"></p> |
| <p>在2019年，我们基于Dubbo Ecosystem Meetup，收集了2000多份关于&quot;在微服务架构，哪些核心问题是开发者最关注的？&ldquo;的调研问卷。最终分布式事务占比最大，有54%。</p> |
| <p>但在Seata出现之前，大家都说分布式事务能避就避，因为消息最终一致性去解释了问题。但Seata开源之后，这些问题都迎刃而解。比如无损上下限，到底是说服务的可用性还是其他的。对于我来说，我觉得它最终关注的是数据的问题。因为无论前端的业务怎么去交互，最终都会沉淀到数据。如果业务的数据不一致，前面是什么架构，都意义不太大，所以我认为数据是企业的核心资产。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/seata/img_1.png" alt="dubbo-seata-分布式事务最佳实践"></p> |
| <p>那么到底哪些场景会遇到分布式事务的问题呢？</p> |
| <p>第一个场景，在拆分成微服务架构之后，不同的服务可能由不同的团队负责上下游的协调联动。比如C服务发布的时候，并不会通知A服务和B服务，这个时候就会遇到上下线带来的数据一致性的问题。</p> |
| <p>第二个场景，不可靠、不稳定的基础设施，会导致网络或者个别主机的宕机。</p> |
| <p>第三个场景，timeup是分布式架构里比较难解的状态，因为一旦出现服务调用的timeup，这个服务的业务逻辑到底是执行了，还是没有执行timeup的服务怎么实现数据的密度，都是比较尖锐的问题。</p> |
| <p>第四个场景，业务里除了会涉及到数据库，还会涉及第三方的组件。比如缓存、Redis，我们的库存会先经过Redis这样的组件，那么如何实现它的一致性也是个问题。</p> |
| <p>第五个场景，我们在上下游做业务的时候，你传给我一些参数，但这些参数本身可能是非法的。那么我就需要把你的下服务也回关掉，而不是只有我这一个服务去做拒绝。</p> |
| <p>所以分布式事务的场景主要包括了跨库、跨服务、资源的多样性。异常上主要包括业务异常、系统异常。</p> |
| <p>那么分布式事务是不是微服务架构独有的问题呢？其实不是，它在单体应用里也有类似的问题，只不过在微服务架构里它的问题更凸显。</p> |
| <p>在单体架构下存在哪些分布事务的场景呢？比如一个单体应用要去修改多个数据库或者多模块的，整体而言，单体数据库它完成的是ServerSission下边的一个本地事务。只要跨了这个本地事务，其他的都是分布式事务，即使微服务都去修改同一个数据库。这样其实你的数据库的本身也不是能反序列化传递到另外一个服务的，这些问题都会涉及到分布式事物的问题。</p> |
| <p>整体看起来，分布式事物涉及到了分布式架构和单体架构中非常广泛的应用。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/seata/img_2.png" alt="dubbo-seata-分布式事务最佳实践"></p> |
| <p>市面上的分布式事务方案有以下六类：</p> |
| <ul> |
| <li>XA模式，它的问题是吞吐量和性能要差一点，在一致性上是最高水准。</li> |
| <li>TCC模式和SAGA模式，可以归结为是一个业务层面的分布式事务，因为他不会拦截数据。比如TCC模式可能有cc接口，至于这个接口怎么回滚，怎么正向的，在框架层面完全不用管。这可能是你里边逻辑本身不是对等的，也不是框架已经参与的，所以更多的是把接口暴露给了业务实现。</li> |
| <li>消息最终一致性，它最大的优点是实现异步化的解耦，结合消息的削峰填补的特点。但它本身存在着一些问题，对消息来说，他更多的是做一个单项的通知。这个通知可能对于一些消息消费来说，即使业务失败了，它也没法去回滚。</li> |
| </ul> |
| <p>比如现金红包的业务，我首先要将红包转到我的账户，然后再从我的账户转到我的银行卡。可能消息消费的时候我这个账户已经注销掉了，那么你的消息消费就会一直处在失败的状态。对于这类问题，不可能再把上游消息的发送给关掉，所以它更多的是单项通知的场景。</p> |
| <ul> |
| <li>定时任务补偿，它的学习成本低，但实践成本高。尤其是微服务的链路有多翘的节点，需要业务逻辑写的非常周全。</li> |
| <li>AT模式，它综合了一致性性能，主要的特点是简单无侵入，强一致，学习成本低。缺点是需要遵守一定的开发规约，并且它不是对所有的SQL类型都支持，它有一定限制。从业务场景上来说适应的是一个通用的场景，但它并不适应于热点数据类型的高并发场景，比如SKU的库存的部件。因为在这个模式它有一个应用层的分支锁，需要对相同的数据做一个排队的等待。</li> |
| </ul> |
| <h2 id="二分布式事务seata的架构演进">二、分布式事务Seata的架构演进</h2> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/seata/img_3.png" alt="dubbo-seata-分布式事务最佳实践"></p> |
| <p>Seata在阿里内部的代号叫TXC，在蚂蚁叫DTX。它起源于集团的五彩石项目，五彩石的项目是当初集团内在做去IOE，从单体架构引进到分布式架构。在分布式架构必然会涉及到很多的中间价，TXC承担的主要的角色做服务一致性的保证。</p> |
| <p>我们和集团内的三大件都做了深度的集成，包括服务调用框架HSF，也就是对外开源的Dubbo；数据库有分库分表的TDDL组件；异步消息的MetaQ组件。在集团内也有广泛的使用，日均百亿级别调用，标准3节点集群吞吐达近10w TPS。</p> |
| <p>我们的SLA会分为几个SLA，一个是可用性的SLA服务，另外一个是性能的SLA服务。因为对于分配事物来说，除了要保证一致性，也要保证性能的吞吐量。所以我们规定比如每一次的RT额外的开销不能超过XX。目前能达到毫秒级的事务处理，能保证在稳定性上全年无故障。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/seata/img_4.png" alt="dubbo-seata-分布式事务最佳实践"></p> |
| <p>最开始我们在做分布式事务实现的时候，我们也去考虑我们的分布式事务应该是在哪层面去实现？</p> |
| <p>从应用架构的视角，分为这么几层，一个是最上层的应用开发框架，可能每一套公司都有自己的开发框架，比如像ddt的开发框架或者club的体系等等。再下一层是服务调用框架，类似于Apache Dubbo主要承担，也在国内使用的非常广泛。再下一层是数据中间件，这层主要包括ORM框架、事务、同步、对账。再下一层是跟数据库连接，这一层类似于JDBC、Java去连数据库。</p> |
| <p>我们去做了一个简单的对比，到底是在哪层实现分布式事务，是在DB层、数据中间件层还是应用框架层？</p> |
| <p>在应用框架层，它去实现一致性相对来说比较弱，因为你会掺杂很多复杂的、不可控的因素，会把服务调用的因素给牵扯进去。比如服务调用的超时，这就是为什么我们现在有的像TCC模式它会有一些密等、放悬挂那些问题。都是因为融入了RPC的因素，持续的不确性导致的一些问题。</p> |
| <p>在数据中间件层，它的一致性比应用框架要好一些，它主要的问题是他不是在DB层实现的，所以我是有办法绕过中间件直接去修改DB的，这时候就会存在事物并发时序的问题。最好的一致性是在DB层去实现数据一致性，但这一层数据一致性主要是数据库的厂商，但是也是参差不齐。比如Msever，他在5.7.7版本才把差异完善起来，在之前的版本它对差异回滚一直是有问题的。</p> |
| <p>但它只能局限在数据库的scope，如果我要去更大的scope，从应用架构层可能要跨服务，跨服务这一层它就管不了，只能管我自己数据库。所以他最终还是需要有一个第三方的去协调跨服务的数据一致性。最终我们把这一层AT差异模式是把它做到了数据库中间件这层，JDBC server这层我们做到了应用开发框架这层。</p> |
| <p>所以它不仅实现了一整套的集团生产体系，还包括了我们对分布式事务编程模型的定义，运维安全。因为要涉及到数据，会有数据的敏感以及性能和观测高可用等等。</p> |
| <p>在理论模型上我们当时还是比较匮乏的，我们做了一些对差异以及Spring事物模型的延展。我们延展了已有的模型，而不是新造一条。这于开发者来说，学习成本会更低。</p> |
| <p>此外，我们还做了一些定义，包括怎么定义一致性，是定义多节点的一致性，还是业务应用架构数据的一致性，以及这套架构里的角色模型设计的事物动作和隔离。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/seata/img_5.png" alt="dubbo-seata-分布式事务最佳实践"></p> |
| <p>什么是分布式事务的模型定义？举个例子，我去做银行转账的时候，我给你转100块钱，恰好这个时候出现了网络超时，那么这100块钱到底有没有扣。如果不确定就可能出现资损的问题，甚至可能影响企业的商誉。</p> |
| <p>我们都在谈分布式架构，但从整个应用的视角，并不是所有东西都是分布式的。比如我们从一个应用的架构的层面去看数据库，包括今天称之为分布数据库。从整个应用层面，它我们看它是一个集成式的数据的存储。它的内部实现可能是分布式的，包括分布式的链路数据。</p> |
| <p>因为在分布式的应用架构里，每个业务的节点都只掌握了部分的信息。如果做一些问题的排查，必然需要一个集成式的东西。对于分布式事务它的核心工作是做分布式协调，所以他要掌握全局的信息。</p> |
| <p>这就是为什么我们有了Transaction Coordinator。对他来说，他要有一个上帝视角，充当第三方的协调器。而真正做事的是Resource Manager，你可以认为它是数据库的灵魂，我们需要把它作为Pro。</p> |
| <p>真正随着业务应用去做事务的动作是Transaction Manager，它会随着业务的执行链路进行，到底直接事务的边界是怎么样的，以及分布式事务的动作是怎么样的。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/seata/img_6.png" alt="dubbo-seata-分布式事务最佳实践"></p> |
| <p>2019年1月Seata开始开源了，我们主打的特点特色是AT 模式，因为是组装，我们从0.1版本就把AT模式给开源出去了。0.4版本我们纳入了TCC的模式，因为AT模式它需要适配不同的数据库。而在现有阶段我们不能满足对所有数据库的支持以及缓存资源，这就需要应用TCC模式去做补充。你可以用TCC模式做一些我们没实现的数据库以及缓存的结构。</p> |
| <p>在0.9版本，我们纳入Saga的事务模式，它主要解决长事务方解决方案。比如一个事务非常长，且还有微服务的编排工作。在1.1版本，我们纳入了XA的事务模式，因为有的客户已经应用了Seata的AT模式，但他还有一些老的特别事务。他希望应用Seata统一的一套解决方案，解决不同业务常用的分支事务，所以我们把XA的事务模式也纳入进来了。</p> |
| <p>最终从整个架构上来说，我们是打造了一站式的分布式事务的解决方案。针对不同的业务场景，Seata都能做事务。如上图所示，目前市面上没有一只分布事务的模式，能解决不同业务场景的问题。主要强调几个问题，分布式事务可能有同步的分布式事物，有异步的分布式事务，以及对分布式事务的一致性的要求也不高。有强一致性，最终一致性，弱一致性。</p> |
| <p>另外，对于事物执行时间的长短也有要求。比如有长事务、短事务以及性能吞吐量等等。所以我们纳入了现在的四种事务模式，它们从改造成本、性能隔离性上各有所长，这里就不展开介绍了。</p> |
| <h2 id="三如何基于seata扩展rpc和数据库">三、如何基于Seata扩展RPC和数据库</h2> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/seata/img_7.png" alt="dubbo-seata-分布式事务最佳实践"></p> |
| <p>首先看一下Seata开源社区这几年的发展。目前Seata已经具备了AT、TCC、Saga、XA四种事务模式，而且对于市面上主流的关系数据库，RPC框架做了广泛的支持，同时被许多第三方社区做了主动和被动集成。已经和三十多个社区做了集成，这些集成都放在我们的扩展机制里边。</p> |
| <p>目前多语言体系也做起来了，除了最开始的Java，Go语言支持的也非常成熟，欢迎大家去使用我们的Go版本，给我们提更多宝贵的建议。另外，我们还建建设了多语言版本，包括PHP、Python等等。</p> |
| <p>目前 Seata 开源产品已被上千家企业在业务系统中应用，金融企业纷纷试点。我们都知道金融类的业务对分布式事务是强需求，而且它的业务场景非常严苛。像中信银行、光大银行、农行我们也做了一些社区上的合作，改造一些他们的核心账务系统，用Seata保证他们账务体系的数据一致性。</p> |
| <p>目前Seata社区的Star数已经到达了24k，contributor有300+。并且Seata社区是非常开放的，现在整个Seata的框架代码有70%来自创始团队之外的外部贡献者，所以欢迎大家积极的参与到我们Seata社区里。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/seata/img_8.png" alt="dubbo-seata-分布式事务最佳实践"></p> |
| <p>接下来介绍一些Seata比较典型的企业案例。</p> |
| <p>第一个案例，中航信航旅纵横项目。中航信是Seata 最早的天使用户，用的是Seata 0.2版本。如果大家出差比较频繁，应该会用到它们的APP，航旅纵横。它解决机票和优惠券业务的数据一致性问题。虽然在早期的版本中陪我们踩了不少坑，但最终还是应用起来。</p> |
| <p>第二个案例，滴滴出行二轮车事业部。它在Seata 0.6.1版本就将 Seata 引入到了二轮车事业部的各个业务中，包括市面上大家看到青桔单车，还有他们内部的资产管理。</p> |
| <p>第三个案例，美团基础架构。美团基础架构团队基于开源 Seata 项目封装了内部分布式事务 Swan 项目，作为美团内部各业务解决分布式事务问题的组件。</p> |
| <p>第四个案例，盒马小镇。盒马小镇游戏互动中通过 Seata 控制偷花的流程，开发周期从20天下降至5天，大幅度减少了开发的成本。</p> |
| <p>综上可以发现分布式事务的两个价值。</p> |
| <ul> |
| <li>业务的正确性，因为只有数据一致了谈架构才有意义。</li> |
| <li>Seata大幅度提高了开发迭代的效率。</li> |
| </ul> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/seata/img_9.png" alt="dubbo-seata-分布式事务最佳实践"></p> |
| <p>上图是Seata生态的扩展点。最上层我们定义了API这一层，中间这一层包括注册、配置中心等等，下边是群的模式，包括基于关系数据库DB的，Redis的以及现在2.x里正在推广的rough模式，负载均衡也有各种模式，以及对于分布式锁扩展也是基于各种各样的模式。目前我们对于关系型数据库也支持的挺多的。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/seata/img_10.png" alt="dubbo-seata-分布式事务最佳实践"></p> |
| <p>我们在做Seata机制的时候参考了Dubbo的机制，对我们的学习成长以及社区的成长还是非常有帮助意义的。我们把扩展点充分发挥到了极致，分为server侧的扩展点以及客户端的扩展点。客户端扩展点大概有30+个，server侧的扩展点包括锁的扩展、存储的扩展以及事务模式的处理。</p> |
| <p>从今天来看如果你去支持数据库、国产达梦、人大金仓，成本都比较低。只要按照我们的文档，按照API的扩展点去做简单的实践，就能把整个流程跑起来。另外，我们server不同的锁的存储，事务筛选的存储都是可以扩展的。这里我们也是借鉴了Dubbo去做了一些对开发者非常友好的扩展，让开发者更容易的扩展市面上的RPC框架以及数据库。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/seata/img_11.png" alt="dubbo-seata-分布式事务最佳实践"></p> |
| <p>目前我们支持了11中RPC框架，Dubbo是我们核心要支持的。我们类似于Dubbo，基于一般RPC都有fell或者ins。我们核心要做的是把Seata事物上下文通过服务调用链路给传递下去。并且把事物链路还原到服务里边去做事物的绑定、解除、清除等等，这个核心我们扩展起来还是比较容易的。</p> |
| <p>核心的话右边我们实现了一些接口，目前我们对Dubbo生态，包括老的阿里巴巴Dubbo以及Apache我们都做了充分的支持。欢迎大家在Dubbo的生态去适应一下Seata分布式事物去体验一下。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/seata/img_12.png" alt="dubbo-seata-分布式事务最佳实践"></p> |
| <p>目前Seata数据库支持MySQL、OceanBase、Oracle等等数据库，其中有一些PR还没有合并，比如达梦、IBMDB2。就像我刚才说的，我们只要基于当前的扩展点，我们就能做充分的扩展。</p> |
| <p>最近我们也是做仓库的编程之下，也是让我们眼前的同学感觉一下，它也做了一些PolarDB的支持，后边我们会对数据库的生态top 20完整的支持起来。</p></description></item><item><title>Blog: Web 浏览器页面也能访问dubbo、grpc微服务？Dubbo-js alpha版本正式发布</title><link>https://dubbo.apache.org/zh-cn/blog/2023/10/07/web-%E6%B5%8F%E8%A7%88%E5%99%A8%E9%A1%B5%E9%9D%A2%E4%B9%9F%E8%83%BD%E8%AE%BF%E9%97%AEdubbogrpc%E5%BE%AE%E6%9C%8D%E5%8A%A1dubbo-js-alpha%E7%89%88%E6%9C%AC%E6%AD%A3%E5%BC%8F%E5%8F%91%E5%B8%83/</link><pubDate>Sat, 07 Oct 2023 00:00:00 +0000</pubDate><guid>https://dubbo.apache.org/zh-cn/blog/2023/10/07/web-%E6%B5%8F%E8%A7%88%E5%99%A8%E9%A1%B5%E9%9D%A2%E4%B9%9F%E8%83%BD%E8%AE%BF%E9%97%AEdubbogrpc%E5%BE%AE%E6%9C%8D%E5%8A%A1dubbo-js-alpha%E7%89%88%E6%9C%AC%E6%AD%A3%E5%BC%8F%E5%8F%91%E5%B8%83/</guid><description> |
| <p>基于 Dubbo3 定义的 Triple 协议，你可以轻松编写浏览器、gRPC 兼容的 RPC 服务，并让这些服务同时运行在 HTTP/1 和 HTTP/2 上。<a href="https://github.com/apache/dubbo-js/">Dubbo TypeScript SDK</a> 支持使用 IDL 或编程语言特有的方式定义服务，并提供一套轻量的 APl 来发布或调用这些服务。</p> |
| <p>Dubbo-js 已于 9 月份发布支持 Dubbo3 协议的首个 alpha 版本，它的发布将有机会彻底改变微服务前后端的架构与通信模式，让你能直接在浏览器页面或web服务器中访问后端 Dubbo RPC 服务。目前项目快速发展中，对参与 apache/dubbo-js 项目感兴趣的开发者，欢迎搜索钉钉群：<strong>29775027779</strong> 加入开发者群组。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/9/web/img.png" alt="Web 浏览器页面也能访问dubbo、grpc微服务"></p> |
| <h1 id="浏览器-web-应用示例">浏览器 Web 应用示例</h1> |
| <p>本示例演示了如何使用 dubbo-js 开发运行在浏览器上的 web 应用程序，web 页面将调用 dubbo node.js 开发的后端服务并生成页面内容。本示例演示基于 IDL 和非 IDL 两种编码模式。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/9/web/img_1.png" alt="Web 浏览器页面也能访问dubbo、grpc微服务"></p> |
| <h2 id="idl-模式">IDL 模式</h2> |
| <h3 id="前置条件">前置条件</h3> |
| <p>首先，我们将使用 Vite 来生成我们的前端项目模板，它内置了我们稍后需要的所有功能支持。</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-shell" data-lang="shell"><span style="display:flex;"><span>npm create vite@latest -- dubbo-web-example --template react-ts |
| </span></span><span style="display:flex;"><span><span style="color:#b58900">cd</span> dubbo-web-example |
| </span></span><span style="display:flex;"><span>npm install |
| </span></span></code></pre></div><p>因为使用 Protocol Buffer 的原因，我们首先需要安装相关的代码生成工具，这包括 <code>@bufbuild/protoc-gen-es</code>、<code>@bufbuild/protobuf</code>、<code>@apachedubbo/protoc-gen-apache-dubbo-es</code>、<code>@apachedubbo/dubbo</code>。</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-shell" data-lang="shell"><span style="display:flex;"><span>npm install @bufbuild/protoc-gen-es @bufbuild/protobuf @apachedubbo/protoc-gen-apache-dubbo-es @apachedubbo/dubbo |
| </span></span></code></pre></div><h3 id="使用-proto-定义服务">使用 Proto 定义服务</h3> |
| <p>现在，使用 Protocol Buffer (IDL) 来定义一个 Dubbo 服务。</p> |
| <p>src 下创建 util/proto 目录，并生成文件</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-shell" data-lang="shell"><span style="display:flex;"><span>mkdir -p src/util/proto <span style="color:#719e07">&amp;&amp;</span> touch src/util/proto/example.proto |
| </span></span></code></pre></div><p>写入内容</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-protobuf" data-lang="protobuf"><span style="display:flex;"><span>syntax <span style="color:#719e07">=</span> <span style="color:#2aa198">&#34;proto3&#34;</span>; |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span><span style="color:#719e07">package</span> apache<span style="color:#719e07">.</span>dubbo.demo.example.v1; |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">message</span> <span style="color:#268bd2">SayRequest</span> { |
| </span></span><span style="display:flex;"><span> <span style="color:#dc322f">string</span> sentence <span style="color:#719e07">=</span> <span style="color:#2aa198">1</span>; |
| </span></span><span style="display:flex;"><span>} |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">message</span> <span style="color:#268bd2">SayResponse</span> { |
| </span></span><span style="display:flex;"><span> <span style="color:#dc322f">string</span> sentence <span style="color:#719e07">=</span> <span style="color:#2aa198">1</span>; |
| </span></span><span style="display:flex;"><span>} |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">service</span> ExampleService { |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">rpc</span> Say(SayRequest) <span style="color:#719e07">returns</span> (SayResponse) {} |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><p>这个文件声明了一个叫做 <code>ExampleService</code> 的服务，为这个服务定义了 <code>Say</code> 方法以及它的请求参数 <code>SayRequest</code> 和返回值 <code>SayResponse</code>。</p> |
| <h3 id="生成代码">生成代码</h3> |
| <p>创建 gen 目录，作为生成文件放置的目标目录</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-shell" data-lang="shell"><span style="display:flex;"><span>mkdir -p src/util/gen |
| </span></span></code></pre></div><p>运行以下命令，利用 <code>protoc-gen-es</code>、<code>protoc-gen-apache-dubbo-es</code> 等插件在 gen 目录下生成代码文件</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-shell" data-lang="shell"><span style="display:flex;"><span><span style="color:#268bd2">PATH</span><span style="color:#719e07">=</span><span style="color:#268bd2">$PATH</span>:<span style="color:#719e07">$(</span><span style="color:#b58900">pwd</span><span style="color:#719e07">)</span>/node_modules/.bin <span style="color:#cb4b16">\ |
| </span></span></span><span style="display:flex;"><span><span style="color:#cb4b16"></span> protoc -I src/util/proto <span style="color:#cb4b16">\ |
| </span></span></span><span style="display:flex;"><span><span style="color:#cb4b16"></span> --es_out src/util/gen <span style="color:#cb4b16">\ |
| </span></span></span><span style="display:flex;"><span><span style="color:#cb4b16"></span> --es_opt <span style="color:#268bd2">target</span><span style="color:#719e07">=</span>ts <span style="color:#cb4b16">\ |
| </span></span></span><span style="display:flex;"><span><span style="color:#cb4b16"></span> --apache-dubbo-es_out src/util/gen <span style="color:#cb4b16">\ |
| </span></span></span><span style="display:flex;"><span><span style="color:#cb4b16"></span> --apache-dubbo-es_opt <span style="color:#268bd2">target</span><span style="color:#719e07">=</span>ts <span style="color:#cb4b16">\ |
| </span></span></span><span style="display:flex;"><span><span style="color:#cb4b16"></span> example.proto |
| </span></span></code></pre></div><p>运行命令后，应该可以在目标目录中看到以下生成的文件:</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-fallback" data-lang="fallback"><span style="display:flex;"><span>├── src |
| </span></span><span style="display:flex;"><span>│ ├── util |
| </span></span><span style="display:flex;"><span>│ │ ├── gen |
| </span></span><span style="display:flex;"><span>│ │ │ ├── example_dubbo.ts |
| </span></span><span style="display:flex;"><span>│ │ │ └── example_pb.ts |
| </span></span><span style="display:flex;"><span>│ │ └── proto |
| </span></span><span style="display:flex;"><span>│ │ └── example.proto |
| </span></span></code></pre></div><h3 id="创建-app">创建 App</h3> |
| <p>需要先下载 <code>@apachedubbo/dubbo-web</code></p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-shell" data-lang="shell"><span style="display:flex;"><span>npm install @apachedubbo/dubbo-web |
| </span></span></code></pre></div><p>现在我们可以从包中导入服务并设置一个客户端。在 App.tsx 中添加以下内容：</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-typescript" data-lang="typescript"><span style="display:flex;"><span><span style="color:#268bd2">import</span> { useState } <span style="color:#268bd2">from</span> <span style="color:#2aa198">&#34;react&#34;</span>; |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">import</span> <span style="color:#2aa198">&#34;./App.css&#34;</span>; |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">import</span> { createPromiseClient } <span style="color:#268bd2">from</span> <span style="color:#2aa198">&#34;@apachedubbo/dubbo&#34;</span>; |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">import</span> { createDubboTransport } <span style="color:#268bd2">from</span> <span style="color:#2aa198">&#34;@apachedubbo/dubbo-web&#34;</span>; |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75">// Import service definition that you want to connect to. |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"></span><span style="color:#268bd2">import</span> { ExampleService } <span style="color:#268bd2">from</span> <span style="color:#2aa198">&#34;./util/gen/example_dubbo&#34;</span>; |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75">// The transport defines what type of endpoint we&#39;re hitting. |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75">// In our example we&#39;ll be communicating with a Dubbo endpoint. |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"></span><span style="color:#268bd2">const</span> transport <span style="color:#719e07">=</span> createDubboTransport({ |
| </span></span><span style="display:flex;"><span> baseUrl<span style="color:#719e07">:</span> <span style="color:#2aa198">&#34;http://localhost:8080&#34;</span>, |
| </span></span><span style="display:flex;"><span>}); |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75">// Here we make the client itself, combining the service |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75">// definition with the transport. |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"></span><span style="color:#268bd2">const</span> client <span style="color:#719e07">=</span> createPromiseClient(ExampleService, transport, { serviceGroup<span style="color:#719e07">:</span> <span style="color:#2aa198">&#39;dubbo&#39;</span>, serviceVersion<span style="color:#719e07">:</span> <span style="color:#2aa198">&#39;1.0.0&#39;</span> }); |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">function</span> App() { |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">const</span> [inputValue, setInputValue] <span style="color:#719e07">=</span> useState(<span style="color:#2aa198">&#34;&#34;</span>); |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">const</span> [messages, setMessages] <span style="color:#719e07">=</span> useState<span style="color:#719e07">&lt;</span> |
| </span></span><span style="display:flex;"><span> { |
| </span></span><span style="display:flex;"><span> fromMe: <span style="color:#dc322f">boolean</span>; |
| </span></span><span style="display:flex;"><span> message: <span style="color:#dc322f">string</span>; |
| </span></span><span style="display:flex;"><span> }[] |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">&gt;</span>([]); |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">return</span> ( |
| </span></span><span style="display:flex;"><span> &lt;&gt; |
| </span></span><span style="display:flex;"><span> &lt;<span style="color:#268bd2">ol</span>&gt; |
| </span></span><span style="display:flex;"><span> {messages.map((msg, index) <span style="color:#719e07">=&gt;</span> ( |
| </span></span><span style="display:flex;"><span> &lt;<span style="color:#268bd2">li</span> key<span style="color:#719e07">=</span>{index}&gt;{<span style="color:#586e75">`</span><span style="color:#2aa198">${</span>msg.fromMe <span style="color:#719e07">?</span> <span style="color:#2aa198">&#34;ME:&#34;</span> <span style="color:#719e07">:</span> <span style="color:#2aa198">&#34;Dubbo Server:&#34;</span><span style="color:#2aa198">}</span><span style="color:#586e75"> </span><span style="color:#2aa198">${</span>msg.message<span style="color:#2aa198">}</span><span style="color:#586e75">`</span>}&lt;/<span style="color:#268bd2">li</span>&gt; |
| </span></span><span style="display:flex;"><span> ))} |
| </span></span><span style="display:flex;"><span> &lt;/<span style="color:#268bd2">ol</span>&gt; |
| </span></span><span style="display:flex;"><span> &lt;<span style="color:#268bd2">form</span> |
| </span></span><span style="display:flex;"><span> onSubmit<span style="color:#719e07">=</span>{<span style="color:#268bd2">async</span> (e) <span style="color:#719e07">=&gt;</span> { |
| </span></span><span style="display:flex;"><span> e.preventDefault(); |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">// Clear inputValue since the user has submitted. |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"></span> setInputValue(<span style="color:#2aa198">&#34;&#34;</span>); |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">// Store the inputValue in the chain of messages and |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"></span> <span style="color:#586e75">// mark this message as coming from &#34;me&#34; |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"></span> setMessages((prev) <span style="color:#719e07">=&gt;</span> [ |
| </span></span><span style="display:flex;"><span> ...prev, |
| </span></span><span style="display:flex;"><span> { |
| </span></span><span style="display:flex;"><span> fromMe: <span style="color:#dc322f">true</span>, |
| </span></span><span style="display:flex;"><span> message: <span style="color:#dc322f">inputValue</span>, |
| </span></span><span style="display:flex;"><span> }, |
| </span></span><span style="display:flex;"><span> ]); |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">const</span> response <span style="color:#719e07">=</span> <span style="color:#719e07">await</span> client.say({ |
| </span></span><span style="display:flex;"><span> sentence: <span style="color:#dc322f">inputValue</span>, |
| </span></span><span style="display:flex;"><span> }); |
| </span></span><span style="display:flex;"><span> setMessages((prev) <span style="color:#719e07">=&gt;</span> [ |
| </span></span><span style="display:flex;"><span> ...prev, |
| </span></span><span style="display:flex;"><span> { |
| </span></span><span style="display:flex;"><span> fromMe: <span style="color:#dc322f">false</span>, |
| </span></span><span style="display:flex;"><span> message: <span style="color:#dc322f">response.sentence</span>, |
| </span></span><span style="display:flex;"><span> }, |
| </span></span><span style="display:flex;"><span> ]); |
| </span></span><span style="display:flex;"><span> }} |
| </span></span><span style="display:flex;"><span> &gt; |
| </span></span><span style="display:flex;"><span> &lt;<span style="color:#268bd2">input</span> value<span style="color:#719e07">=</span>{inputValue} onChange<span style="color:#719e07">=</span>{(e) <span style="color:#719e07">=&gt;</span> setInputValue(e.target.value)} /&gt; |
| </span></span><span style="display:flex;"><span> &lt;<span style="color:#268bd2">button</span> type<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;submit&#34;</span>&gt;Send&lt;/<span style="color:#268bd2">button</span>&gt; |
| </span></span><span style="display:flex;"><span> &lt;/<span style="color:#268bd2">form</span>&gt; |
| </span></span><span style="display:flex;"><span> &lt;/&gt; |
| </span></span><span style="display:flex;"><span> ); |
| </span></span><span style="display:flex;"><span>} |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">export</span> <span style="color:#719e07">default</span> App; |
| </span></span></code></pre></div><p>执行以下命令，即可得到样例页面</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-shell" data-lang="shell"><span style="display:flex;"><span>npm run dev |
| </span></span></code></pre></div><h3 id="启动-server">启动 Server</h3> |
| <p>接下来我们需要启动 Server，可以使用 Java、Go、Node.js 等 Dubbo 支持的任一语言开发 Server。这里我们采用 Dubbo 服务嵌入的 Node.js 服务器，具体可参考 <a href="https://github.com/apache/dubbo-js/tree/dubbo3/example/dubbo-node-example">Node.js 开发 Dubbo 后端服务</a> 中的操作步骤。</p> |
| <p>不过需要注意，我们额外需要修改 Node.js 示例：引入 @fastify/cors 来解决前端请求的跨域问题</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-shell" data-lang="shell"><span style="display:flex;"><span>npm install @fastify/cors |
| </span></span></code></pre></div><p>需要在 server.ts 文件下修改</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-typescript" data-lang="typescript"><span style="display:flex;"><span>... |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">import</span> cors <span style="color:#268bd2">from</span> <span style="color:#2aa198">&#34;@fastify/cors&#34;</span>; |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span>... |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">async</span> <span style="color:#268bd2">function</span> main() { |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">const</span> server <span style="color:#719e07">=</span> fastify(); |
| </span></span><span style="display:flex;"><span> ... |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">await</span> server.register(cors, { |
| </span></span><span style="display:flex;"><span> origin: <span style="color:#dc322f">true</span>, |
| </span></span><span style="display:flex;"><span> }); |
| </span></span><span style="display:flex;"><span> ... |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">await</span> server.listen({ host<span style="color:#719e07">:</span> <span style="color:#2aa198">&#34;localhost&#34;</span>, port: <span style="color:#dc322f">8080</span> }); |
| </span></span><span style="display:flex;"><span> ... |
| </span></span><span style="display:flex;"><span>} |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span><span style="color:#719e07">void</span> main(); |
| </span></span></code></pre></div><p>最后，运行代码启动服务</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-shell" data-lang="shell"><span style="display:flex;"><span>npx tsx server.ts |
| </span></span></code></pre></div><h2 id="无-idl-模式">无 IDL 模式</h2> |
| <p>在接下来的版本中，我们将继续提供无 IDL 模式的通信支持，这样就可以更方便的访问无 IDL 的后端服务。在这里，我们先快速的看一下无 IDL 模式的使用方式。</p> |
| <p>同样需要先安装 <code>@apachedubbo/dubbo</code>、<code>@apachedubbo/dubbo-web</code></p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-shell" data-lang="shell"><span style="display:flex;"><span>npm install @apachedubbo/dubbo @apachedubbo/dubbo-web |
| </span></span></code></pre></div><p>现在就可以一个启动一个客户端，并发起调用了。App.tsx 中的代码与 IDL 模式基本一致，区别点在于以下内容：</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-typescript" data-lang="typescript"><span style="display:flex;"><span><span style="color:#586e75">// ... |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75">// set backend server to connect |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"></span><span style="color:#268bd2">const</span> transport <span style="color:#719e07">=</span> createDubboTransport({ |
| </span></span><span style="display:flex;"><span> baseUrl<span style="color:#719e07">:</span> <span style="color:#2aa198">&#34;http://localhost:8080&#34;</span>, |
| </span></span><span style="display:flex;"><span>}); |
| </span></span><span style="display:flex;"><span><span style="color:#586e75">// init client |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"></span><span style="color:#268bd2">const</span> client <span style="color:#719e07">=</span> createPromiseClient(transport); |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">function</span> App() { |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">// ... |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"></span> <span style="color:#586e75">// call remote Dubbo service |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"></span> <span style="color:#268bd2">const</span> response <span style="color:#719e07">=</span> <span style="color:#719e07">await</span> client.call( |
| </span></span><span style="display:flex;"><span> <span style="color:#2aa198">&#34;apache.dubbo.demo.example.v1.ExampleService&#34;</span>, |
| </span></span><span style="display:flex;"><span> <span style="color:#2aa198">&#34;say&#34;</span>, |
| </span></span><span style="display:flex;"><span> { |
| </span></span><span style="display:flex;"><span> sentence: <span style="color:#dc322f">inputValue</span>, |
| </span></span><span style="display:flex;"><span> }); |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><p>执行以下命令，即可得到样例页面</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-shell" data-lang="shell"><span style="display:flex;"><span>npm run dev |
| </span></span></code></pre></div><h1 id="总结">总结</h1> |
| <p>直接在浏览器页面或web服务器中访问后端 Dubbo RPC 服务！Dubbo Triple 协议升级以及 Dubbo javascript sdk 的发布，对整个微服务体系是一个非常有力的补充，期待看到它能改变未来整个微服务架构以及前后端通信模式。</p> |
| <p>Dubbo-js 刚刚在 9 月份发布了支持 Dubbo3 Triple 协议的首个 alpha 版本，目前项目正处于快速发展中，对参与 apache/dubbo-js 项目感兴趣的开发者，欢迎通过以下方式加入组织：</p> |
| <ul> |
| <li>搜索钉钉群：<strong>29775027779</strong> 加入开发者群组。</li> |
| <li>关注该公众号 <code>apachedubbo</code>，回复 &ldquo;dubbojs&rdquo; 接受邀请加入开发组</li> |
| </ul></description></item><item><title>Blog: 基于 Triple 实现 Web 移动端后端全面打通</title><link>https://dubbo.apache.org/zh-cn/blog/2023/10/07/%E5%9F%BA%E4%BA%8E-triple-%E5%AE%9E%E7%8E%B0-web-%E7%A7%BB%E5%8A%A8%E7%AB%AF%E5%90%8E%E7%AB%AF%E5%85%A8%E9%9D%A2%E6%89%93%E9%80%9A/</link><pubDate>Sat, 07 Oct 2023 00:00:00 +0000</pubDate><guid>https://dubbo.apache.org/zh-cn/blog/2023/10/07/%E5%9F%BA%E4%BA%8E-triple-%E5%AE%9E%E7%8E%B0-web-%E7%A7%BB%E5%8A%A8%E7%AB%AF%E5%90%8E%E7%AB%AF%E5%85%A8%E9%9D%A2%E6%89%93%E9%80%9A/</guid><description> |
| <p>摘要：本文整理自陌陌研发工程师、Apache Dubbo PMC陈有为在 Community Over Code 2023 大会上的分享，本篇内容主要分为四个部分：</p> |
| <ul> |
| <li>一、RPC 协议开发微服务</li> |
| <li>二、全新升级的 Triple 协议</li> |
| <li>三、Triple 协议开发微服务</li> |
| <li>四、Dubbo 为 Triple 协议带来治理能力</li> |
| </ul> |
| <h2 id="一rpc-协议开发微服务">一、RPC 协议开发微服务</h2> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/triple/img.png" alt="dubbo-triple-协议"></p> |
| <p>在我们正常开发微服务的时候，传统RPC服务可能在最底层。上层可能是浏览器、移动端、外界的服务器、自己的测试、curl等等。我们可能会通过Tomcat这种外部服务器去组装我们的RPC层，也就是BFF。或者我们没有BFF，我们的RPC就是对外提供服务。但因为浏览器要访问，所以我们需要有一个网关，比如说Apisix或者ShenYu等HTTP网关。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/triple/img_1.png" alt="dubbo-triple-协议"></p> |
| <p>上图展示的是我们的流程，但是存在一些问题。</p> |
| <p>如果我们的服务是非常轻的，我们只需要一个转发层，我们是不是很麻烦。无论是配网关还是起一个webserver去转发，肯定都很麻烦。</p> |
| <p>此外，RPC服务大部分都是基于二进制的，而二进制正常在本地是没法测试的。因此我们的公司内都可能就会开发一种后台或者中间的Process让我们去测试。但这个的前提是你至少得把它部署到测试环境，所以还是没法在本地测试。</p> |
| <p>总体来说，这两个问题的易用性比较低，且开发成本相对较高，因为要做一些重复劳动。</p> |
| <h2 id="二全新升级的-triple-协议">二、全新升级的 Triple 协议</h2> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/triple/img_2.png" alt="dubbo-triple-协议"></p> |
| <p>基于上边的两个问题，我们来介绍一下Triple协议。</p> |
| <p>先来说一下上一代协议，它产出的原因是什么。我们应该都知道Dubbo原来是Dubbo协议，它是基于tcp的，它有一个包。因为它的包的设计，导致了网关无法做一些特殊规则判断、过滤等操作。但也不是绝对的，如果你愿意牺牲性能把包完全解出来，组装回去再透传还是可以做到的，但一般大家都不太能接受。</p> |
| <p>所以我们就在想能不能把原数据和真正的包分开。现在我们有现成的HTTP，又有一个业界主流的gRPC，所以我们的目标就是兼容gRPC。因为gRPC目前都是用IDL，而IDL有一个问题，尤其在Java侧。因为大家都是写一些接口，定义一些包去实现，这样就会非常麻烦。Go侧就还好，因为大家已经习惯了这种开发模式。</p> |
| <p>所以我们开发了Triple协议，首先它兼容了gRPC，所以我们能实现和gRPC的完全互通。其次，我们兼容了自己定义接口的方法。虽然会损失一定的性能，但提升了一些易用性。而且RPC一般不是业务的瓶颈，大多数瓶颈还是在DB。</p> |
| <p>但还有个问题，虽然我们兼容了gRPC，但gRPC是基于TPC的，所以如果前端或者其他第三方系统只有HTTP，它还是接受不了我们的系统。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/triple/img_3.png" alt="dubbo-triple-协议"></p> |
| <p>基于此，我们想推出一个全新的Triple协议。为了解决上述的所有问题，我们参考了gRPC、gRPC Web、通用HTTP等多种协议，做到浏览器访问，支持Streaming，还支持同时运行在 HTTP/1、HTTP/2 协议上。因为目前HTTP/3还没有大规模推广，未来也会支持HTTP/3。</p> |
| <p>最终的设计实现是完全基于HTTP的，且对人类、开发调试友好。我们可以通过简单的浏览器访问或者curl访问，尤其是对unary RPC。此外，我们和gRPC是完全互通的，用HTTP的业务不用担心兼容性的问题，也不用担心签协议的问题。为了稳定性，我们只会采用业界流行的网络库，比如Java的netty、Go的基础的net包。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/triple/img_4.png" alt="dubbo-triple-协议"></p> |
| <p>虽然Triple协议和gRPC协议都基于HTTP，但gRPC是基于HTTP/2的，而Triple是基于HTTP/1和HTTP/2的。</p> |
| <p>我们在进入gRPC的同时，我们为了易用性扩展了一些功能。比如请求里我们支持application Json，curl访问，此外上一版的协议，为了支持传统定义接口的方式，我们有一个二次序列化的过程。我们想在这里通过一个特殊的tag来决定我们的body的结构，解决二次序列化的问题。同时这个东西是可以扩展的，理论上HTTP的所有future我们在Triple协议上都可以实现，也可以拓展。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/triple/img_5.png" alt="dubbo-triple-协议"></p> |
| <p>用了Triple协议之后，我们的开发流程也发生了改变。如果你不需要进行组装，或者没有外层的代理，可能你的接入流程就是从外部的请求浏览器、对方的服务器、curl、自己测试等直接到了server。</p> |
| <p>和其他的gRPC的通信也是没有问题的，流程就相当于少了一层。对于大多数用户，如果你不需要这个场景，其实是有很大的好处。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/triple/img_6.png" alt="dubbo-triple-协议"></p> |
| <p>Triple协议因为最开始兼容gRPC，那个时候只基于HTTP/2，HTTP/2有Streaming的能力，所以它天然支持Streaming。但这里比较特殊的是，我们新版的协议在HTTP/1也支持了Stream，但仅支持了Server Stream。也就是客户端发一个，服务端发好几个回去，这个HTTP/1的Server Push实现的。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/triple/img_7.png" alt="dubbo-triple-协议"></p> |
| <p>Client Stream和Bi Stream就没什么可说的了。但有一个特别的是，在Java侧没有Bi Stream，从编码上就没有，但从实现上是有的。</p> |
| <h2 id="三triple-协议开发微服务">三、Triple 协议开发微服务</h2> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/triple/img_8.png" alt="dubbo-triple-协议"></p> |
| <p>目前Triple协议比较灵活的支持两种定义方式，分别是IDL定义和直接定义。直接定义支持同步、异步、手写。还有比较极端一点的，比如在自己定义接口的时候用IDL生成probuff的类，我们不定义它的service，只用它的接口也是没问题的，它会自动识别接口使用pb还是不使用pb。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/triple/img_9.png" alt="dubbo-triple-协议"></p> |
| <p>Server就是把它的务实现一下。上图是一个例子，我就直接拿了API的组装方式，真正的业务上可能是注解或者XML的方式。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/triple/img_10.png" alt="dubbo-triple-协议"></p> |
| <p>因为我们支持了HTTP这个标准的协议，理论上我们的测试就会变得很简单。</p> |
| <p>因为我们支持gRPC，所以我们可以用gRPC curl去调用我们的服务。但前提是你得有反射服务，然后手动开启一下，它不是默认开启的。然后它就可以通过反射拿到接口的源数据，通过Json转成pb格式发过去。或者我们直接用Application Json的方式直接调过去。这里有一点比较特别的是在HTTP/1下我们也可以用Sream。</p> |
| <p>另外，因为我们支持HTTP，理论上所有第三方的HTTP客户端都是可以调用的。然后我们的admin也可以进行测试，前提是你得把它注册上。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/triple/img_11.png" alt="dubbo-triple-协议"></p> |
| <p>调用端不管是POJO还是IDL，它们都没有本质的区别。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/triple/img_12.png" alt="dubbo-triple-协议"></p> |
| <p>现在我们有了Triple协议，但如果这个协议没有承载方也是行不通的。因此我们还得有一个框架，有一些服务治理才是我们的微服务。所以服务治理也是微服务中不可或缺的一部分。</p> |
| <h2 id="四dubbo-为-triple-协议带来治理能力">四、Dubbo 为 Triple 协议带来治理能力</h2> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/triple/img_13.png" alt="dubbo-triple-协议"></p> |
| <p>Triple的定位只是Dubbo里的其中一个协议，当然你也可以为了兼容性，用原来的Dubbo协议或者其他的协议。而且我们支持在同一个端口上开多个协议，可以按需选择。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/triple/img_14.png" alt="dubbo-triple-协议"></p> |
| <p>同时Dubbo 为 Triple 提供了多语言的实现。目前会在Rust、Go、Java、JS、node、Python这几部分实现官方的实现。这样用户就不用自己根据实验协议的spec去实现了。如果你有一些定制需求，比如内部的一些框架，你根据spec实现也是可以的。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/triple/img_15.png" alt="dubbo-triple-协议"></p> |
| <p>Dubbo和服务框架集成的很好，理论上在开发流程中，尤其是在Java侧服务定义、服务治理、服务注册发现等都不用客户来操心，是开箱即用的。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/triple/img_16.png" alt="dubbo-triple-协议"></p> |
| <p>Dubbo 提供了丰富的生态，第三方的生态包括Nacos、Zookeeper等等，我们不用创新，直接引入相应的包即可。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/triple/img_17.png" alt="dubbo-triple-协议"></p> |
| <p>这是我们使用Triple协议服务注册的例子。上面你可以选Nacos、Zookeeper、K8s，左边是一个Client和一个Server，这么调用。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/triple/img_18.png" alt="dubbo-triple-协议"></p> |
| <p>我们在admin上看一下实现。这里提一句，我们的admin也在新版重构，是用Go实现的，大家可以期待一下。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/triple/img_19.png" alt="dubbo-triple-协议"></p> |
| <p>我们经常会遇到灰度发布或者流量染色的需求。我们可以从admin上发一个tag下去，把一些实例打上tag，然后这个流量从入口就会挨个下去。</p></description></item><item><title>Blog: 启动速度提升10倍：Apache Dubbo 静态化 GraalVM Native Image 深度解析</title><link>https://dubbo.apache.org/zh-cn/blog/2023/10/07/%E5%90%AF%E5%8A%A8%E9%80%9F%E5%BA%A6%E6%8F%90%E5%8D%8710%E5%80%8Dapache-dubbo-%E9%9D%99%E6%80%81%E5%8C%96-graalvm-native-image-%E6%B7%B1%E5%BA%A6%E8%A7%A3%E6%9E%90/</link><pubDate>Sat, 07 Oct 2023 00:00:00 +0000</pubDate><guid>https://dubbo.apache.org/zh-cn/blog/2023/10/07/%E5%90%AF%E5%8A%A8%E9%80%9F%E5%BA%A6%E6%8F%90%E5%8D%8710%E5%80%8Dapache-dubbo-%E9%9D%99%E6%80%81%E5%8C%96-graalvm-native-image-%E6%B7%B1%E5%BA%A6%E8%A7%A3%E6%9E%90/</guid><description> |
| <p>摘要：本文整理自杭州有赞科技有限公司中间件技术专家、Apache Dubbo PMC华钟明在 Community Over Code 2023 大会上的分享。本篇内容主要分为五个部分：</p> |
| <ul> |
| <li>一、GraalVM 直面Java应用在云时代的挑战</li> |
| <li>二、Dubbo 享受 AOT 带来的技术红利</li> |
| <li>三、Dubbo Native Image 的实践和示例</li> |
| <li>四、Dubbo 集成 Native Image 的原理和思考</li> |
| <li>五、Dubbo 在 Native Image 技术的未来规划</li> |
| </ul> |
| <h2 id="一graalvm-直面java应用在云时代的挑战">一、GraalVM 直面Java应用在云时代的挑战</h2> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/native/img.png" alt="dubbo-graalvm-native-image"></p> |
| <p>云计算时代比较显著的特点包括：</p> |
| <ul> |
| <li>基于云计算的基础设施，Java应用能够在云计算的基础设施上快速、轻松、高效的做到弹性。</li> |
| <li>基于容器化技术，系统资源切分的更加细，资源的利用率也更高了。</li> |
| <li>基于云计算的开发平台，让应用部署的更加容易，更加敏捷。</li> |
| </ul> |
| <p>那么在云计算时代，Java应用存在哪些问题呢？</p> |
| <ul> |
| <li>冷启动速度较慢。</li> |
| <li>应用预热时间过长，无法立即达到性能峰值。</li> |
| <li>内存、CPU等系统资源占用高。</li> |
| <li>Java构建的应用程序繁重，执行还需要具备JDK环境。</li> |
| </ul> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/native/img_1.png" alt="dubbo-graalvm-native-image"></p> |
| <p>在Serverless场景上，Java的问题会尤为突出，因为Serverless不仅能简化开发场景和开发体验，还能做到极致的弹性，甚至是秒级的弹性。</p> |
| <p>上图是Datalog统计的Fast和AWS两个产品。Java语言虽然更流行，但相较于Python和Node.JS，它的占比还是比较低的。Java本身在Serverless层面，比如在做容器的调度、镜像的下载的时候，启动时间、冷启动的时间、预热时间等等，都会影响Serverless场景下它弹性扩容的时间。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/native/img_2.png" alt="dubbo-graalvm-native-image"></p> |
| <p>下面介绍一下GraalVM，它是可以把Java应用提前编译到独立的二进制包内，这些二进制包相对于跑在JVM上它可以更小，更快的启动，不需要预热就能够达到极限的峰值，还可以减少内存和CPU的占比。</p> |
| <p>可以看到它的介绍和Java语言的应用所涉及到的问题都一一对应。GraalVM应该算是JDK的&quot;超集&quot;，除了包含完整的JDK发行版本外，还有GraalVM Compiler、Native image、Truffle等，甚至还涉及到多语言汇编的能力。</p> |
| <p>总结一下，GraalVM本身涉及两部分，JIT和AOT。</p> |
| <ul> |
| <li>JIT，是在编译后的class文件、字节码文件，它会在运行时把它翻译成机器码。</li> |
| <li>AOT， 它和JIT的区别是，它在编译期就能把字节码直接转化为机器码，无需在运行时再去处理。所以它的CPU和内存会相对更低。</li> |
| </ul> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/native/img_3.png" alt="dubbo-graalvm-native-image"></p> |
| <p>上图左侧是一张Java生命周期的全景图。可以看到，它从JVM的启动，再到Java的main函数的启动，再到Java的应用预热，再到它的稳定期，最后到达效果，这是Java完整的生命周期的呈现。</p> |
| <p>而AOT的区别在于，它没有红色的VM。另外，JIT相对于AOT而言是没有的，也没有浅绿色的解释器。所以AOT对于JIT来说，只有内加载，GC以及它能够瞬间达到应用的稳定期。</p> |
| <p>根据右侧的图可以看出：</p> |
| <ul> |
| <li>AOT的启动耗时相对较低，内存损耗和它打出来的二进制包相对较小。</li> |
| <li>JIT因为有及时编译的效果，所以现在极限的分值比AOT要好，比如它的极限吞吐量比AOT好。</li> |
| </ul> |
| <h2 id="二dubbo-享受-aot-带来的技术红利">二、Dubbo 享受 AOT 带来的技术红利</h2> |
| <ol> |
| <li>多产物形态</li> |
| </ol> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/native/img_4.png" alt="dubbo-graalvm-native-image.png"></p> |
| <p>我们在编码之后，Soft Code的产物形态新增了。</p> |
| <p>第一种是我们传统认知上的Jar包形态，比如mvn、clean、package。第二种是Docker Image，它能轻松的帮我们直接打到镜像里面去，不用写dockerfile等文件。第三种是我们集成GraalVM后新产生的一种Native可执行文件的形态。这种形态无需JDK的环境就能启动，它能像GO一样把二进制文件直接启动。</p> |
| <ol start="2"> |
| <li>启动耗时大幅降低</li> |
| </ol> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/native/img_5.png" alt="dubbo-graalvm-native-image"></p> |
| <p>上图的跑分都是基于4c16g的micro24的系统上跑出来的。左边和右边的区别是，左边的Provider端提供了一个Dubbo服务跑出来的，右边是提供了一个调用者的身份跑分出来的。从左边这张图可以看到，Native的可视性文件比Jar包方式的启动耗时降低了12倍+，在客户端应用，它的启动耗时降低了11倍+。所以在刚刚提到的Serverless场景上，它能提供一个非常好的启动速度。在扩容的时候能够达到秒级，甚至达到毫秒级。</p> |
| <ol start="3"> |
| <li>启动后立即达到性能峰值</li> |
| </ol> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/native/img_6.png" alt="dubbo-graalvm-native-image"></p> |
| <p>上图也是跑分跑出来的数据，可以看到Consumer和Provider端通过静态化执行文件执行后，比都为Jar包的情况，第一次调用的耗时降低6倍。这第一次调用代表的是预热的时长，以及第一次需要解析的类，包括资源的情况等等。这让我们在Serverless场景下能够瞬间达到性能峰值。</p> |
| <ol start="4"> |
| <li>内存损耗大幅降低</li> |
| </ol> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/native/img_7.png" alt="dubbo-graalvm-native-image"></p> |
| <p>上面有左右两张图，在Dubbo应用的基础上，它的内存损耗也降低大概3.5倍。Native静态化执行文件可以做到60M的内存占比，在客户端它的内存损耗也大概降低了4倍。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/native/img_8.png" alt="dubbo-graalvm-native-image"></p> |
| <p>这是Dubbo在Native Image技术场景中做的努力：</p> |
| <ul> |
| <li>易用性增强：在注解和XML方式中自动识别服务接口，生成Reachability Metadata。</li> |
| <li>可维护性增强：自动生成Source code，减轻了Dubbo开发者维护Adaptive的维护成本。自动扫描生成Dubbo core 所需的Reachability Metadata。</li> |
| <li>多平台的支持：Linux、MacOS、Windows。</li> |
| <li>多功能的覆盖：Dubbo、Triple协议。</li> |
| </ul> |
| <h2 id="三dubbo-native-image-的实践和示例">三、Dubbo Native Image 的实践和示例</h2> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/native/img_9.png" alt="dubbo-graalvm-native-image"></p> |
| <p>首先需要安装Dubbo Native Image，这里就不过多介绍了，大家可以根据官方的文档进行下载。</p> |
| <p>然后安装插件，可以看到上图中有三个插件需要安装，但和Dubbo相关的只有一个，是Dubbo Maven Plugin。除此之外，还有Spring Boot 的Maven Plugin，它提供的是Spring的AOT的能力。如果是API的接入方式我们无需加这个插件，如果是XML和注解就还需要加这个插件。第三个是GraalVM提供的插件，可以看到这里加了一个reachabilitu-metadata的执行，这个后面会介绍到。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/native/img_10.png" alt="dubbo-graalvm-native-image"></p> |
| <p>然后配置依赖，现在Dubbo关于可达性元数据的扫描、执行，以及配置文件和Source code的生成都在Dubbo Native的依赖下面，我们需要引入这个依赖。</p> |
| <p>另外，注解和XML的还是需要接入一个Spring6的兼容的包。因为Dubbo现在还兼容JDK 8的版本，而Spring6发布后支持的最低版本是JDK 17，所以我们还是需要有这么一个模块做一下兼容。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/native/img_11.png" alt="dubbo-graalvm-native-image"></p> |
| <p>最后还需要加一个插件和依赖，然后就能轻松的把应用转化成Native Image的形式。</p> |
| <p>最下面是完整的代码示例，大家感兴趣的话，可以尝试一下编译打包，看一下执行的效果。</p> |
| <h2 id="四dubbo-集成-native-image-的原理和思考">四、Dubbo 集成 Native Image 的原理和思考</h2> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/native/img_12.png" alt="dubbo-graalvm-native-image"></p> |
| <p>首先看一下Dubbo集成GraalVM Native Image技术的发展历程。2021年6月我们发布了Dubbo 3.0版本，初步探索了Native Image技术，提供了一个实验性的版本和Demo，涉及到的问题包括以下三个。</p> |
| <ul> |
| <li>维护繁重的Adaptive源码、维护Dubbo所需的全量Reachability Metadata。可能涉及到的问题是，比如要新增一个功能，我们需要考虑coding以及code review的时候是否要添加可达性的元数据，这也会造成维护成本非常高。</li> |
| <li>仅支持API方式，不支持注解和XML方式。</li> |
| <li>dubbo-native-plugin的插件，在后面3.1版本的时候，Native Image的发展并不多。</li> |
| </ul> |
| <p>2022年11月Spring6+Spring Boot3正式发布了，它把Native Image技术作为发布的亮点展现给大家。但Dubbo社区认为我们应该对Native Image技术有一个新的跨越，所以在2023年4月发布了Dubbo 3.2版本，将Native Image技术进行了思考和重构。支持以下四个方面：</p> |
| <ul> |
| <li>编译阶段自动生成Adaptive源码，已经不需要开发者维护了。</li> |
| <li>支持编译阶段自动生成Dubbo所需的Reachability Metadata。减小了打在业务启动的可执行文件里包的大小。因为在之前的版本里，它是把Dubbo所涉及的全量的可达性的元数据都打在二进制包里。比如业务用jka作为注册中心，我们把nacos也打在那里面，这就会导致它的二进制包非常大。现在这个版本如果用到jka，我们在box上解析不到nacos相关的依赖。所以我们就不会再把相关的内容打进去了，而且现在都是自动识别的。</li> |
| <li>新增dubbo-maven-plugin，用于替代dubbo-native-plugin。因为dubbo-native-plugin的能力和内容是比较聚焦的，我们把它重新归名为dubbo-maven-plugin后，涉及到的是我们能够降低业务接入的薪资负担。后面Dubbo相关的maven插件，都通过它来做就行了。</li> |
| <li>兼容了Spring6+Spring Boot3，这就是我们在下个版本把XML和注解支持上去的技术的基础。</li> |
| </ul> |
| <p>2023年12月将会发布Dubbo 3.3x版本。它基于Spring6，完成对XML和注解方式的支持，还移除了dubbo-native-plugin。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/native/img_13.png" alt="dubbo-graalvm-native-image"></p> |
| <p>刚刚提到了非常多次Reachability Metadata可达性的元数据，到底是什么呢？</p> |
| <p>我们先来聊一聊AOT的局限性，它本身就有局限，它遵循封闭世界的一个假设。比如它只关注能看到的所有字节码的信息，这就会带来一个问题，Java动态语言的功能就不再支持了。也及时说JNI、Java反射、动态代理、ClassPath资源的获取等都不再支持。</p> |
| <p>我们知道，在组件/业务开发/使用产品上涉及到的这些功能是非常多的，既然GraalVM出了这个功能，当然也考虑到了这个问题，所以它利用Reachability Metadata的能力解决了这些问题。</p> |
| <p>右边的这张图分为了五类，它涉及到了JNI、反射、序列化、resource、proxy相关的元数据的配置信息。它可以让开发者在编译前就提供好这些元数据信息，提前打包到可执行的二进制文件中。还有第六种分类，是预定义的类型，他需要提供完整的字节码Hash值，所以就没列出来，它可能需要和Tracing的agent联合起来使用。</p> |
| <p>下面我们主要介绍一下这五类。</p> |
| <p>第一，GraalVM 提供了Tracing Agent来辅助应用采集Reachability Metadata，也就是说在运行期间它会去采集你的行为，比如你要用到反射，他会把反射的元素自动生成出来，然后生成出一个配置文件提供给你。但是并无法确保把所有都采集完整。</p> |
| <p>第二，GraalVM提供了Reachability Metadata Repository，用于管理三方组件的Reachability Metadata。我们在Java反射、动态代理这种纯业务的场景，用的相对较少，在运用到组件中相对多一点。举个例子，比如Native里用到反射，我们可以在仓库中直接找到Native反射的metadata。然后通过刚刚提到三个插件中的Native自身提供的插件,它会把仓库里的元数据直接打在二进制包里，我们也就不需要关心这些公共组件的元数据信息了。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/native/img_14.png" alt="dubbo-graalvm-native-image"></p> |
| <p>和Dubbo相关的元数据信息包括以下五类：</p> |
| <p>第一，反射的元数据。</p> |
| <ul> |
| <li>内外部的service。我们知道Dubbo是rpc框架，所以定义服务接口是最通用的一种能力。内部提供的服务包括metric service、metadata service，用户服务就是业务定义的服务接口。</li> |
| <li>SPI扩展。Dubbo的扩展能力得益于自己建的一套SPI机制。</li> |
| <li>多实例。</li> |
| <li>配置相关的内容。</li> |
| <li>业务上自己用到的反射的行为。</li> |
| </ul> |
| <p>第二，resource的元数据。如果业务上要做扩展，配置文件，resource的元数据主要涉及的就是META-INF下的三个路径。此外，还有一个是在Dubbo 3里支持对安全性的增强，序列化的黑白名单的resources的配置。</p> |
| <p>第三，序列化的元数据。作为rpc调用的框架，它的接口定义、方法定义、内外部分的服务、parameter、请求参数、返回类型等都需要用到序列化的接口。</p> |
| <p>第四，动态代理的元数据。在传统的rpc框架里动态代理是用的比较多的产品。内外部分服务的引用就是代理的元数据。</p> |
| <p>第五，JNI的元数据，暂时没有用到。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/native/img_15.png" alt="dubbo-graalvm-native-image"></p> |
| <p>这是Dubbo 相关的 Reachability Metadata 总结和处理策略，我们把它分为了四类。</p> |
| <ul> |
| <li>规律性的内容，是刚刚提到的Adaptive Source Code的生成。</li> |
| <li>确定性资源和行为，是Dubbo内部的扩展以及资源的配置。</li> |
| <li>不确定性的资源和行为，是业务自定义的扩展实现以及定义的服务。</li> |
| <li>集成和依赖的组件，比如刚刚提到jka是其他社区的生态，它涉及到注解的元数据信息，我们会提供官方的支持，还会提供内部的适配逻辑。</li> |
| </ul> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/native/img_16.png" alt="dubbo-graalvm-native-image"></p> |
| <p>这是AOT的执行流程。可以看到它的源码在编译之后，它的区别是它会从main函数开始启动Java应用进程，然后去找所有的source code和Bean的元数据信息。</p> |
| <p>下面是Spring Server自动生成的一个source code，它会把它生成一个Bean定义的获取的类。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/native/img_17.png" alt="dubbo-graalvm-native-image"></p> |
| <p>而Dubbo并不是从main函数启动的，它启动了一个扫描的进程，把确定性的、不确定性的元素以及规律性的内容扫描进来，自动帮大家生成元数据信息。</p> |
| <p>下面是用Dubbo service生成后的一些信息。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/native/img_18.png" alt="dubbo-graalvm-native-image"></p> |
| <p>上图是Spring本身提供的一个产物的内容以及Dubbo的AOT产物的内容。可以看到Dubbo下面是Adaptive的一些source code。最后Native在执行的时候会读取到这里所有的配置。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/native/img_19.png" alt="dubbo-graalvm-native-image"></p> |
| <p>这是Dubbo和AOT之间的边界，可以看到API的接入方式和注解、XML的接入方式是有所区别的。注解和XML借用了Spring AOT的能力，包括ServiceBean、ReferenceBean等等，而Dubbo AOT的能力主要是自身的元数据的生产。</p> |
| <h2 id="五dubbo-在-native-image-技术的未来规划">五、Dubbo 在 Native Image 技术的未来规划</h2> |
| <ol> |
| <li>提升开发者体验&amp;开发效率</li> |
| </ol> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/native/img_20.png" alt="dubbo-graalvm-native-image"></p> |
| <p>Dubbo在3.0之后提供了CTL、脚手架、IDEA插件，Dubbo Native Image目前还在建设中，之后也会加进去。此外，还有一些文档的建设。</p> |
| <ol start="2"> |
| <li>性能优化与提升</li> |
| </ol> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/native/img_21.png" alt="dubbo-graalvm-native-image"></p> |
| <p>刚刚已经分享了很多内容，但还是有很多可以做的事情。在GraalVM提供的能力上，我们还可以把一些类相关的可达性的配置加上去，产生作用之后能让最后打出来的二进制包更小，编译时间更短。</p> |
| <ol start="3"> |
| <li>覆盖更多的组件</li> |
| </ol> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/native/img_22.png" alt="dubbo-graalvm-native-image"></p> |
| <p>因为目前很多组件都还不支持，所以我们现在的主要思路是把Dubbo主仓库的扩展性支持完成，然后再往wpi的扩展上做相应的支持。</p> |
| <p>另外，内核所需要的可达性的元数据，我们会把它推到program的可达性的元数据的仓库上面去，让业务开发能够正常使用大陆内核里的元数据信息。</p> |
| <p>最后我们的思路还是优先考虑GraalVM官方的支持。</p></description></item><item><title>Blog: 手把手教你部署Dubbo应用到Kubernetes – Apache Dubbo Kubernetes 最佳实践</title><link>https://dubbo.apache.org/zh-cn/blog/2023/10/07/%E6%89%8B%E6%8A%8A%E6%89%8B%E6%95%99%E4%BD%A0%E9%83%A8%E7%BD%B2dubbo%E5%BA%94%E7%94%A8%E5%88%B0kubernetes-apache-dubbo-kubernetes-%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5/</link><pubDate>Sat, 07 Oct 2023 00:00:00 +0000</pubDate><guid>https://dubbo.apache.org/zh-cn/blog/2023/10/07/%E6%89%8B%E6%8A%8A%E6%89%8B%E6%95%99%E4%BD%A0%E9%83%A8%E7%BD%B2dubbo%E5%BA%94%E7%94%A8%E5%88%B0kubernetes-apache-dubbo-kubernetes-%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5/</guid><description> |
| <p>精进云原生 – Dubbo Kubernetes 最佳实践</p> |
| <p>摘要：本文整理自阿里云研发工程师、Apache Dubbo PMC江河清的分享。本篇内容主要分为六个部分：</p> |
| <ul> |
| <li>一、使用 Dubbo Starter 初始化项目</li> |
| <li>二、开发微服务之协议选型</li> |
| <li>三、基于 Kubernetes 快速初始化环境</li> |
| <li>四、快速部署应用到 Kubernetes 集群中</li> |
| <li>五、云原生微服务可观测最佳实践</li> |
| <li>六、在 Kubernetes 中管理微服务应用</li> |
| </ul> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/kubernetes/img.png" alt="dubbo-kubernetes-最佳实践"></p> |
| <p>上图是从 Istio 借鉴的一个demo，它包含了四个组件，分别是Product Page、Reviews、Details、Ratings，它就是一个全链路的串联，实现了整体的微服务架构，它的功能可以实现我们简单的调用。</p> |
| <h2 id="一使用-dubbo-starter-初始化项目">一、使用 Dubbo Starter 初始化项目</h2> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/kubernetes/img_1.png" alt="dubbo-kubernetes-最佳实践"></p> |
| <p>首先介绍一下Starter的功能。对于很多开发来说，在Java体系下创建出新的应用，无外乎就是用IDE创建一个新的项目，或者用maven的artifact，或者基于Spring的Initializer。</p> |
| <p>上图使我们基于Spring的Initializer建立了我们自己的初始化项目的工程。我们点击最上面的网址就能直接看到这个页面了，你需要输入对应的group和artifact。然后选择你希望用到的组件，比如Nacos、Prometheus的组件等等。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/kubernetes/img_2.png" alt="dubbo-kubernetes-最佳实践"></p> |
| <p>除此之外，我们在IDE里提供了一个Dubbo的插件。这个插件可以通过上图的方式进行安装，或者如果你的仓库里已经用到了Dubbo的配置，它会提示你可以直接安装。安装完成后在右边就会有一个对应的初始化的项目了。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/kubernetes/img_3.png" alt="dubbo-kubernetes-最佳实践"></p> |
| <p>上图是一个示例，它在这里建立了一个Dubbo的项目，然后你需要在这里选中所需要的组件信息，最后点击创建，之后它就会帮你在本地直接创建出一个全新的项目，然后你就可以在这个模版上开发了。</p> |
| <h2 id="二开发微服务之协议选型">二、开发微服务之协议选型</h2> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/kubernetes/img_4.png" alt="dubbo-kubernetes-最佳实践"></p> |
| <p>我们会用到最新的Triple协议，它整体支持兼容gRPC、HTTP/1、HTTP/2。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/kubernetes/img_5.png" alt="dubbo-kubernetes-最佳实践"></p> |
| <p>这里主要想和大家分享的点是，我们基于curl访问的能力，比如POSTMAN、HttpClient都是支持的。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/kubernetes/img_6.png" alt="dubbo-kubernetes-最佳实践"></p> |
| <p>下面来看一下我们的项目，这是刚才建立的一个项目，我现在把应用启动起来，配置一些注册中心的地址，这就是一个标准的Spring的启动的流程。这里定义了一个接口，这个接口返回了一个&quot;hello&quot;的内容信息。然后我用一个简单的命令，就可以直接返回我的hello world的结果了。这样对我们本身的测试来说有很大的帮助，也就是本地启动之后，就可以直接测试接口。</p> |
| <h2 id="三基于-kubernetes-快速初始化环境">三、基于 Kubernetes 快速初始化环境</h2> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/kubernetes/img_7.png" alt="dubbo-kubernetes-最佳实践"></p> |
| <p>假设我们已经把前面四个应用的代码全部开发完成了，接下来我要把它部署到K8s环境上。部署之前有一个非常重要的步骤，需要先初始化环境。比如Nacos、ZK、Skywalking、Zipkin、Prometheus等组件，我们都需要将它们安装上去，因为它们是应用前置依赖的各种组件。这些组件的安装流程都很复杂，那么我们如何简化这个流程呢？</p> |
| <p>Dubbo提供了一个命令，这个命令可以一键帮你在K8s体系下拉起上图左边的所有组件。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/kubernetes/img_8.png" alt="dubbo-kubernetes-最佳实践"></p> |
| <p>这里有一个简单的例子，拉起来之后，它会把所有的组件都会帮你拉起来。这里埋一个点，这里的Prometheus我们后面还会继续使用。整个Nacos的地址，Zookeeper的地址都会直接提供给你。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/kubernetes/img_9.png" alt="dubbo-kubernetes-最佳实践"></p> |
| <p>这也是一个的例子。执行一个简单的命令，然后本地会把kubectl的配置都准备好，它就会自动的帮你把组件都创建起来。也就是我们一键就可以获取到所有service的部署。</p> |
| <h2 id="四快速部署应用到-kubernetes-集群中">四、快速部署应用到 Kubernetes 集群中</h2> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/kubernetes/img_10.png" alt="dubbo-kubernetes-最佳实践"></p> |
| <p>部署应用有三个重要的点，分别是应用容器化、无状态部署、生命周期对齐。</p> |
| <p>首先介绍一下应用容器化。想要将应用容器化，首先需要建一个dockerfile，引入一个jdk的包，把启动命令和启动脚本拉进去。然后还要写一个Java的编译的脚本，把Java编译的jar包结果拉进去。这个过程非常复杂，所以我们可以用一下Jib的插件。这个插件是maven的一个plugin，我只需要把这些配进去，指定成我的Image就足够了。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/kubernetes/img_11.png" alt="dubbo-kubernetes-最佳实践"></p> |
| <p>可以看到，我只需要把我的pom里添加一个对应的配置项依赖，通过一键maven的编译模式，它就可以在maven打包的过程中帮你构建完镜像，然后直接推送到远端仓库。这一切都只需要这一个命令就可以完成，而且一次性配置之后，未来你所有的镜像更新都可以自动化的去做，不需要再去写繁琐的dockerfile。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/kubernetes/img_12.png" alt="dubbo-kubernetes-最佳实践"></p> |
| <p>其次介绍一下无状态部署。刚才我们把镜像打出来了，这只是第一步，紧接着我们要让镜像run起来。我们可以基于K8s的deployment的模式，它是从K8s的官网上直接拉下来的。拉下来之后我们可以指定对应的应用名、镜像信息等等，这是K8s无法绕过去的，相对于说它需要配置这样的一个demo，当然也会有云厂商平台提供一个可视化的界面给你，它的底层配置的就是这样的一个yarml。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/kubernetes/img_13.png" alt="dubbo-kubernetes-最佳实践"></p> |
| <p>这是一个简单的例子，把deployment配置完之后，指定了刚才的镜像。同时我声明了一个service，这个service非常重要，它后面会作为from_end应用入口的配置，但它是一个Ingress网关。可以看到apply镜像之后，我们就可以在K8s体系上把这个环境run起来了。</p> |
| <p>这里做一个简单的测试，我引入一个curl的容器，同样我们可以用刚才curl的命令访问我新部署好的容器节点，可以看到它返回了hello world的数据信息。</p> |
| <p>综上，我们通过deployment的部署，可以在K8s上把容器run起来，同时它还可以对外提供服务，对外提供的服务我可以通过下面curl的命令进行调用。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/kubernetes/img_14.png" alt="dubbo-kubernetes-最佳实践"></p> |
| <p>最后介绍一下生命周期对齐。整体部署上了之后，大家都会进行多Pod部署，所以就会涉及到分批的行为。如果现在分了两批，且我希望我的业务中间是不中断的，这个时候就需要让K8s帮我们进行分批处理。因为K8s只知道进程起来了，所以我们需要让K8s感知到这个应用当前的状态是否startup了。然后还需要让K8s知道是否ready，以及是否存活。这是K8s提供的流程，那么怎么和Dubbo的流程相匹配呢？</p> |
| <p>上图右侧有一些Dubbo原生提供的ports信息，我们会对外发布这样的Dubbo的状态信息，可以让你和K8s的生命周期完整的对齐。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/kubernetes/img_15.png" alt="dubbo-kubernetes-最佳实践"></p> |
| <p>上图是一个例子。在整个应用启动的时候，这里sleep了20秒，然后配置了对应的Pro信息。</p> |
| <p>我们简单推测一下，我在前面设置了等待20秒，那么我的应用肯定要超过20秒才能起来。因为修改了代码，所以这里需要重新编译一下，用一键maven的编译模式直接推上去。接下来要把deployment apply进去，进去之后Pod的状态全都是not ready的，都是零的状态。</p> |
| <p>因为前面sleep了20秒的时候，Dubbo还没启动完，所以都是not ready的状态。我们等sleep的阶段过了，它就会变成ready的状态，然后再进行分批这就是生命周期对齐的过程。</p> |
| <p>所以K8s知道应用什么时候启动成功了，什么时候启动失败了，才能进行更好的调度。</p> |
| <h2 id="五云原生微服务可观测最佳实践">五、云原生微服务可观测最佳实践</h2> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/kubernetes/img_16.png" alt="dubbo-kubernetes-最佳实践"></p> |
| <p>部署上去之后，我们还会涉及到整个应用的可观测。因为我们的应用可能部署了非常多节点，我需要感知应用的状态。</p> |
| <p>可观测体系包括Metrics体系和Tracing体系。Metrics体系包括几个指标，比如谷歌的四个环境指标，延迟、流量等等。对应到Dubbo，会提供QPS、RT等等指标，它都是在这样体系下的Metrics的最佳实践。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/kubernetes/img_17.png" alt="dubbo-kubernetes-最佳实践"></p> |
| <p>前面在部署初始化环境的时候，提了Prometheus的服务，现在就有用了。当我把Prometheus环境部署完之后，我们只需配置几行简单的Metrics采集信息。然后Prometheus就会帮你在你的节点上面采集很多的Metrics信息，然后得到右边的panel信息，这个panel也是Dubbo官方提供的，可以直接看到Dubbo的状态信息。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/kubernetes/img_18.png" alt="dubbo-kubernetes-最佳实践"></p> |
| <p>上面是一个演示的例子。我们在前面的deployment的例子上加上Metrics的采集信息，然后把它apply进去之后，我们就可以用整个Grafana导出过来。跑了一段时间之后，就会有对应的流量信息，比如QPS信息、RT信息、成功率等等。</p> |
| <p>得到这些指标后，我们还可以做一个告警。比如QPS从100突然跌到了0，或者成功率突然跌了很多，这种情况我们需要做一个警示，让大家知道当前发生的问题。我们可以基于Prometheus采集，做一个主动的推送，这就是告警的过程。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/kubernetes/img_19.png" alt="dubbo-kubernetes-最佳实践"></p> |
| <p>Tracing包括内置的Tracing、agent注入的方案。目前主流的Go语言和其他语言大多都会用sdk依赖一个open去做一个Tracing。因为Go构体系下的agent注入也不太完善，Dubbo本身也提供了默认Tracing的能力支持。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/kubernetes/img_20.png" alt="dubbo-kubernetes-最佳实践"></p> |
| <p>大家可以看到，在这里你只需要依赖dependency里面加上Dubbo的starter，配置项里把Tracing能力打开，开启一个指标的上报，9411是我们Zipkin的一个后端。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/kubernetes/img_21.png" alt="dubbo-kubernetes-最佳实践"></p> |
| <p>这也是一个例子，我只需要配置这些配置，它的数据就会报到Zipkin上去，这里的dependency直接加上。</p> |
| <p>同样的，用刚才的命令进行打包，把镜像推送上去，然后我们等待一下。推送的过程中可以看一下Zipkin这个组件，它也是在最前面我们在K8s初始化环境的时候一起拉起的，所以这一切你只需要在前面一次性部署的时候就可以拥有了。</p> |
| <p>然后我们简单的执行一个curl命令，因为我需要让我的环境有流量。部署完之后，用curl命令还是执行一下我们的获取，这个其实已经把后端开发完了，它返回了真实的结果。</p> |
| <p>接下来我们去Zipkin上看看能不能找到这条Tracing。首先把9411映射过来，我们可以看到curry一下，这里就会有对应的指标信息。整个全链路的调用信息这里都可以看到，这就是全链路的接入的流程。相当于你只需要把前面的dependency加上，把上报的配置加上，之后的一切我都会帮你在后面完成以及上报。你看到对应的结果，就可以知道全链路上发生了什么事情。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/kubernetes/img_22.png" alt="dubbo-kubernetes-最佳实践"></p> |
| <p>除此之外，还可以基于agent的方式。如果我们基于K8s部署，我们接入一个agent也是非常方便的。你可以基于一个initContainer把整个Java的配置项信息直接注入进去，这样在skywalking上就可以看到一个对应的全链路的信息。因为和前面是类似的，这里就不再赘述它的demo的工程了。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/kubernetes/img_23.png" alt="dubbo-kubernetes-最佳实践"></p> |
| <p>对于整个可观测来说，我们可以通过Metrics看到QPS、RT等信息，通过Tracing看到全链路的访问信息。这里提供给我们一个很好的方案，就是我们要先去做服务的观测，基于服务的观测更好的排查整体的问题，第一时间知道应用挂没挂。比如半夜两点，它的可用率跌到零了。这个时候可以通过一系列的自动化机制告诉你应用出了问题，快速的进行恢复。这里的快速恢复可以使用回滚，将流量隔离的方案他都可以快速的执行。</p> |
| <p>基于这样快速的从观测到排查，再到快速恢复的链条，可以构建整个生产环境下的安全稳定的体系。所以我们观测完之后的目标就是保证整个应用的稳定。</p> |
| <h2 id="六在-kubernetes-中管理微服务应用">六、在 Kubernetes 中管理微服务应用</h2> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/kubernetes/img_24.png" alt="dubbo-kubernetes-最佳实践"></p> |
| <p>K8s给我们带来的收益包括快速扩缩容，即我可以很快的基于K8s从一个Pod变成多个Pod。因为K8s是基于整个Image的部署的流程，当镜像打包出来后，你的环境就是固定的，只需要去横向的扩容即可。</p> |
| <p>横向的快速扩容也会涉及到几个瓶颈的点，如果我需要让我的应用能够快速扩容，比如我的应用提起来就要几十分钟，这种情况即使快速扩容了，等扩容完之后你的业务峰值也过去了，这里就会引入到Native Image。</p> |
| <p>基于Native Image，我们可以很好的实现整个Serverless的横向的扩容。如果可以实现毫秒级的启动，我可以在流量来的波峰，直接让我的Pod横向扩容好几倍，当它的流量下去的时候就直接下掉，这样就实现了成本的压缩。</p> |
| <p>另外还有一个问题是怎么知道什么时候要扩容？这就需要基于Metrics的观测，基于一些历史数据的分析，知道在某个时间点会有多少的流量，然后提前扩容，或者做一个自动化的扩容。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/kubernetes/img_25.png" alt="dubbo-kubernetes-最佳实践"></p> |
| <p>这里我举一个简单的例子，比如我的rating上出了一些问题，我需要把它的故障摘除掉，返回一个磨合的结果。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/kubernetes/img_26.png" alt="dubbo-kubernetes-最佳实践"></p> |
| <p>这个时候你只需要在上面去配置一个上图的规则，它就会返回。这就是Admin的使用流程，这里就不再展开了，还有刚刚提到的我们在做Go版本的重构能力，后面也都会有更好的建设。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/kubernetes/img_27.png" alt="dubbo-kubernetes-最佳实践"></p> |
| <p>除此之外，基于 istio的Service Mesh治理，我们前面协议选型的时候选了Triple协议，它完全是based on HTTP标准的。因此我们使用istio的整个体系之后，你只需要挂上subcard它就会帮你去做流量治理。这一切的前提是你的协议一定是istio可见的。</p> |
| <p>比如你原来用是Dubbo 2的Dubbo的协议，它是一个私有的tcp协议，对于istio来说它很难分辨你的协议内容。如果你用了Triple协议，我们可以基于HTTP标准，你就可以知道你的header里有什么东西，可以去做一个流量的转发。所以它完全拥抱Mesh的体系，可以支持我们所有istio的治理能力。</p></description></item><item><title>Blog: 微服务最佳实践，零改造实现 Spring Cloud & Apache Dubbo 互通</title><link>https://dubbo.apache.org/zh-cn/blog/2023/10/07/%E5%BE%AE%E6%9C%8D%E5%8A%A1%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5%E9%9B%B6%E6%94%B9%E9%80%A0%E5%AE%9E%E7%8E%B0-spring-cloud-apache-dubbo-%E4%BA%92%E9%80%9A/</link><pubDate>Sat, 07 Oct 2023 00:00:00 +0000</pubDate><guid>https://dubbo.apache.org/zh-cn/blog/2023/10/07/%E5%BE%AE%E6%9C%8D%E5%8A%A1%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5%E9%9B%B6%E6%94%B9%E9%80%A0%E5%AE%9E%E7%8E%B0-spring-cloud-apache-dubbo-%E4%BA%92%E9%80%9A/</guid><description> |
| <p><strong>本文以实际项目和代码为示例，一步一步演示如何以最低成本实现 Apache Dubbo 体系与 Spring Cloud 体系的互通，进而实现不同微服务体系的混合部署、迁移等，帮助您解决实际架构及业务问题。</strong></p> |
| <h2 id="背景与目标">背景与目标</h2> |
| <p>如果你在微服务开发过程中正面临以下一些业务场景需要解决，那么这篇文章可以帮到您：</p> |
| <ul> |
| <li>您已经有一套基于 Dubbo 构建的微服务应用，这时你需要将部分服务通过 REST HTTP 的形式（非接口、方法模式）发布出去，供一些标准的 HTTP 端调用（如 Spring Cloud 客户端），整个过程最好是不用改代码，直接为写好的 Dubbo 服务加一些配置、注解就能实现。</li> |
| <li>您已经有一套基于 Spring Cloud 构建的微服务体系，而后又构建了一套 Dubbo 体系的微服务，你想两套体系共存，因此现在两边都需要调用到对方发布的服务。也就是 Dubbo 应用作为消费方要调用到 Spring Cloud 发布的 HTTP 接口，Dubbo 应用作为提供方还能发布 HTTP 接口给 Spring Cloud 调用</li> |
| <li>出于一些历史原因，你正规划从一个微服务体系迁移到另外一个微服务体系，前提条件是要保证中间过程的平滑迁移。</li> |
| </ul> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/9/springcloud/img.png" alt="image.png"></p> |
| <p>对于以上几个场景，我们都可以借助 Dubbo3 内置的 REST 编程范式支持实现，这让 Dubbo 既可以作为消费方调用 HTTP 接口的服务，又可以作为提供方对外发布 REST 风格的 HTTP 服务，同时整个编码过程支持业界常用的 REST 编程范式（如 JAX-RS、Spring MVC 等），因此可以做到基本不改动任何代码的情况下实现 Dubbo 与 Spring Cloud 体系的互相调用。</p> |
| <ul> |
| <li>关于这一部分更多的设计与理论阐述请参见这里的 <a href="https://dubbo.apache.org/zh-cn/blog/2023/01/05/dubbo-%E8%BF%9E%E6%8E%A5%E5%BC%82%E6%9E%84%E5%BE%AE%E6%9C%8D%E5%8A%A1%E4%BD%93%E7%B3%BB-%E5%A4%9A%E5%8D%8F%E8%AE%AE%E5%A4%9A%E6%B3%A8%E5%86%8C%E4%B8%AD%E5%BF%83/">博客文章</a>。</li> |
| <li>关于 Dubbo REST 的更多配置方式请参见 <a href="https://dubbo.apache.org/zh-cn/overview/mannual/java-sdk/reference-manual/protocol/rest/">rest 使用参考手册</a></li> |
| </ul> |
| <h2 id="示例一dubbo-调用-spring-cloud">示例一：Dubbo 调用 Spring Cloud</h2> |
| <p>在已经有一套 Spring Cloud 微服务体系的情况下，演示如何使用 Dubbo 调用 Spring Cloud 服务（包含自动的地址发现与协议传输）。在注册中心方面，本示例使用 Nacos 作为注册中心，对于 Zookeeper、Consul 等两种体系都支持的注册中心同样适用。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/9/springcloud/img_1.png" alt="dubbo-call-spring-cloud"></p> |
| <p>设想你已经有一套 Spring Cloud 的微服务体系，现在我们将引入 Dubbo 框架，让 Dubbo 应用能够正常的调用到 Spring Cloud 发布的服务。本示例完整源码请参见 <a href="https://github.com/apache/dubbo-samples/tree/master/2-advanced/dubbo-samples-springcloud/dubbo-call-sc">samples/dubbo-call-sc</a>。</p> |
| <h3 id="启动-spring-cloud-server">启动 Spring Cloud Server</h3> |
| <p>示例中 Spring Cloud 应用的结构如下</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/9/springcloud/img_2.png" alt="springcloud-server.png"></p> |
| <p>应用配置文件如下：</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-yaml" data-lang="yaml"><span style="display:flex;"><span><span style="color:#268bd2">server</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">port</span>: <span style="color:#2aa198">8099</span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">spring</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">application</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">name</span>: spring-cloud-provider-for-dubbo |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">cloud</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">nacos</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">serverAddr</span>: <span style="color:#2aa198">127.0.0.1</span>:<span style="color:#2aa198">8848</span> <span style="color:#586e75">#注册中心</span> |
| </span></span></code></pre></div><p>以下是一个非常简单的 Controller 定义，发布了一个 <code>/users/list/</code>的 http 端点</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#268bd2">@RestController</span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">@RequestMapping</span>(<span style="color:#2aa198">&#34;/users&#34;</span>) |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">public</span> <span style="color:#268bd2">class</span> <span style="color:#268bd2">UserController</span> { |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">@GetMapping</span>(<span style="color:#2aa198">&#34;/list&#34;</span>) |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> List<span style="color:#719e07">&lt;</span>User<span style="color:#719e07">&gt;</span> <span style="color:#268bd2">getUser</span>() { |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">return</span> Collections.singletonList(<span style="color:#719e07">new</span> User(1L, <span style="color:#2aa198">&#34;spring cloud server&#34;</span>)); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><p>启动 <code>SpringCloudApplication</code>，通过 cURL 或浏览器访问 <code>http://localhost:8099/users/list</code> 可以测试应用启动成功。</p> |
| <h3 id="使用-dubbo-client-调用服务">使用 Dubbo Client 调用服务</h3> |
| <p>Dubbo client 也是一个标准的 Dubbo 应用，项目基本结构如下：</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/9/springcloud/img_3.png" alt="dubbo-consumer.png"></p> |
| <p>其中，一个比较关键的是如下接口定义（正常情况下，以下接口可以直接从原有的 Spring Cloud client 应用中原样拷贝过来即可，无需做任何修改）。</p> |
| <blockquote> |
| <p>如果之前没有基于 OpenFeign 的 Spring Cloud 消费端应用，那么就需要自行定义一个接口，此时不一定要使用 OpenFeign 注解，使用 Spring MVC 标准注解即可。</p> |
| </blockquote> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#268bd2">@FeignClient</span>(name <span style="color:#719e07">=</span> <span style="color:#2aa198">&#34;spring-cloud-provider-for-dubbo&#34;</span>) |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">public</span> <span style="color:#268bd2">interface</span> <span style="color:#268bd2">UserServiceFeign</span> { |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">@RequestMapping</span>(value<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;/users/list&#34;</span>, method <span style="color:#719e07">=</span> RequestMethod.GET, produces <span style="color:#719e07">=</span> <span style="color:#2aa198">&#34;application/json&#34;</span>) |
| </span></span><span style="display:flex;"><span> List<span style="color:#719e07">&lt;</span>User<span style="color:#719e07">&gt;</span> <span style="color:#268bd2">users</span>(); |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><p>通过 <code>DubboReference</code> 注解将 UserServiceFeign 接口注册为 Dubbo 服务</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#268bd2">@DubboReference</span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">private</span> UserServiceFeign userService; |
| </span></span></code></pre></div><p>接下来，我们就可以用 Dubbo 标准的方式对服务发起调用了</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span>List<span style="color:#719e07">&lt;</span>User<span style="color:#719e07">&gt;</span> users <span style="color:#719e07">=</span> userService.users(); |
| </span></span></code></pre></div><p>通过 <code>DubboConsumerApplication</code> 启动 Dubbo 应用，验证可以成功调用到 Spring Cloud 服务。</p> |
| <h2 id="示例二spring-cloud-调用-dubbo">示例二：Spring Cloud 调用 Dubbo</h2> |
| <p>在接下来的示例中，我们将展示如何将 Dubbo server 发布的服务开放给 Spring Cloud client 调用。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/9/springcloud/img_4.png" alt="spring-cloud-call-dubbo"></p> |
| <p>示例的相关源码在 <a href="https://github.com/apache/dubbo-samples/tree/master/2-advanced/dubbo-samples-springcloud/sc-call-dubbo">samples/sc-call-dubbo</a></p> |
| <h3 id="启动-dubbo-server">启动 Dubbo Server</h3> |
| <p>Dubbo server 应用的代码结构非常简单，是一个典型的 Dubbo 应用。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/9/springcloud/img_5.png" alt="dubbo-server.png"></p> |
| <p>相比于普通的 Dubbo 服务定义，我们要在接口上加上如下标准 Spring MVC 注解：</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#268bd2">@RestController</span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">@RequestMapping</span>(<span style="color:#2aa198">&#34;/users&#34;</span>) |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">public</span> <span style="color:#268bd2">interface</span> <span style="color:#268bd2">UserService</span> { |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">@GetMapping</span>(value <span style="color:#719e07">=</span> <span style="color:#2aa198">&#34;/list&#34;</span>) |
| </span></span><span style="display:flex;"><span> List<span style="color:#719e07">&lt;</span>User<span style="color:#719e07">&gt;</span> <span style="color:#268bd2">getUsers</span>(); |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><p>除了以上注解之外，其他服务发布等流程都一致，使用 <code>DubboService</code> 注解发布服务即可：</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#268bd2">@DubboService</span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">public</span> <span style="color:#268bd2">class</span> <span style="color:#268bd2">UserServiceImpl</span> <span style="color:#268bd2">implements</span> UserService { |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">@Override</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> List<span style="color:#719e07">&lt;</span>User<span style="color:#719e07">&gt;</span> <span style="color:#268bd2">getUsers</span>() { |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">return</span> Collections.singletonList(<span style="color:#719e07">new</span> User(1L, <span style="color:#2aa198">&#34;Dubbo provider!&#34;</span>)); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><p>在服务配置上，特别注意我们需要将服务的协议配置为 rest <code>protocol: rest</code>，地址发现模式使用 <code>register-mode: instance</code>：</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-yaml" data-lang="yaml"><span style="display:flex;"><span><span style="color:#268bd2">dubbo</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">registry</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">address</span>: nacos://127.0.0.1:8848 |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">register-mode</span>: instance |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">protocol</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">name</span>: rest |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">port</span>: <span style="color:#2aa198">8090</span> |
| </span></span></code></pre></div><p>启动 Dubbo 应用，此时访问以下地址可以验证服务运行正常：<code>http://localhost:8090/users/list</code></p> |
| <h3 id="使用-spring-cloud-调用-dubbo">使用 Spring Cloud 调用 Dubbo</h3> |
| <p>使用 OpenFeign 开发一个标准的 Spring Cloud 应用，即可调用以上发布的 Dubbo 服务，项目代码结构如下：</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/9/springcloud/img_6.png" alt="springcloud-consumer.png"></p> |
| <p>其中，我们定义了一个 OpenFeign 接口，用于调用上面发布的 Dubbo rest 服务。</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#268bd2">@FeignClient</span>(name <span style="color:#719e07">=</span> <span style="color:#2aa198">&#34;dubbo-provider-for-spring-cloud&#34;</span>) |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">public</span> <span style="color:#268bd2">interface</span> <span style="color:#268bd2">UserServiceFeign</span> { |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">@RequestMapping</span>(value <span style="color:#719e07">=</span> <span style="color:#2aa198">&#34;/users/list&#34;</span>, method <span style="color:#719e07">=</span> RequestMethod.GET) |
| </span></span><span style="display:flex;"><span> List<span style="color:#719e07">&lt;</span>User<span style="color:#719e07">&gt;</span> <span style="color:#268bd2">getUsers</span>(); |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><p>定义以下 controller 作为 OpenFeign 和 RestTemplate 测试入口。</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#268bd2">public</span> <span style="color:#268bd2">class</span> <span style="color:#268bd2">UserController</span> { |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> <span style="color:#268bd2">final</span> RestTemplate restTemplate; |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> <span style="color:#268bd2">final</span> UserServiceFeign userServiceFeign; |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> <span style="color:#268bd2">UserController</span>(RestTemplate restTemplate, |
| </span></span><span style="display:flex;"><span> UserServiceFeign userServiceFeign) { |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">this</span>.restTemplate <span style="color:#719e07">=</span> restTemplate; |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">this</span>.userServiceFeign <span style="color:#719e07">=</span> userServiceFeign; |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">@RequestMapping</span>(<span style="color:#2aa198">&#34;/rest/test1&#34;</span>) |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> String <span style="color:#268bd2">doRestAliveUsingEurekaAndRibbon</span>() { |
| </span></span><span style="display:flex;"><span> String url <span style="color:#719e07">=</span> <span style="color:#2aa198">&#34;http://dubbo-provider-for-spring-cloud/users/list&#34;</span>; |
| </span></span><span style="display:flex;"><span> System.out.println(<span style="color:#2aa198">&#34;url: &#34;</span> <span style="color:#719e07">+</span> url); |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">return</span> restTemplate.getForObject(url, String.class); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">@RequestMapping</span>(<span style="color:#2aa198">&#34;/rest/test2&#34;</span>) |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> List<span style="color:#719e07">&lt;</span>User<span style="color:#719e07">&gt;</span> <span style="color:#268bd2">doRestAliveUsingFeign</span>() { |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">return</span> userServiceFeign.getUsers(); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><p>根据以上 Controller 定义，我们可以分别访问以下地址进行验证：</p> |
| <ul> |
| <li>OpenFeign 方式：<code>http://localhost:8099/dubbo/rest/test1</code>、</li> |
| <li>RestTemplate 方式：<code>http://localhost:8099/dubbo/rest/test1</code></li> |
| </ul> |
| <h3 id="为-dubbo-server-发布更多的服务">为 Dubbo Server 发布更多的服务</h3> |
| <p>我们可以利用 Dubbo 的多协议发布机制，为一些服务配置多协议发布。接下来，我们就为上面提到的 Dubbo server 服务增加 dubbo tcp 协议发布，从而达到以下部署效果，让这个 Dubbo 应用同时服务 Dubbo 微服务体系和 Spring Cloud 微服务体系。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/9/springcloud/img_7.png" alt="dubbo-multiple-protocols.png"></p> |
| <p>为了实现这个效果，我们只需要在配置中增加多协议配置即可：</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-yaml" data-lang="yaml"><span style="display:flex;"><span><span style="color:#268bd2">dubbo</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">protocols</span>: |
| </span></span><span style="display:flex;"><span> - <span style="color:#268bd2">id</span>: rest |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">name</span>: rest |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">port</span>: <span style="color:#2aa198">8090</span> |
| </span></span><span style="display:flex;"><span> - <span style="color:#268bd2">id</span>: dubbo |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">name</span>: dubbo |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">port</span>: <span style="color:#2aa198">20880</span> |
| </span></span></code></pre></div><p>同时，服务注解中也配置为多协议发布</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#268bd2">@DubboService</span>(protocol<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;rest,dubbo&#34;</span>) |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">public</span> <span style="color:#268bd2">class</span> <span style="color:#268bd2">UserServiceImpl</span> <span style="color:#268bd2">implements</span> UserService {} |
| </span></span></code></pre></div><p>这样，我们就成功的将 UserService 服务以 dubbo 和 rest 两种协议发布了出去（多端口多协议的方式），dubbo 协议为 Dubbo 体系服务，rest 协议为 Spring Cloud 体系服务。</p> |
| <blockquote> |
| <p>**注意：**Dubbo 为多协议发布提供了单端口、多端口两种方式，这样的灵活性对于不同部署环境下的服务会有比较大的帮助。在确定您需要的多协议发布方式前，请提仔细阅读以下 <a href="https://dubbo.apache.org/zh-cn/overview/mannual/java-sdk/advanced-features-and-usage/service/multi-protocols">多协议配置</a> 文档。</p> |
| </blockquote> |
| <h2 id="总结">总结</h2> |
| <p>基于 Dubbo 的 rest 编程范式、多协议发布等特性，可以帮助你轻松的实现从 Dubbo 到 Spring Cloud 或者从 Spring Cloud 到 Dubbo 的平滑迁移（无改造成本），同时也可以实现 Dubbo 与 Spring Cloud 两套体系的共存。</p></description></item><item><title>Blog: 政采云基于Dubbo的混合云数据跨网实践</title><link>https://dubbo.apache.org/zh-cn/blog/2023/10/07/%E6%94%BF%E9%87%87%E4%BA%91%E5%9F%BA%E4%BA%8Edubbo%E7%9A%84%E6%B7%B7%E5%90%88%E4%BA%91%E6%95%B0%E6%8D%AE%E8%B7%A8%E7%BD%91%E5%AE%9E%E8%B7%B5/</link><pubDate>Sat, 07 Oct 2023 00:00:00 +0000</pubDate><guid>https://dubbo.apache.org/zh-cn/blog/2023/10/07/%E6%94%BF%E9%87%87%E4%BA%91%E5%9F%BA%E4%BA%8Edubbo%E7%9A%84%E6%B7%B7%E5%90%88%E4%BA%91%E6%95%B0%E6%8D%AE%E8%B7%A8%E7%BD%91%E5%AE%9E%E8%B7%B5/</guid><description> |
| <p>摘要：本文整理自政采云资深开发工程师王晓彬的分享。本篇内容主要分为四个部分：</p> |
| <ul> |
| <li>一、项目背景</li> |
| <li>二、为什么叫高速公路</li> |
| <li>三、修路实践</li> |
| <li>四、未来规划</li> |
| </ul> |
| <h2 id="一项目背景">一、项目背景</h2> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/zhengcaiyun/img.png" alt="dubbo企业实践-政采云"></p> |
| <p>我们有一个云岛业务叫政采云，它是政府的购物网站，类似于淘宝。政府采购会在政采云上做企业采购、政府采购的业务。</p> |
| <p>云岛中的&quot;云&quot;是指我们的云平台，云平台是我们公司自己部署的一套购物网站，它对应的是一套微服务框架。而&quot;岛&quot;是指，比如安徽或者山西它们都有自己的局域网，如果我们在它们那里也部署一套这个框架，就叫&quot;岛&quot;。我们的云主要是给浙江省和相关的区划用的。</p> |
| <p>我们的云和岛之间存在数据传输的问题，举个例子，比如我现在收到一个政府的公告，而这个公告肯定是全国性的。所以我可能会在云平台的管理平台上去录公告，再把它推送出去，这个时候云和岛之间就存在了一些数据的跨网。</p> |
| <ol> |
| <li>云岛网络</li> |
| </ol> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/zhengcaiyun/img_1.png" alt="dubbo企业实践-政采云"></p> |
| <p>对我们云平台来说，这个局域网是我们公司内部完全可控的。比如你要开个端口，很快就能开起来。导端它可能是局域网或者是私有网络，比如我们之前做了一个浙商银行的项目，它是完全隔离的一个岛。他们的安全策略和开端口的东西都是他们自己定义的，这就是我们云岛的业务结构。</p> |
| <ol start="2"> |
| <li>混合云岛网络</li> |
| </ol> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/zhengcaiyun/img_2.png" alt="dubbo企业实践-政采云"></p> |
| <p>上图是大概的数据链路图。云平台下面有分支机构、分公司，它们会对应一套业务的系统。政务云是我刚才说的省级（安徽省）或者市级（无锡市）对应的区块，隔离的政务云。私有部署是银行、国企、军队、政企等典型的混合云的网络架构。</p> |
| <ol start="3"> |
| <li>混合云岛网络的特点</li> |
| </ol> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/zhengcaiyun/img_3.png" alt="dubbo企业实践-政采云"></p> |
| <p>我们混合云网络架构的特点包括：</p> |
| <ul> |
| <li>平台的一致性。我们部署在公有云、云平台、政务云、私有云上的那一套的代码是一样的。我们把一套代码部署在不同的地方就变成了多个平台。</li> |
| <li>网络连接与能力复用。我们会依赖一些第三方的能力，比如短信，但私有云上它的网络管控比较严，所以和第三方互通端口或者网络的流程就会比较复杂。这个时候我们希望去复用我们云平台的能力，这个时候他们之间又有一些数据的交互。</li> |
| <li>跨域访问迁移。</li> |
| <li>统一的平台管理。像我刚才举的例子，如果要发公告，我们希望可以在一个平台上就可以管理起来。而不是浙江发一条，安徽发一条，那样维护的成本也会比较高。</li> |
| </ul> |
| <ol start="4"> |
| <li>政企网络痛点</li> |
| </ol> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/zhengcaiyun/img_4.png" alt="dubbo企业实践-政采云"></p> |
| <p>很多公司都会和政府打交道，政企网络有以下几个特点：</p> |
| <p>网络复杂。比如银行的网络，它们的安全性和内部的东西很复杂，流程的开通也比较多，需要你要经常去跑，跑完了之后发现有新的问题，又要去跑。</p> |
| <p>安全要求高。比如在开通端口的时候，我们需要去传数据，如果里面的那些序列化的协议不符合它们的规范，它们就会拿掉。这个时候给我们的业务其实是超时的，或者是那种通用的异常。而我们并不知道发生了什么，这就会带来未知的风险。</p> |
| <p>业务驱动运维。我们有了业务才会去部署，才会去做事情。我们就会多次、重复的投入，这就会导致人力、时间成本会比较高，私有部署的时候会更多。</p> |
| <ol start="5"> |
| <li>现有方案</li> |
| </ol> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/zhengcaiyun/img_5.png" alt="dubbo企业实践-政采云"></p> |
| <p>基于以上的痛点，我们做了两个方案。</p> |
| <p>第一个方案，基于Dubbo Filter的单向方案。这个方案的历史比较久一些，它有两个特点。</p> |
| <p>第一个特点，单向传输。它是从&quot;岛&quot;到&quot;云&quot;只有一个方向，它基于Dubbo Filter的原因是，我们公司内部的微服务都是通过Dubbo来调用的，所以我们是强依赖的来Dubbo的。所以做数据跨网的方案肯定会基于Dubbo的特性来做。</p> |
| <p>第二个特点，在本地部署业务的provider过滤器是运维上的负担。当导端需要把数据同步给云端的时候，也就是从岛端的业务Web传输到云端的业务provider。这个时候我必须在导端也部署一套业务的provider才可以。部署它的原因是它要拦截这个请求，然后把这个请求转发给部署在云平台的Dubbo网关。</p> |
| <p>但这个时候就会给我们带来负担。如果导端本来就有数据的入库就还好，因为provider本来就存在，但一些业务只是做跨网用的，没有本地的入库，那么这个时候业务的provider就是多余的了。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/zhengcaiyun/img_6.png" alt="dubbo企业实践-政采云"></p> |
| <p>第二个方案，网状点对点方案。因为岛和岛之间需要网络互通，所以就会单独开通这个点和你需要传输的点之间的端口。开通之后我们就可以调用了，调用的形式可以用Dubbo。</p> |
| <p>这个方案有一个很明显的缺陷，线特别多，所以点和点之间开通的复杂度也很高，对后面的扩展可能也非常不利。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/zhengcaiyun/img_7.png" alt="dubbo企业实践-政采云"></p> |
| <p>以上方案存在的问题包括单向传输、白名单开通成本高、平台维护成本高、公共功能的缺失。</p> |
| <p>基于以上的问题，我们做了一个新的方案，叫高速公路。</p> |
| <h2 id="二为什么叫高速公路">二、为什么叫高速公路</h2> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/zhengcaiyun/img_8.png" alt="dubbo企业实践-政采云"></p> |
| <p>为什么叫告诉公路呢？主要因为我们想要达到的效果是：</p> |
| <p>只建一次，可复用。比如北京到上海的高速公路，它只要够宽，一条就够了。如果你是从上海到北京或者从杭州到北京，是可以复用的，不用单独再修建一条。</p> |
| <p>隧道机制。因为高速公路修建的地方不一定都在平原，可能会在河、海、山等等附近。如果我们在高速公路下面搭建一条隧道，这个时候对于司机来说就是无感的。我们的目的是一样的，如果你觉得政企网络很复杂，那么我们就帮你把它屏蔽掉，这样你也是无感的了。</p> |
| <p>考虑传输性能。如果每个业务部门都自己搭建一套传输链路，那么传输性能只要能承载自己的业务就够了，因为不一定要给别人用，或者给别人用了也是小范围的。但如果搭建的是一条可复用的链路，就必须考虑传输的性能了。</p> |
| <h2 id="三修路实践">三、修路实践</h2> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/zhengcaiyun/img_9.png" alt="dubbo企业实践-政采云"></p> |
| <p>接下来介绍一下我们在修建高速公路的时候遇到的一些问题以及具体的做法。我们在客户端接入上遇到了以下问题：</p> |
| <p>第一个问题，强依赖Dubbo。</p> |
| <p>第二个问题，透明传输，不改变使用Dubbo的方式。也就是我不需要自己写一些注解代替Dubbo，或者写一些API调用Dubbo。因为写了之后，一些新人可能并不能理解或者不能习惯，也不知道里面有什么坑。所以我们用原始的Dubbo来做可能会对用户更加无感。</p> |
| <p>第三个问题，接入灵活，支持多种形态。虽然我们强依赖Dubbo必须支持Dubbo，但我们也需要支持其他的形式，比如HTTP。但在接入之前，我们需要考虑接入灵活性的问题。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/zhengcaiyun/img_10.png" alt="dubbo企业实践-政采云"></p> |
| <p>下面我们先介绍一下Dubbo的方式。Dubbo的客观接入主要有以下三种方式：</p> |
| <p>第一种，注解方式。使用@DubboReference提供的通用parameters参数，设置路由目标，可以达到方法粒度的路由。路由信息写在中间parameters那里，parameters是Dubbo给我们提供的通用参数的传递。</p> |
| <p>如果是正常的，我写了这个信息，Dubbo是不做任何处理的，因为这个东西对它来说没有含义。但因为你引入了高速公路的SDK，所以在你写了这个东西之后，我们就会去解析，拦截Dubbo的请求，把parameters里的参数抓起来做一些路由处理，这种形式其实没有改变Dubbo的使用方式。</p> |
| <p>第二种，配置中心指定。比如我们用的是阿波罗的配置中心，它完全可以把接入方式替换掉，parameters的信息在配置中心配置也可以，只要SDK可以支持就好。这种方式其实代码是完全侵入的，就是跟跨网之前和跨网之后没有任何区别。但最后发现我们的业务并不喜欢这种方式，首先因为阿波罗大家不喜欢用，其次不好理解。如果是一个新人看这个代码，他就会认为是在调本地的接口。</p> |
| <p>第三种，线程指定。当你在线程里指定了路由信息，下面再去调用的时候，这次调用就会走你的路由。如果再调用一次，它就会调回本地。因为基于线程的形式，在Dubbo的扩展里，它会在调用完成之后把线程信息清理掉。所以需要注意一下，如果你想多次调用，就需要写多次。如果不想写多次，你可以用上面这种方式，你只要在当前的been里，都是路由到上海。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/zhengcaiyun/img_11.png" alt="dubbo企业实践-政采云"></p> |
| <p>接下来介绍一下高速公路的架构，刚才介绍点对点的方式，它的缺点是开通白名单比较复杂。现在我们的高速公路架构是一个新型的架构，所以它开通白名单的复杂度会低一点。</p> |
| <p>如上图所示，比如最左边的节点是上海，最上边的节点是安徽，我想从安徽到上海，这个时候中心网关就需要开通一个白名单。开完之后，这条链路就可以直接过去了。可以看到一共就六条线，所以它的复杂度也就下来了。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/zhengcaiyun/img_12.png" alt="dubbo企业实践-政采云"></p> |
| <p>18:30上图是高速公路里最核心的架构图。</p> |
| <p>比如山西集群的APP1调APP2的时候，我想去调上海APP2，如果你什么都不做，它默认调的就是山西集群的APP2。如果你在APP调用的时候加了一些路由信息，放在山西集群APP1里的SDK就会把它的流量切走，切到山西集群的Dubbo网关。</p> |
| <p>之后Dubbo网关会通过HTTP的协议走统一网关，再通过HTTP的协议到上海集群的Dubbo网关。在这里会把路由信息拿到，包括调用的Service、方法、版本号、参数等等。然后通过泛化的形式调上海集群的APP1，最后返回，完成这次跨网的调用。</p> |
| <p>那么为什么要有Dubbo Proxy这个角色呢？为什么不直接从APP1切到统一网关？少一个步骤不好么？涉及到的原因有以下三点：</p> |
| <p>虽然这个图上只画了一个APP1，但实际上山西鸡群里的调用非常多。如果几百个应用都直接到统一网关，网关就需要建立很多的长链接，而统一网关的资源是有限的。</p> |
| <p>因为安全性的问题，可能每次调用都要走一下白名单来保证安全。这个时候如果加了一个Dubbo Proxy，就可以去收敛IP。岛内不用和Dubbo Proxy交互，因为它们是同一个环境，不用考虑安全的问题。当Dubbo Proxy请求到网关之后，因为网关和统一网关之间只有一条链接，所以IP是收敛的。</p> |
| <p>还有一个是功能的收敛，当后面要做升级的时候，如果更新SDK，就需要每个应用都升级，这就需要推动业务做升级，做起来会比较痛苦。所以我们希望把升级功能全放在一个应用里，对业务功能无感，连升级SDK都不需要。当然因为SDK就做了一件事情，就是切换路由，基本不需要更新。</p> |
| <p>所以对于业务来说，它也解放了。我把它理解成是一个功能上的收益。这个模式叫分布式运行时，在现在也比较流行。我们可以把它理解成Dapper，把一些比较麻烦的操作放到公共的服务里，留给业务的SDK是很纯粹的。</p> |
| <p>另外，为什么要用HTTP协议呢？它也并不是很高效的协议。而Dubbo协议中的Dubbo2其实也是比较惊艳的，除了一些模糊全部都是数据。这样的话其实我们后面是可以考虑把HTTP升级掉，让它的性能更快一点。</p> |
| <p>现在用HTTP协议的原因是，它是一个标准的协议，中间可能会通过很多设备，虽然我们这里只画了一个。HTTP协议是没有任何障碍的，如果用Dubbo协议，还需要一个个打通。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/zhengcaiyun/img_13.png" alt="dubbo企业实践-政采云"></p> |
| <p>为了实现这个架构，Dubbo本身并不能直接用。因为Dubbo没有提供跨网的特性，所以我们需要从Dubbo层面解决我们碰到的问题。</p> |
| <p>在动态IP切换方面，其实Dubbo是支持的，但因为这个特性比较新，所以也会出现一些问题。它的支持程度是部分支持，比如在最开始的时候Dubbo2不支持，Dubbo3支持。此外，还会有一些bug。</p> |
| <p>在404扩展方面，对于HTTP来说，你要调一个接口，但这个接口不存在，就会返回给前端一个404的报错。比如当我们把流量从APP1切到Dubbo Proxy的时候，Dubbo Proxy其实是Dubbo的一个应用，它引入了一个Dubbo的jar包，它是Dubbo的一个空应用。这个流量到Dubbo的网关后，它不能识别，它的功能是要把它转发出去。这个时候我们就需要加入这个扩展。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/zhengcaiyun/img_14.png" alt="dubbo企业实践-政采云"></p> |
| <p>下面介绍一下隧道的机制。隧道机制的作用是屏蔽网络的复杂性，屏蔽中间的协议转换，给用户一个统一、透明的调用方式。</p> |
| <p>中间的HTTP协议里面的body带了一个原始的bodv。倒装之后再把它拆包拆出来，再通过泛化去调。这个时候隧道是可以匹配掉这些差异的。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/zhengcaiyun/img_15.png" alt="dubbo企业实践-政采云"></p> |
| <p>另外，隧道机制对Dubbo协议的支持力度更高。比如APP1和本地的APP 3，最终调到APP2的时候，它看到了二进制流是一样的。因为我并没有去做什么，我只是把它分装起来，最后拆包。中间除了一点路由信息之外其他都一模一样。</p> |
| <p>这个机制的好处是，基本上Dubbo的所有特性都能支持。但也有一些个例，比如token和网络相关的机制。</p> |
| <h2 id="四未来规划">四、未来规划</h2> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/zhengcaiyun/img_16.png" alt="dubbo企业实践-政采云"></p> |
| <p>借用网络分层的架构对高速公路做了一些规划：</p> |
| <p>第一层，物理网络层打通。它其实跟我们关系不大，因为我理解的是开通端口，你开通了那么多事，可以总结一些经验或者方法论去加快这个事情。</p> |
| <p>第二层，通讯协议层加速。中间的HTTP协议转发，我们是可以加速的。比如Tripple协议也是基于HTTP2对网络设备进行了识别，然后把问题解决了。所以我们也可以考虑去调研，在通讯协议层去做优化。</p> |
| <p>第三层，语言层编译加速。GraalVM之前我们也调研过，而且也真正的去试过。虽然没有落地，但编译加速是可以的。特别是网关层，它的特点是流量大，但是每个流量又特别小，对语言本身的性能要求比较高。如果把它用Go来实现，其实也是一个比较好的加速。</p> |
| <p>第四层，框架层功能升级。中间件层我们也做了很多事情。</p> |
| <p>第五层，通用任务调度与编排。调用其实会经过很多节点，比如a到b到c到d到e，随着业务越来越复杂，我们可能会有更多的路由。比如a到c，c和d汇合起来再到d，未来也将会规划进去。</p> |
| <p>第六层: 定制任务调度与编排。</p> |
| <p>第七层: 监控 &amp; 告警 &amp; 可观测性。</p> |
| <p>第八层: 规范 &amp; 流程&amp; 安全。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-scripts/zhengcaiyun/img_17.png" alt="dubbo企业实践-政采云"></p> |
| <p>最后做一个总结。</p> |
| <p>为什么要做这个项目？之前的方案比较多，成本也比较高。所以我们需要有一个统一的方案考虑更多公共的测试把这个东西给推广起来。目前我们已经接入了非常多的应用，它已经成为了政法人员数据跨网的统一的标准方案。</p> |
| <p>我们要达到的效果，项目架构，未来规划刚才都介绍过了，就不再重复了。</p> |
| <p>重点说一下我们的开源与社区的合作。刚才的方案其实是我们公司内部使用的，也对Dubbo做了深度的定制。一般我们会选择私有版本进行开发，但因为想要开源，所以在最开始的时候，我们就和Dubbo社区沟通，看能不能在开源层实施掉。一方面社区可以帮我们review这些特性，做一些安全上的把控。另一方面我们也能把自己做的一些事情，特别是把公共的东西抽出来反馈给社区。</p></description></item><item><title>Blog: CoC Asia 2023 大会精彩回顾</title><link>https://dubbo.apache.org/zh-cn/blog/2023/08/25/coc-asia-2023-%E5%A4%A7%E4%BC%9A%E7%B2%BE%E5%BD%A9%E5%9B%9E%E9%A1%BE/</link><pubDate>Fri, 25 Aug 2023 00:00:00 +0000</pubDate><guid>https://dubbo.apache.org/zh-cn/blog/2023/08/25/coc-asia-2023-%E5%A4%A7%E4%BC%9A%E7%B2%BE%E5%BD%A9%E5%9B%9E%E9%A1%BE/</guid><description> |
| <p>以下包含本期演讲的完成文字稿内容与现场精彩瞬间，更多 ppt、视频录像可关注 &ldquo;apachedubbo&rdquo; 微信公众号获取。</p> |
| <ul> |
| <li><a href="https://dubbo.apache.org/zh-cn/blog/2023/10/07/%E5%9F%BA%E4%BA%8E-triple-%E5%AE%9E%E7%8E%B0-web-%E7%A7%BB%E5%8A%A8%E7%AB%AF%E5%90%8E%E7%AB%AF%E5%85%A8%E9%9D%A2%E6%89%93%E9%80%9A/">基于 Triple 协议实现 Web、移动端、后端微服务全面打通</a></li> |
| <li><a href="https://dubbo.apache.org/zh-cn/blog/2023/10/07/%E6%89%8B%E6%8A%8A%E6%89%8B%E6%95%99%E4%BD%A0%E9%83%A8%E7%BD%B2dubbo%E5%BA%94%E7%94%A8%E5%88%B0kubernetes-apache-dubbo-kubernetes-%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5/">手把手教你部署 Dubbo 应用到 Kubernetes - Apache Dubbo &amp; Kubernetes最佳实践</a></li> |
| <li><a href="https://dubbo.apache.org/zh-cn/blog/2023/10/07/apache-dubbo-%E4%BA%91%E5%8E%9F%E7%94%9F%E5%8F%AF%E8%A7%82%E6%B5%8B%E6%80%A7%E7%9A%84%E6%8E%A2%E7%B4%A2%E4%B8%8E%E5%AE%9E%E8%B7%B5/">Apache Dubbo 云原生可观测性的探索与实践</a></li> |
| <li><a href="https://dubbo.apache.org/zh-cn/blog/2023/10/07/opensergo-dubbo-%E5%BE%AE%E6%9C%8D%E5%8A%A1%E6%B2%BB%E7%90%86%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5/">Opensergo &amp; Dubbo 微服务治理最佳实践</a></li> |
| <li><a href="https://dubbo.apache.org/zh-cn/blog/2023/10/07/seata-%E5%BE%AE%E6%9C%8D%E5%8A%A1%E6%9E%B6%E6%9E%84%E4%B8%8B%E7%9A%84%E4%B8%80%E7%AB%99%E5%BC%8F%E5%88%86%E5%B8%83%E5%BC%8F%E4%BA%8B%E5%8A%A1%E8%A7%A3%E5%86%B3%E6%96%B9%E6%A1%88/">Seata 微服务架构下的一站式分布式事务解决方案</a></li> |
| <li><a href="https://dubbo.apache.org/zh-cn/blog/2023/10/07/%E5%90%AF%E5%8A%A8%E9%80%9F%E5%BA%A6%E6%8F%90%E5%8D%8710%E5%80%8Dapache-dubbo-%E9%9D%99%E6%80%81%E5%8C%96-graalvm-native-image-%E6%B7%B1%E5%BA%A6%E8%A7%A3%E6%9E%90/">启动速度提升 10 倍：Apache Dubbo-静态化 GraalVM Native Image 深度解析</a></li> |
| <li><a href="https://dubbo.apache.org/zh-cn/blog/2023/10/07/%E6%94%BF%E9%87%87%E4%BA%91%E5%9F%BA%E4%BA%8Edubbo%E7%9A%84%E6%B7%B7%E5%90%88%E4%BA%91%E6%95%B0%E6%8D%AE%E8%B7%A8%E7%BD%91%E5%AE%9E%E8%B7%B5/">政采云基于 Dubbo 的混合云数据跨网实践</a></li> |
| <li>工商银行分布式建设及转型实践</li> |
| </ul> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-summary/dubbo-members-justin.jpg" alt="dubbo-members-justin"></p> |
| <p>Apache Dubbo 社区骨干成员及 Apache Board Member, Justin Mclean 合影</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-summary/dubbo-members-apache-members.jpg" alt="dubbo-members-apache-members"></p> |
| <p>Apache Dubbo 社区骨干与 Apache Member 交流合影</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-summary/huazhongming.jpg" alt="huazhongming"></p> |
| <p>华钟明，Apache Dubbo PMC Member，杭州有赞科技有限公司中间件技术专家，《Apache Dubbo 静态化 GraalVM Native Image 解决方案与实践》</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-summary/songxiaosheng.jpg" alt="songxiaosheng"></p> |
| <p>宋小生，Apache Dubbo Committer，平安壹钱包中间件资深工程师，《Apache Dubbo 云原生可观测性探索与实践》</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-summary/chenyouwei.jpg" alt="chenyouwei"></p> |
| <p>陈有为，Apache Dubbo PMC Member，陌陌研发工程师，《基于 Triple 协议实现WEB、移动端、后端服务全面打通》</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-summary/jiangheqing.jpg" alt="jiangheqing"></p> |
| <p>江河清，Apache Dubbo PMC Member，阿里云研发工程师，《精进云原生 - Dubbo Kubernetes 最佳实践》</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-summary/wangxiaobin.jpg" alt="wangxiaobin"></p> |
| <p>王晓彬，Apache Dubbo Committer，政采云资深开发工程师，《政采云基于 Dubbo 的混合云跨网方案实践》</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-summary/hejiahuan.jpg" alt="hejiahuan"></p> |
| <p>何家欢，Sentinel Maintainer，阿里云研发工程师，《OPENSERGO &amp; DUBBO 微服务治理最佳实践》</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-summary/dingxingzhong.jpg" alt="dingxingzhong"></p> |
| <p>丁兴中，中国工商银行软件研发中心云计算实验室架构师，《工商银行分布式建设及转型实践》</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon-summary/jimin.jpg" alt="jimin"></p> |
| <p>季敏，Seata 开源项目创始人，阿里云分布式事务产品负责人，《SEATA：微服务架构下的一站式分布式事务解决方案》</p></description></item><item><title>Blog: Dubbo 微服务专题论坛 - 8月19日北京ApacheCon大会不见不散</title><link>https://dubbo.apache.org/zh-cn/blog/2023/08/07/dubbo-%E5%BE%AE%E6%9C%8D%E5%8A%A1%E4%B8%93%E9%A2%98%E8%AE%BA%E5%9D%9B-8%E6%9C%8819%E6%97%A5%E5%8C%97%E4%BA%ACapachecon%E5%A4%A7%E4%BC%9A%E4%B8%8D%E8%A7%81%E4%B8%8D%E6%95%A3/</link><pubDate>Mon, 07 Aug 2023 00:00:00 +0000</pubDate><guid>https://dubbo.apache.org/zh-cn/blog/2023/08/07/dubbo-%E5%BE%AE%E6%9C%8D%E5%8A%A1%E4%B8%93%E9%A2%98%E8%AE%BA%E5%9D%9B-8%E6%9C%8819%E6%97%A5%E5%8C%97%E4%BA%ACapachecon%E5%A4%A7%E4%BC%9A%E4%B8%8D%E8%A7%81%E4%B8%8D%E6%95%A3/</guid><description> |
| <p>Dubbo 微服务专题论坛将于8月19日下午在北京丽亭华苑酒店举行，作为本次 CommunityOverCode Asia 2023（原 ApacheCon Asia）大会上的重磅议题，我们将以 Apache Dubbo 为中心展开，给大家带来开源微服务技术方向发展、云原生微服务选型、企业实践分享等精彩内容！</p> |
| <p>打开 <a href="https://www.bagevent.com/event/cocasia-2023">官网购票链接</a>，输入 cocasia 优惠码可八折购票！</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/8/apachecon/apachecon-rpc-schedule.png" alt="apachecon-rpc-schedule"></p> |
| <p>作为 Apache 软件基金会（ASF）的官方全球系列大会，每年的 CommunityOverCode Asia 都吸引着来自全球各个层次的参与者、社区共同探索 &ldquo;明天的技术&rdquo;。8 月 18 日至 20 日，即将强势来袭的 CommunityOverCode Asia 2023 上，大家可以近距离感受来自 Apache 项目的最新发展和新兴创新。</p></description></item><item><title>Blog: GLCC x Apache Dubbo编程夏令营报名启动</title><link>https://dubbo.apache.org/zh-cn/blog/2023/07/05/glcc-x-apache-dubbo%E7%BC%96%E7%A8%8B%E5%A4%8F%E4%BB%A4%E8%90%A5%E6%8A%A5%E5%90%8D%E5%90%AF%E5%8A%A8/</link><pubDate>Wed, 05 Jul 2023 00:00:00 +0000</pubDate><guid>https://dubbo.apache.org/zh-cn/blog/2023/07/05/glcc-x-apache-dubbo%E7%BC%96%E7%A8%8B%E5%A4%8F%E4%BB%A4%E8%90%A5%E6%8A%A5%E5%90%8D%E5%90%AF%E5%8A%A8/</guid><description> |
| <h2 id="背景介绍">背景介绍</h2> |
| <p>GitLink编程夏令营（GLCC），是在CCF中国计算机学会指导下，由CCF开源发展委员会（CCF ODC）举办的面向全国高校学生的暑期编程活动。活动将覆盖近千所高校，并联合各大开源基金会、开源企业、开源社区、开源专家，旨在鼓励青年学生通过参加真实的开源软件开发，提升自身技术能力，为开源社区输送优秀人才。为青年学生提供开放友好的交流平台，希望进一步推动国内开源社区的繁荣发展。</p> |
| <h2 id="报名方式">报名方式</h2> |
| <p>此次报名仅限 GLCC “无奖金项目”。具体请在此查看 <strong><a href="https://www.gitlink.org.cn/glcc/freeproject" target="_blank">项目详情与报名方式</a></strong>。</p> |
| <p><strong>Apache Dubbo 项目报名截止日期：2023-07-30</strong></p> |
| <p>如有更多问题，请扫描官方公众号咨询：</p> |
| <p><img src="https://dubbo.apache.org/imgs/contacts/wechat-account.jpg" alt="wechat-account"></p></description></item><item><title>Blog: 走向 Native 化：Spring&Dubbo AOT 技术示例与原理讲解</title><link>https://dubbo.apache.org/zh-cn/blog/2023/06/28/%E8%B5%B0%E5%90%91-native-%E5%8C%96springdubbo-aot-%E6%8A%80%E6%9C%AF%E7%A4%BA%E4%BE%8B%E4%B8%8E%E5%8E%9F%E7%90%86%E8%AE%B2%E8%A7%A3/</link><pubDate>Wed, 28 Jun 2023 00:00:00 +0000</pubDate><guid>https://dubbo.apache.org/zh-cn/blog/2023/06/28/%E8%B5%B0%E5%90%91-native-%E5%8C%96springdubbo-aot-%E6%8A%80%E6%9C%AF%E7%A4%BA%E4%BE%8B%E4%B8%8E%E5%8E%9F%E7%90%86%E8%AE%B2%E8%A7%A3/</guid><description> |
| <p>Java 应用在云计算时代面临“冷启动”慢、内存占用高、预热时间长等问题，无法很好的适应 Serverless 等云上部署模式，GraalVM 通过静态编译、打包等技术在很大程度上解决了这些问题，同时针对 GraalVM 的一些使用限制，Spring 和 Dubbo 等主流框架也都提供了相应的 AOT 解决方案。</p> |
| <p>本文我们将详细分析 Java 应用在云时代面临的挑战，GraalVM Native Image 是如何解决这些问题，GraalVM 的基本概念与工作原理，最后我们通过一个 Spring6 + Dubbo3 的微服务应用示例演示了如何将一个普通微服务应用进行静态化打包。</p> |
| <p>本文主要分为以下四个部分展开</p> |
| <ol> |
| <li>首先我们会先看一下在云计算快速发展的当下，云上应用应该具备的特点，Java 应用在云上所面临的挑战有哪些。</li> |
| <li>其次，我会介绍一下 GraalVM，什么是 Native Image，如何通过 GraalVM 对 Java 应用进行静态化打出 Native Image 可执行的二进制程序。</li> |
| <li>第三部分，我们知道 GraalVM 的使用是有一定限制的，比如 Java 的反射等动态特性是不被支持的，因此我们需要提供特殊的 Metadata 配置来绕过这些限制，在这一部分我们会讲解如何加入引入 AOT Processing 来实现自动化的 Metadata 配置，包括 Spring6 框架中 AOT 处理、Dubbo3 框架的 AOT 处理等。</li> |
| <li>最后，我们将通过一个 Spring6+Dubbo3 的应用示例，来演示如何将这么一个 Java 应用进行静态化打包。</li> |
| </ol> |
| <h2 id="java-应用在云时代所面临的挑战">Java 应用在云时代所面临的挑战</h2> |
| <p>首先，我们先看一下云计算时代的应用特点，以及 Java 在云时代所面临的挑战。从各个统计机构给出的数据来看，Java 语言仍然是当今最受开发者欢迎的编程语言之一，仅次于一些脚本开发语言。使用 Java 语言可以非常高效的开发业务应用，丰富的生态使得 Java 具有非常高的开发和运行效率，有无数的应用基于 Java 语言开发。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/6/graalvm/language-rank.png" alt="image.png"></p> |
| <p>但在来到云计算时代，Java 应用的部署和运行开始面临非常多的问题。我们以Serverless为例，Serverless是云上的一种越来越主流的部署模式，它让开发者更专注业务逻辑、通过快速弹性等帮助解决资源问题，根据最新的一些数据，Java在所有云计算厂商的 Serverless 运行时中所占比例并不高，远远不能和它在传统应用开发中所占的比例相匹配。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/6/graalvm/serverless-lang-rank.png" alt="image.png"></p> |
| <p>出现这样的原因，主要是Java应用不能很好的满足Serverless场景的几个关键要求。</p> |
| <ul> |
| <li><strong>首先是启动速度问题，Java 冷启动的耗时是比较长的</strong>。这对于Serverless需要快速弹起的场景是一个非常大的挑战，因为 Java 应用的拉起时间可能是秒、数十秒级别的；</li> |
| <li><strong>第二点，Java应用往往都需要一定的预热时间，才能达到最佳的性能状态</strong>，刚刚拉起的应用如果分配比较大的流量是不合适的，往往会出现请求超时、资源占用过高等问题，这就进一步拉长了 Java 应用的有效拉起时间；</li> |
| <li><strong>第三点是 Java 应用对运行环境的要求，它往往需要较大的内存、计算资源</strong>，而这些真正分配给业务自身的并不多，都消耗在一些JVM运行时上，这与用云降本提效的目标并不匹配；</li> |
| <li><strong>最后，Java应用打出来的包或者镜像也是非常大</strong>，从总体上也影响存储、拉取的效率。</li> |
| </ul> |
| <p>接下来，我们具体看一下针对 Java 应用所面临的这些问题， GraalVM 这样一种打包和运行时技术是如何解决的。</p> |
| <h2 id="graalvm-简介">GraalVM 简介</h2> |
| <blockquote> |
| <p>GraalVM compiles your Java applications ahead of time into standalone binaries that start instantly, provide peak performance with no warmup, and use fewer resources.</p> |
| </blockquote> |
| <p>引用官方介绍来看，GraalVM 为 Java 应用提供 AOT 编译和二进制打包能力，基于 GraalVM 打出的二进制包可以实现快速启动、具有超高性能、无需预热时间、同时需要非常少的资源消耗。这里所说的 AOT 是发生在编译期间的一个技术简称，即 Ahead-of-time，这一点我们后续会讲到。总的来说 GraalVM 可以分为两部分内容来看</p> |
| <ul> |
| <li>首先，<strong>GraalVM 是一个完整的 JDK 发行版本</strong>，从这一点它是与 OpenJDK 对等的，可以运行任何面向jvm的语言开发的应用；</li> |
| <li>其次，<strong>GraalVM提供了 Native Image 打包技术</strong>，这可以将应用打包为可以独立运行的二进制包，这个包是自包含的、可脱离 JVM 运行的应用程序。</li> |
| </ul> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/6/graalvm/graalvm-compilation.png" alt="image.png"></p> |
| <p>如上图所示，GraalVM 编译器提供了 JIT 和 AOT 两种模式。</p> |
| <ul> |
| <li>对于 JIT 而言，我们都知道Java类会被编译为 .class 格式的文件，这里编译后就是 jvm 识别的字节码，在 Java 应用运行的过程中，而 JIT 编译器又将一些热点路径上的字节码编译为机器码，已实现更快的执行速度；</li> |
| <li>对于 AOT 模式来说，它直接在编译期间就将字节码转换为机器码，直接省去了运行时对jvm的依赖，由于省去了 jvm 加载和字节码运行期预热的时间，AOT 编译和打包的程序具有非常高的运行时效率。</li> |
| </ul> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/6/graalvm/graalvm-compilation2.png" alt="image.png"></p> |
| <p>总的来说，JIT 使得应用可以具备更高的极限处理能力，可以降低请求的最大延迟这一关键指标；而 AOT 则可以进一步的提升应用的冷启动速度、具有更小的二进制包提及、在运行态需要更少的内存等资源。</p> |
| <h2 id="什么是-native-image">什么是 Native Image？</h2> |
| <p>我们上面多次提到 GraalVM 中 Native Image 概念，Native Image 是一项将 Java 代码编译打包为可执行二进制程序的技术，打出的包中仅包含运行期所需要的代码，包括应用自身代码、标准依赖包、 语言运行时、JDK 库关联的静态代码。这个包的运行不再需要 jvm 环境，当然它是和具体的机器环境相绑定的，需要为不同的机器环境单独打包。 Native Image 有这里列出来的一系列特点：</p> |
| <ul> |
| <li>仅包含 JVM 运行所需的一部分资源，运行成本更低</li> |
| <li>毫秒级的启动时间</li> |
| <li>启动后即进入最佳状态，无需预热</li> |
| <li>可打包为更轻量的二进制包，让部署速度更快更高效</li> |
| <li>安全程度更高</li> |
| </ul> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/6/graalvm/graalvm-advantages.png" alt="image.png"></p> |
| <p>总结起来就是这里的关键几项：更快的启动速度、更少的资源占用、更小的安全漏洞风险、更紧凑的二进制包体积。解决 Java 应用在 Sererless 等云计算应用场景中面临的突出问题。</p> |
| <h2 id="graalvm-native-image-的基本原理与使用">GraalVM Native Image 的基本原理与使用</h2> |
| <p>接下来，我们看一下 GraalVM 的基本使用方式，首先，需要安装 native-image 需要的相关基础依赖，根据不同的操作系统环境会有所差异，接下来可以使用 GraalVM JDK 下载器下载 native-image。都安装好之后，第二步，就可以使用 native-image 命令编译和打包 Java 应用了，输入可以是 class 文件、jar文件、Java模块等，最终打包为一个可独立运行的可执行文件，比如这里的 HelloWorld。另外，GraalVM 也提供了对应的 Maven和Gradle构建工具插件，让打包过程更容易。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/6/graalvm/graalvm-principal.png" alt="image.png"></p> |
| <p>GraalVM 基于叫做 “closed world assumption” 即封闭世界假设的概念，要求在编译期间程序的所有运行时资源和行为即能被完全确定下来。图中是具体的 AOT 编译和打包过程，左侧应用代码、仓库、jdk等全部作为输入，GraalVM以 main 为入口，扫描所有可触达的代码与执行路径，在处理过程中可能会涉及到一些前置初始化动作，最终 AOT 编译的机器码和一些初始化资源等状态数据，被打包为可执行的 Native 包。</p> |
| <p>相比于传统的 JVM 部署模式，GraalVM Native Image 模式带来的非常大的不同。</p> |
| <ul> |
| <li>GraalVM 在编译构建期间就会以 main 函数为入口，完成对应用代码的静态分析</li> |
| <li>在静态分析期间无法被触达的代码，将会被移除，不会包含在最终的二进制包中</li> |
| <li>GraalVM 无法识别代码中的一些动态调用行为，如反射、resource资源加载、序列化、动态代理等都动态行为都将受限</li> |
| <li>Classpath 在构建阶段就固化下来，无法修改</li> |
| <li>不再支持延迟的类加载，所有可用类和代码在程序启动阶段就确定了</li> |
| <li>还有一些其他的 Java 应用能力是受限使用的（比如类初始化提前等）</li> |
| </ul> |
| <p>GraalVM 不支持反射等动态特性，而我们的很多应用和框架中却大量使用了反射、动态代理等特性，如何才能将这些应用打包为 Native Image 实现静态化那？ GraalVM 提供了元数据配置入口，通过为所有动态特性提供配置文件，“closed world assumption” 模式还是成立的，可以让 GraalVM 在编译期知道所有的预期行为。这里给了两个例子：</p> |
| <ol> |
| <li>编码方式上，比如这里反射的编码方式，可以让 GraalVM 通过代码分析计算 Metadata</li> |
| </ol> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/6/graalvm/metadata-1.png" alt="image.png"></p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/6/graalvm/metadata-2.png" alt="image.png"></p> |
| <ol start="2"> |
| <li>另一个示例是提供额外的 json 配置文件并放在指定的目录 META-INF/native-image/&lt;group.id&gt;/&lt;artifact.id&gt; 下。</li> |
| </ol> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/6/graalvm/metadata-3.png" alt="image.png"></p> |
| <h2 id="aot-processing">AOT Processing</h2> |
| <p>Java 应用或框架中的反射等动态特性的使用是影响 GraalVM 使用的障碍，而大量的框架都存在这个限制，如果都要求应用或者开发者提供 Metadata 配置的话将会是一项非常有挑战的任务，因此，Spring 和 Dubbo 等框架都在 AOT Compilation 即 AOT 编译之前引入了 AOT Processing 即 AOT 预处理的过程，AOT Processing 用来完成自动化的 Metadata 采集，并将 Metadata 提供给 AOT 编译器使用。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/6/graalvm/aot.png" alt="image.png"></p> |
| <p>AOT 编译机制是对所有 Java 应用通用的，但相比于 AOT 编译，AOT Processing 采集 Metadata 的过程是每个框架都不同的，因为每个框架对于反射、动态代理等都有自己的用法。 |
| 我们以一个典型的 Spring + Dubbo 的微服务应用为例，要实现这个应用的静态化打包，这里涉及到 Spring、Dubbo 以及一众第三方依赖的 Metadata 处理过程。</p> |
| <ul> |
| <li>Spring - Spring AOT processing</li> |
| <li>Dubbo - Dubbo AOT processing</li> |
| <li>Third-party libraries - Reachability Metadata</li> |
| </ul> |
| <p>对于 Spring 来说，Spring6 中发布了 Spring AOT 机制，用来支持 Spring 应用的静态化预处理；Dubbo 最近也在 3.2 版本中发布了 Dubbo AOT 机制，让 Dubbo 相关组件可以自动化实现 Native 预处理；除了这两个与业务开发密切相关的框架，一个应用中往往还有大量的第三方依赖，这些依赖的 Metadata 也是影响静态化的关键，如果它们中有反射、类加载等行为，那么需要为它们提供 Metadata 配置，对于这些第三方应用目前有两个渠道，一个是 GraalVM 官方提供的共享空间，这里有相当一部分依赖的 Metadata 配置可供使用（https://github.com/oracle/graalvm-reachability-metadata），另一种方式则是要求组件官方发布的发布中包含 Metadata 配置，对于这两种情况 GraalVM 都可以做到对于 Metadata 的自动读取。</p> |
| <h3 id="spring-aot">Spring AOT</h3> |
| <p>接下来我们看一下 Spring AOT 做了哪些编译之前的预处理工作，Spring 框架中有非常多的动态特性，比如自动配置、条件 Bean 等特性。Spring AOT 就是针对针对这些动态特性，在构建阶段进行预处理，生成可供 GraalVM 使用的一系列 Metadata 输入，这里生成的内容包括：</p> |
| <ul> |
| <li>Spring Bean 定义相关的代码预生成，如下图展示代码段</li> |
| <li>在构建阶段生成动态代理相关代码</li> |
| <li>关于一些反射等使用的 JSON 元数据文件</li> |
| </ul> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/6/graalvm/spring-aot.png" alt="image.png"></p> |
| <h3 id="dubbo-aot">Dubbo AOT</h3> |
| <p>Dubbo AOT 做的事情与 Spring AOT 非常类似，只不过 Dubbo AOT 是专门针对 Dubbo 框架特有的使用方式进行预处理，这包括：</p> |
| <ul> |
| <li>SPI 扩展相关的源代码生成</li> |
| <li>一些反射使用的 JSON 配置文件生成</li> |
| <li>RPC 代理类代码生成</li> |
| </ul> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/6/graalvm/dubbo-aot-1.png" alt="image.png"></p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/6/graalvm/dubbo-aot-2.png" alt="image.png"></p> |
| <h2 id="spring6--dubbo3-示例演示">Spring6 + Dubbo3 示例演示</h2> |
| <p>接下来，我们通过一个 Spring6 + Dubbo3 的示例微服务应用，演示如何使用 Spring AOT、Dubbo AOT 等，来实现应用的 Native Image 打包。</p> |
| <p>完整的代码示例可在这里下载：<a href="https://github.com/apache/dubbo-samples/tree/master/1-basic/dubbo-samples-native-image">dubbo-samples-native-image</a></p> |
| <h3 id="第一步安装graalvm">第一步：安装GraalVM</h3> |
| <ol> |
| <li>在Graalvm官网根据自己的系统选取对应Graalvm版本：<a href="https://www.graalvm.org/downloads/">https://www.graalvm.org/downloads/</a></li> |
| <li>根据官方文档安装 native-image：<a href="https://www.graalvm.org/latest/reference-manual/native-image/#install-native-image">Getting Started with Native Image</a></li> |
| </ol> |
| <h3 id="第二步创建项目">第二步：创建项目</h3> |
| <p>这个示例应用就是普通的、常见的微服务应用，我们使用 SpringBoot3 进行应用配置开发，使用 Dubbo3 定义并发布 RPC 服务；应用构建工具使用 Maven。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/6/graalvm/demo-1.png" alt="image.png"></p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/6/graalvm/demo-2.png" alt="image.png"></p> |
| <h3 id="第三步配置-maven-插件">第三步：配置 Maven 插件</h3> |
| <p>重点是增加 spring-boot-maven-plugin、native-maven-plugin、dubbo-maven-plugin 三个插件配置，开启 AOT 处理过程，修改dubbo-maven-plugin中的mainClass为所需的启动类全路径。（其中API使用方式无需添加spring-boot-maven-plugin依赖。）</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-xml" data-lang="xml"><span style="display:flex;"><span> <span style="color:#268bd2">&lt;profiles&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;profile&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;id&gt;</span>native<span style="color:#268bd2">&lt;/id&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;build&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;plugins&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;plugin&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;artifactId&gt;</span>maven-compiler-plugin<span style="color:#268bd2">&lt;/artifactId&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;configuration&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;release&gt;</span>17<span style="color:#268bd2">&lt;/release&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;fork&gt;</span>true<span style="color:#268bd2">&lt;/fork&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;verbose&gt;</span>true<span style="color:#268bd2">&lt;/verbose&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;/configuration&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;/plugin&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;plugin&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;groupId&gt;</span>org.springframework.boot<span style="color:#268bd2">&lt;/groupId&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;artifactId&gt;</span>spring-boot-maven-plugin<span style="color:#268bd2">&lt;/artifactId&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;executions&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;execution&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;id&gt;</span>process-aot<span style="color:#268bd2">&lt;/id&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;goals&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;goal&gt;</span>process-aot<span style="color:#268bd2">&lt;/goal&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;/goals&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;/execution&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;/executions&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;/plugin&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;plugin&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;groupId&gt;</span>org.graalvm.buildtools<span style="color:#268bd2">&lt;/groupId&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;artifactId&gt;</span>native-maven-plugin<span style="color:#268bd2">&lt;/artifactId&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;version&gt;</span>0.9.20<span style="color:#268bd2">&lt;/version&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;configuration&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;classesDirectory&gt;</span>${project.build.outputDirectory}<span style="color:#268bd2">&lt;/classesDirectory&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;metadataRepository&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;enabled&gt;</span>true<span style="color:#268bd2">&lt;/enabled&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;/metadataRepository&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;requiredVersion&gt;</span>22.3<span style="color:#268bd2">&lt;/requiredVersion&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;/configuration&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;executions&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;execution&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;id&gt;</span>add-reachability-metadata<span style="color:#268bd2">&lt;/id&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;goals&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;goal&gt;</span>add-reachability-metadata<span style="color:#268bd2">&lt;/goal&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;/goals&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;/execution&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;/executions&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;/plugin&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;plugin&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;groupId&gt;</span>org.apache.dubbo<span style="color:#268bd2">&lt;/groupId&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;artifactId&gt;</span>dubbo-maven-plugin<span style="color:#268bd2">&lt;/artifactId&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;version&gt;</span>${dubbo.version}<span style="color:#268bd2">&lt;/version&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;configuration&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;mainClass&gt;</span>com.example.nativedemo.NativeDemoApplication<span style="color:#268bd2">&lt;/mainClass&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;/configuration&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;executions&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;execution&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;phase&gt;</span>process-sources<span style="color:#268bd2">&lt;/phase&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;goals&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;goal&gt;</span>dubbo-process-aot<span style="color:#268bd2">&lt;/goal&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;/goals&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;/execution&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;/executions&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;/plugin&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;/plugins&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;/build&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;/profile&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;/profiles&gt;</span> |
| </span></span></code></pre></div><h3 id="第四步在pom依赖中添加native相关的依赖">第四步：在Pom依赖中添加native相关的依赖</h3> |
| <p>另外，对于 Dubbo 而言，由于当前一些 Native 机制依赖 JDK17 等版本，Dubbo 没有将一些包默认打包到发行版本中，因此需要增加两个额外的依赖 dubbo-spring6 适配和 dubbo-native 组件。</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-xml" data-lang="xml"><span style="display:flex;"><span><span style="color:#268bd2">&lt;dependency&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;groupId&gt;</span>org.apache.dubbo<span style="color:#268bd2">&lt;/groupId&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;artifactId&gt;</span>dubbo-config-spring6<span style="color:#268bd2">&lt;/artifactId&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;version&gt;</span>${dubbo.version}<span style="color:#268bd2">&lt;/version&gt;</span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">&lt;/dependency&gt;</span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">&lt;dependency&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;groupId&gt;</span>org.apache.dubbo<span style="color:#268bd2">&lt;/groupId&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;artifactId&gt;</span>dubbo-native<span style="color:#268bd2">&lt;/artifactId&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;version&gt;</span>${dubbo.version}<span style="color:#268bd2">&lt;/version&gt;</span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">&lt;/dependency&gt;</span> |
| </span></span></code></pre></div><h3 id="第五步调整compilerproxyserialization和logger">第五步：调整compiler、proxy、serialization和logger</h3> |
| <p>同时，这个示例对于第三方组件的支持目前也是受限的，主要是第三方组件的 Reachability Metadata 。比如目前支持的网络通信或编码组件有 Netty 和 Fastjson2；支持的日志等组件为 Logback；微服务组件有 Nacos、Zookeeper 等。</p> |
| <ul> |
| <li>序列化方式目前支持的比较好的是Fastjson2</li> |
| <li>compiler、proxy目前只能选择jdk</li> |
| <li>logger目前需要配置slf4j，目前仅支持logback</li> |
| </ul> |
| <p>示例配置如下：</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-yaml" data-lang="yaml"><span style="display:flex;"><span><span style="color:#268bd2">dubbo</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">application</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">name</span>: ${spring.application.name} |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">logger</span>: slf4j |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">protocol</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">name</span>: dubbo |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">port</span>: -<span style="color:#2aa198">1</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">serialization</span>: fastjson2 |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">registry</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">id</span>: zk-registry |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">address</span>: zookeeper://127.0.0.1:2181 |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">config-center</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">address</span>: zookeeper://127.0.0.1:2181 |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">metadata-report</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">address</span>: zookeeper://127.0.0.1:2181 |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">provider</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">serialization</span>: fastjson2 |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">consumer</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">serialization</span>: fastjson2 |
| </span></span></code></pre></div><h3 id="第六步编译">第六步：编译</h3> |
| <p>在项目根路径下执行以下编译命令：</p> |
| <ul> |
| <li>API方式直接执行</li> |
| </ul> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-fallback" data-lang="fallback"><span style="display:flex;"><span> mvn clean install -P native -Dmaven.test.skip=true |
| </span></span></code></pre></div><ul> |
| <li>注解和xml方式（Springboot3集成的方式）</li> |
| </ul> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-shell" data-lang="shell"><span style="display:flex;"><span> mvn clean install -P native native:compile -Dmaven.test.skip<span style="color:#719e07">=</span><span style="color:#b58900">true</span> |
| </span></span></code></pre></div><h3 id="第七步执行二进制文件即可">第七步：执行二进制文件即可</h3> |
| <p>二进制文件在 target/ 目录下，一般以工程名称为二进制包的名称，比如 target/native-demo</p> |
| <h2 id="总结">总结</h2> |
| <p>GraalVM 技术为 Java 在云计算时代的应用带来了新的变革，帮助解决了 Java 应用启动慢、资源占用，但同时我们也看到了 GraalVM 的使用也存在一些限制，因此 Spring6、SpringBoot3、Dubbo3 都提供了相应的 Native 解决方案。 Apache Dubbo 社区接下来将在周边生态组件等推进整体的 Native 静态化。</p></description></item><item><title>Blog: [Google Paper] 面向云时代的应用开发新模式</title><link>https://dubbo.apache.org/zh-cn/blog/2023/05/26/google-paper-%E9%9D%A2%E5%90%91%E4%BA%91%E6%97%B6%E4%BB%A3%E7%9A%84%E5%BA%94%E7%94%A8%E5%BC%80%E5%8F%91%E6%96%B0%E6%A8%A1%E5%BC%8F/</link><pubDate>Fri, 26 May 2023 00:00:00 +0000</pubDate><guid>https://dubbo.apache.org/zh-cn/blog/2023/05/26/google-paper-%E9%9D%A2%E5%90%91%E4%BA%91%E6%97%B6%E4%BB%A3%E7%9A%84%E5%BA%94%E7%94%A8%E5%BC%80%E5%8F%91%E6%96%B0%E6%A8%A1%E5%BC%8F/</guid><description> |
| <blockquote> |
| <p>本文翻译自发表在以下地址的论文：https://serviceweaver.dev/assets/docs/hotos23_vision_paper.pdf</p> |
| </blockquote> |
| <blockquote> |
| <p>原文作者(Authors): Sanjay Ghemawat, Robert Grandl, Srdjan Petrovic, Michael Whittaker, Parveen Patel, Ivan Posva, Amin Vahdat</p> |
| <p>转载或发布请遵循原文许可： |
| Permission to make digital or hard copies of part or all of this work for |
| personal or classroom use is granted without fee provided that copies are |
| not made or distributed for profit or commercial advantage and that copies |
| bear this notice and the full citation on the first page. Copyrights for thirdparty components of this work must be honored. For all other uses, contact |
| the owner/author(s). |
| HOTOS ’23, June 22–24, 2023, Providence, RI, USA |
| © 2023 Copyright held by the owner/author(s). |
| ACM ISBN 979-8-4007-0195-5/23/06. |
| <a href="https://doi.org/10.1145/3593856.3595909">https://doi.org/10.1145/3593856.3595909</a></p> |
| </blockquote> |
| <h2 id="摘要">摘要</h2> |
| <p>在编写分布式应用程序时，传统的明智做法是将您的应用程序拆分为可以分别拉起的独立服务。这种方式的用意是好的，但像这样基于微服务的架构经常会适得其反，带来的挑战抵消了架构试图实现的好处。从根本上说，这是因为微服务将逻辑边界（代码的编写方式）与物理边界（代码的部署方式）混为一谈。在本文中，我们提出了一种不同的编程方法，将两者（代码编写与部署方式）分离以解决这些挑战。通过我们的方法，开发人员将他们的应用程序编写为逻辑上的单体，将有关如何分发和运行应用程序的决策放到一套自动化运行时 (runtime)，并以原子方式部署应用程序。与当前的微服务开发模式相比，我们的原型应用最多可减少延迟 15 倍、成本最多减少了 9 倍。</p> |
| <p>ACM 参考格式： |
| Sanjay Ghemawat, Robert Grandl, Srdjan Petrovic, Michael Whit-taker, Parveen Patel, Ivan Posva, Amin Vahdat. 2023. Towards Mod-ern Development of Cloud Applications. In Workshop on Hot Topics in Operating Systems (HOTOS ’23), June 22–24, 2023, Providence, RI, USA. ACM, New York, NY, USA, 8 pages. <a href="https://doi.org/10.1145/3593856.3595909">https://doi.org/10.1145/3593856.3595909</a></p> |
| <h2 id="1-介绍">1 介绍</h2> |
| <p>近年来，云计算出现了前所未有的增长。编写和部署可扩展到数百万用户的分布式应用程序从未如此简单，这在很大程度上归功于 Kubernetes [25] 等框架，[7, 18, 31, 33, 40, 60] 等消息传递解决方案，以及数据格式如 [5,6, 23, 30]。使用这些技术时，普遍的做法是手动将您的应用程序拆分为可以独立部署的独立微服务。 |
| 通过对各种基础设施团队的内部调查，我们发现大多数开发人员出于以下原因之一将他们的应用程序拆分为多个二进制包：(1) 提升性能。单独的二进制包可以独立扩展，从而提高资源利用率。 (2) 提升容错能力。一个微服务的崩溃不会导致其他微服务崩溃，从而限制了错误的传播范围。 (3) 改进抽象边界。微服务需要清晰明确的 API，并且代码纠缠的可能性会大大降低。 (4) 允许灵活的滚动发布。不同的二进制包可以以不同的速率发布，从而导致更敏捷的代码升级。 |
| 然而，将应用程序拆分为可独立部署的微服务并非没有挑战，其中一些直接与收益相矛盾。</p> |
| <ul> |
| <li>C1：影响性能。序列化数据并通过网络发送数据的开销越来越成为瓶颈 [72]。当开发人员过度拆分他们的应用程序时，这些开销也会增加 [55]。</li> |
| <li>C2：损害正确性。推断每个微服务的每个已部署版本之间的交互是极具挑战性的。在对八个广泛使用的系统的 100 多个灾难性故障进行的案例研究中，三分之二的故障是由系统的多个版本之间的交互引起的 [78]。</li> |
| <li>C3：很难管理。开发人员必须按照自己的发布计划管理不同的二进制包，而不是使用一个二进制文件来构建、测试和部署。如果在本地运行一个应用程序，同时需要执行端到端的集成测试，那可是一个不小的工程。</li> |
| <li>C4：API 冻结。一旦微服务建立了 API，就很难在不破坏使用该 API 的其他服务的情况下进行更改。遗留的 API 不得不长期存在，只能不停的在上面打补丁。</li> |
| <li>C5：降低应用程序的开发速度。当开发活动影响多个微服务的更改时，开发人员无法以原子方式实施和部署更改。</li> |
| </ul> |
| <p>开发人员必须仔细计划规划发布时间表，已决定在何时跨微服务引入更改。根据我们的经验，我们发现许多开发人员将上述挑战视为开展业务的必要部分，并且这个比例是压倒性的。许多云原生公司实际上正在开发旨在缓解上述一些挑战的内部框架和流程，但这不会从根本上改变或完全消除它们。例如，</p> |
| <p>持续部署框架 [12, 22, 37] 简化了单个二进制包的构建、推送到生产环境的方式，但它们没有解决版本控制问题；如果它有提供这个能力的话，情况可能会更糟，因为代码将以更快的速度被发布并投入生产。各种编程库 [13、27] 使创建和发现网络端点变得更加容易，但对简化应用程序管理没有任何帮助。像 gRPC [18] 这样的网络协议和像 Protocol Buffers [30]这样的数据格式在不断改进，但仍然占据了应用程序执行成本的主要部分。</p> |
| <p>这些基于微服务的解决方案无法解决上述 C1-C5 的原因有两个。第一个原因是他们都假设开发人员手动将他们的应用程序拆分为多个二进制包。这意味着应用程序的网络布局由应用程序开发人员预先确定。此外，一旦确定，网络布局就会通过将网络代码添加到应用程序中而变得更加坚固（例如，网络端点、客户端/服务器存根、网络优化数据结构，如 [30] ）。这意味着撤消或修改拆分变得更加困难，即使这样做是有意义的。这隐含地促成了上述挑战 C1、C2 和 C4。</p> |
| <p>第二个原因是假设应用程序二进制包是单独（在某些情况下是连续的）发布到生产环境中。这使得对跨二进制协议进行更改变得更加困难。此外，它还引入了版本控制问题并强制使用更低效的数据格式，如[23、30]。这反过来又会导致上面列出的挑战 C1-C5。</p> |
| <p>在本文中，我们提出了一种不同的编写和部署分布式应用程序的方法，一种解决 C1-C5 问题的方法。我们的编程方法包括三个核心原则：</p> |
| <ul> |
| <li>(1) 以模块化的方式编写逻辑上划分为多个组件的单体应用程序。</li> |
| <li>(2) 利用运行时根据执行特征动态自动地将逻辑组件分配给物理进程。</li> |
| <li>(3) 以原子方式部署应用程序，防止应用程序的不同版本交互。</li> |
| </ul> |
| <p>其他解决方案（例如 actor 系统）也尝试提高抽象度。但是，它们无法解决其中一项或多项挑战（第 7 节）。尽管这些挑战和我们的提案是在服务型应用 (serving application) 的背景下讨论的，但我们相信我们的观察和解决方案具有广泛的用途。</p> |
| <h2 id="2-提出的解决方案">2 提出的解决方案</h2> |
| <p>我们提案的两个主要部分是 (1) 具有抽象的编程模型（programing model），允许开发人员编写仅关注业务逻辑的单一二进制模块化应用程序，(2) 用于构建、部署和优化这些应用程序的运行时（runtime）。</p> |
| <p>编程模型使开发人员能够将分布式应用程序编写为单个程序，其中代码被拆分为称为组件的模块化单元（第 3 节）。这类似于将应用程序拆分为微服务，除了微服务将逻辑和物理边界混为一谈。相反，我们的解决方案将两者分离：组件以基于应用程序业务逻辑的逻辑边界为中心，而运行时以基于应用程序性能的物理边界为中心（例如，两个组件应位于同一位置以提高性能）。这种解耦——连同边界可以自动更改的事实——解决了 C4。</p> |
| <p>通过将所有执行责任委托给运行时，我们的解决方案能够提供与微服务相同的优势，但性能更高，成本更低（解决 C1）。例如，运行时决定如何运行、放置、复制和缩放组件（第 4 节）。由于应用程序是原子部署的，因此运行时可以鸟瞰应用程序的执行情况，从而实现进一步的优化。例如，运行时可以使用自定义序列化和传输协议，利用所有参与者都以相同版本执行的事实。</p> |
| <p>将应用程序编写为单个二进制文件并以原子方式部署它还可以更轻松地推断其正确性（解决 C2）并使应用程序更易于管理（解决 C3）。我们的提案为开发人员提供了一个编程模型，使他们能够专注于应用程序业务逻辑，将部署复杂性委托给运行时（解决 C5）。最后，我们的提案支持未来的创新，例如分布式应用程序的自动化测试（第 5 节）。</p> |
| <h2 id="3-编程模型">3 编程模型</h2> |
| <h3 id="31-组件">3.1 组件</h3> |
| <p>我们提案的关键抽象是组件 (component)。组件是一种长期存在的、可复制的计算代理，类似于 actor [2]。每个组件都实现一个接口（interface），与组件交互的唯一方法是调用其接口上的方法。组件可能由不同的操作系统进程托管（可能跨越多台机器）。组件方法调用在必要时变成远程过程调用，但如果调用者和被调用者组件在同一个进程中，则仍然是本地过程调用。</p> |
| <p>组件如 图-1 所示。示例应用程序包含三个组件：A、B 和 C。当部署应用程序时，运行时决定如何共同定位和复制组件。在此示例中，组件 A 和组件 B 位于同一个操作系统进程中，因此它们之间的方法调用作为常规方法调用执行。组件 C 不与任何其他组件位于同一位置，同时组件 C 被部署到了两台不同机器上，组件 C 之间的方法调用是通过跨网络 RPC 完成的。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/5/pic1-arch.png" alt="pic1-arch.png"></p> |
| <p>图-1：说明如何编写和部署组件。应用程序被编写为一组组件（左）并跨机器部署（右）。请注意，组件可以复制和放置在同一位置。</p> |
| <p>组件通常是长期存在的，但运行时可能会根据负载随时间增加或减少组件的副本数量。同样，组件副本可能会失败并重新启动。运行时还可以四处移动组件副本，例如，将两个交互非常多的组件放在同一个操作系统进程中，以便组件之间的通信在本地而不是通过网络完成。</p> |
| <h3 id="32--接口">3.2 接口</h3> |
| <p>为了具体起见，我们在 Go 中提供了一个组件 API，尽管我们的想法与语言无关。图-2 给出了一个“Hello, World!” 应用程序。组件接口表示为 Go 接口，组件实现表示为实现这些接口的 Go 结构。在图-2 中， <code>hello</code> 结构嵌入了 **Implements[ Hello] **结构来表示它是 <code>Hello</code> 组件的实现。</p> |
| <p>**Init **初始化应用程序。**Get[Hello] **将客户端返回给具有接口 <code>Hello</code> 的组件，必要时创建它。对 <code>hello.Greet</code> 的调用看起来像是常规方法调用，开发人员不需要关心任何序列化和远程过程调用相关内容。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/5/pic2-hello-world.png" alt="image.png"></p> |
| <p>图-2: “Hello, World!” 应用</p> |
| <h2 id="4---运行时">4 运行时</h2> |
| <h3 id="41--概述">4.1 概述</h3> |
| <p>在编程模型之下是一个负责分发（distributing）和执行（executing）组件的运行时。运行时做出关于如何运行组件的所有高级决策。例如，它决定将哪些组件放在一起并进行多副本部署。运行时还负责底层细节，例如将组件运行到物理资源以及在组件失败时重新启动组件。最后，运行时负责执行原子滚动更新，确保一个应用程序版本中的组件永远不会与不同版本中的组件进行通信。</p> |
| <p>有许多方法可以实现运行时。本文的目的不是规定任何特定的实现。不过，重要的是要认识到运行时并没有什么神奇魔法。在本节的其余部分，我们将概述运行时的关键部分并揭开其内部工作原理的神秘面纱。</p> |
| <h3 id="42---代码生成">4.2 代码生成</h3> |
| <p>运行时的首要职责是代码生成。通过检查一个项目中使用 **Implements[T] **的相关源码调用，代码生成器即可计算出所有组件接口和实现的集合。然后它生成代码来编码和解码组件方法的参数。它还生成代码以将这些方法作为远程过程调用来执行。生成的代码将与开发人员的代码一起编译成一个二进制文件。</p> |
| <h3 id="43---应用-运行时交互">4.3 应用-运行时交互</h3> |
| <p>根据我们的提案，应用程序不需要包含任何特定于其部署环境的代码，但由于它们最终必须运行并集成到特定环境中（例如在本地集群中跨机器或在公共云中跨区域运行)，为了支持这种集成，我们引入了一个 API（在表-1 中进行了部分概述），它将应用程序逻辑与部署环境的细节隔离开来。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/5/table1.png" alt="table1.png"></p> |
| <p>表-1：应用程序和运行时之间的示例 API。</p> |
| <p>API 的调用者是一个 <code>proclet</code>。每个应用程序二进制文件都会运行一个小型的、与环境无关的守护进程，称为 <code>proclet</code>，它在编译期间链接到二进制文件中。 proclet 管理正在运行的二进制文件中的组件:运行、启动、停止、在失败时重新启动这些组件等等。 |
| API 的实现者是运行时，它负责所有控制平面操作。运行时决定 <code>proclet</code> 应该如何运行以及在何处运行。例如，多进程运行时可以运行子进程中的每个 <code>proclet</code>； SSH 运行时可以通过 SSH 运行 <code>proclet</code>；云运行时可以将 <code>proclet</code> 作为 Kubernetes pod [25、28] 运行。</p> |
| <p>具体而言，<code>proclet</code> 通过 Unix Pipeline 与运行时交互。例如，当构造一个 <code>proclet</code> 时，它会通过管道发送一条 <code>RegisterReplica</code> 消息，以将自己标记为活动和就绪。它定期发出 <code>ComponentsToHost</code> 请求以了解它应该运行哪些组件。如果组件调用不同组件的方法，<code>proclet</code> 会发出 <code>StartComponent</code> 请求以确保它已启动。</p> |
| <p>运行时以对部署环境有意义的方式实现这些 API。我们希望大多数运行时实现包含以下两部分：</p> |
| <ul> |
| <li>(1) 一组通过 UNIX 管道与 proclet 直接通信的信封（Envelope）进程，以及</li> |
| <li>(2) 协调 proclet 执行的全局管理器（Global Manager）（参见图-3）。</li> |
| </ul> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/5/pic3-runtime.png" alt="image.png"></p> |
| <p>图-3：提案中的 Deployer 架构</p> |
| <p>信封（Envelope）作为 proclet 的父进程运行，并将 API 调用中继到管理器。管理器跨可用资源集（例如服务器、VM）启动信封和（间接）proclet。在应用程序的整个生命周期中，管理器与信封交互以收集运行组件的健康和负载信息；聚合组件导出的指标、日志和跟踪；并处理启动新组件的请求。管理器还发布特定于环境的 API（例如，谷歌云[16]、AWS [4]）更新流量分配并根据负载、健康状况和性能约束扩展和缩减组件。请注意，运行时实现控制平面（Golbal Manager）而不是数据平面，Proclet 直接相互通信。</p> |
| <h3 id="44---原子滚动更新rollout">4.4 原子滚动更新（Rollout）</h3> |
| <p>开发人员不可避免地必须发布其应用程序的新版本。一种广泛使用的方法是执行滚动更新，其中部署中的机器一台一台地从旧版本更新到新版本。在滚动更新期间，运行不同版本代码的机器必须相互通信，这可能会导致失败。 [78]表明大多数更新失败是由这些跨版本交互引起的。 |
| 为了解决这些复杂性，我们提出了一种不同的方法。运行时确保应用程序版本以原子方式推出，这意味着所有组件通信都发生在应用程序的单个版本中。运行时逐渐将流量从旧版本转移到新版本，但是一旦用户请求转发到特定版本，它就会完全在该版本内处理。原子部署的一种流行实现是使用蓝/绿部署[9]。</p> |
| <h2 id="5-启用创新">5 启用创新</h2> |
| <h3 id="51-传输transport放置placement和缩容scaling">5.1 传输（Transport）、放置（Placement）和缩容（Scaling）</h3> |
| <p>运行时可以鸟瞰应用程序执行，这为性能优化开辟了新途径。例如，我们的框架可以在组件之间构建一个细粒度的调用图，并用它来识别关键的路径路径、瓶颈组件、频繁交互型组件等。使用这些信息，运行时可以做出更智能的扩缩容、独立部署和组合部署决策。此外，由于序列化和传输机制对开发者透明（Code Generate 机制自动实现），运行时可以自由地优化它们。例如，对于网络瓶颈应用程序，运行时可能决定压缩网络上的消息，对于某些部署，传输可能会利用 RDMA [32] 等技术。</p> |
| <h3 id="52---路由routing">5.2 路由（Routing）</h3> |
| <p>当请求以亲和力（affinity）路由时，某些组件的性能会大大提高。例如，考虑由基于磁盘的底层存储系统支持的内存缓存组件。当对相同键的请求被路由到相同的缓存副本时，缓存命中率和整体性能会提高。 Slicer [44]表明，许多应用程序可以从这种基于亲和力的路由中受益，并且当路由嵌入到应用程序本身时，路由效率最高[43]。我们的编程框架可以自然地扩展为包含路由 API。运行时还可以了解哪些方法从路由中获益最多并自动路由它们。</p> |
| <h3 id="53--自动化测试automated-testing">5.3 自动化测试（Automated Testing）</h3> |
| <p>微服务架构被吹捧的好处之一是容错。这个想法是，如果应用中的一个服务组件失败，应用的部分功能可用性会降低，但整个应用仍然可用。这在理论上很棒，但在实践中它依赖于开发人员确保他们的应用对故障具有弹性，更重要的是，测试他们的故障处理逻辑是否正确。由于构建和运行不同的微服务、系统地失败和恢复它们以及检查正确行为的开销，测试尤其具有挑战性。结果，只有一小部分基于微服务的系统针对这种类型的容错进行了测试。根据我们的建议，运行端到端测试能带来的帮助是微不足道的。因为应用程序是用单一编程语言编写的单个二进制文件，所以端到端测试变成了简单的单元测试。这为自动化容错测试打开了大门，类似于混沌测试[47]、Jepsen 测试[14]和模型检查[62]。</p> |
| <h3 id="54--有状态应用滚动更新rollout">5.4 有状态应用滚动更新（Rollout）</h3> |
| <p>我们的建议确保一个应用程序版本中的组件永远不会与不同版本中的组件通信。这使开发人员更容易推理正确性。但是，如果应用程序更新持久存储系统（如数据库）中的状态，则应用程序的不同版本将通过它们读取和写入的数据间接影响彼此。这些跨版本交互是不可避免的——持久状态，根据定义，跨版本持续存在 —— 但一个悬而未决的问题是如何测试这些交互并及早发现错误以避免在推出期间出现灾难性故障。</p> |
| <h3 id="55--讨论">5.5 讨论</h3> |
| <p>请注意，本节讨论的领域中的创新并不是我们提案所独有的。对传输协议[63、64]、路由[44、65]、测试[45、75]、资源管理[57、67、71]、故障排除[54、56]等。然而，我们的编程模型的独特功能支持新的创新，并使现有的创新更容易实现实施。</p> |
| <p>例如，通过在我们的提议中利用原子部署，我们可以设计高效的序列化协议，可以安全地假设所有参与者都使用相同的模式。此外，我们的编程模型可以轻松地将路由逻辑直接嵌入到用户的应用程序中，从而提供一系列好处[43]。同样，我们的提案提供应用程序鸟瞰图的能力允许 |
| 研究人员专注于开发用于调整应用程序和降低部署成本的新解决方案。</p> |
| <h2 id="6--原型实现">6 原型实现</h2> |
| <p>我们的原型实现是用 Go [38]编写的，包括图2 中描述的组件 API、第4.2节中描述的代码生成器以及第 4.3 节中描述的 proclet 架构。该实现使用自定义序列化格式和直接构建在 TCP 之上的自定义传输协议。该原型还带有一个谷歌 Kubernetes 引擎 (GKE) 部署器，它通过渐进的蓝/绿部署实现多区域部署。它使用 Horizontal Pod Autoscalers [20]根据负载动态调整容器副本的数量，并遵循类似于图3中的架构。我们的实现可在github.com/ServiceWeaver 获得。</p> |
| <h3 id="61--评价">6.1 评价</h3> |
| <p>为了评估我们的原型，我们使用了一个流行的 Web 应用程序[41]，它代表了开发人员编写的各种微服务应用程序。该应用程序有 11 个微服务，并使用 gRPC [18]和 Kubernetes [25]部署在云端。该应用程序是用各种编程语言编写的，因此为了公平比较，我们将应用程序移植为完全用 Go 编写。然后我们将应用程序移植到我们的原型中，每个微服务都被重写为一个组件。我们使用 Locust [26]，一种工作负载生成器，在有和没有我们的原型的情况下对应用程序进行负载测试。</p> |
| <p>工作负载生成器向应用程序发送稳定速率的 HTTP 请求。两个应用程序版本都配置为自动缩放容器副本的数量以响应负载。我们测量了应用程序版本在稳定状态下使用的 CPU 内核数量，以及它们的端到端延迟。表-2 显示了我们的结果。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/5/table2.png" alt="table2.png"></p> |
| <p>表-2</p> |
| <p>我们原型的大部分性能优势来自它使用专为非版本化数据交换设计的自定义序列化格式，以及它使用直接构建在 TCP 之上的流线型传输协议。例如，使用的序列化格式不需要对字段编号或类型信息进行任何编码。这是因为所有编码器和解码器都以完全相同的版本运行，并且预先就字段集以及它们的编码和解码顺序达成一致。</p> |
| <p>为了与基线进行同类比较，我们没有将任何组件放在一起。当我们共同定位所有将 11 个组件集成到单个操作系统进程中，内核数量下降到 9，中值延迟下降到 0.38 毫秒，均比基线低一个数量级。这反映了行业经验[34、39]。</p> |
| <h2 id="7--相关工作">7 相关工作</h2> |
| <p>演员系统。最接近我们建议的解决方案是 Orleans [74]和 Akka [3]。这些框架还使用抽象来解耦应用程序和运行时。 Ray [70]是另一个基于角色的框架，但专注于 ML 应用程序。这些系统都不支持原子部署，而原子部署是完全应对 C2-C5 挑战的必要组成部分。其他流行的基于 actor 的框架，如 Er-lang [61]、E [52]、Thorn [48]和 C++ Actor Framework [10]，给开发人员带来了处理系统和有关部署和执行的低级细节的负担，因此它们未能分离应用程序和运行时之间的关注点，因此没有完全解决 C1-C5。 CORBA、DCOM 和 Java RMI 等分布式对象框架使用与我们类似的编程模型，但存在许多技术和组织问题[58]，并且也没有完全解决 C1-C5。</p> |
| <p>基于微服务的系统。 Kubernetes [25]广泛用于在云中部署基于容器的应用程序。但是，它的重点与我们的提案正交，不涉及 C1-C5 中的任何一个。 Docker Compose [15]、Acorn [1]、Helm [19]、Skaffold [35]和 Istio [21]抽象出了一些微服务挑战（例如，配置生成）。然而，与将应用程序拆分为微服务、版本化推出和测试相关的挑战仍然留给了用户。因此，它们不满足 C1-C5。</p> |
| <p>其他系统。还有许多其他解决方案可以让开发人员更轻松地编写分布式应用程序，包括数据流系统[51、59、77]、ML 推理服务系统[8、17、42、50、73]、无服务器解决方案[11, 24、36]、数据库[29、49]和 Web 应用程序[66]。最近，服务网格[46、69]提出了网络抽象以分解出常见的通信功能。我们的提案体现了这些相同的想法，但在通用服务系统和分布式应用程序的新领域中。在这种情况下，出现了新的挑战（例如，原子推出）。</p> |
| <h2 id="8-讨论">8 讨论</h2> |
| <h3 id="81-多个应用程序二进制文件">8.1 多个应用程序二进制文件</h3> |
| <p>我们认为应用程序应该作为单个二进制文件来编写和构建，但我们承认这可能并不总是可行的。例如，应用程序的大小可能超出单个团队的能力，或者不同的应用程序服务可能出于组织原因需要不同的发布周期。在所有这些情况下，应用程序可能需要包含多个二进制文件。</p> |
| <p>虽然本文没有解决需要使用多个二进制文件的情况，但我们相信我们的提议允许开发人员编写更少的二进制文件（即尽可能将多个服务分组为单个二进制文件），实现更好的性能，并推迟做出艰难的决定与如何划分应用程序有关。我们正在探索如何容纳以多种语言编写并编译成单独的二进制文件的应用程序。</p> |
| <h3 id="82-与外部服务集成">8.2 与外部服务集成</h3> |
| <p>应用程序通常需要与外部服务（例如，Postgres 数据库[29]）进行交互。我们的编程模型允许应用程序像任何应用程序一样与这些服务交互。什么都不是，一切都必须是一个组件。但是，当外部服务在应用程序内部和跨应用程序广泛使用时，定义相应的组件可能会提供更好的代码重用。</p> |
| <h3 id="83-分布式系统挑战">8.3 分布式系统挑战</h3> |
| <p>虽然我们的编程模型允许开发人员专注于他们的业务逻辑并推迟将他们的应用程序部署到运行时的大量复杂性，但我们的提议并没有解决分布式系统的基本挑战 [53, 68, 76]。应用程序开发人员仍然需要意识到组件可能会失败或经历高延迟。</p> |
| <h3 id="84-编程指导">8.4 编程指导</h3> |
| <p>没有关于如何编写分布式应用程序的官方指南，因此关于将应用程序编写为单体应用程序还是微服务是更好的选择，一直存在着长期而激烈的争论。但是，每种方法都有其优点和缺点。我们认为开发人员应该使用我们的建议将他们的应用程序编写为单个二进制文件，然后再决定他们是否真的需要迁移到基于微服务的架构。通过推迟决定如何准确地拆分成不同的微服务，它允许他们编写更少但更好的微服务。</p> |
| <h2 id="9--结论">9 结论</h2> |
| <p>编写分布式应用程序时的现状涉及将应用程序拆分为可独立部署的服务。这种架构有很多好处，但也有很多缺点。在本文中，我们提出了一种不同的编程范式来回避这些缺点。我们的提议鼓励开发人员 (1) 编写划分为逻辑组件的单体应用程序，(2) 将物理分布和执行模块化单体的挑战推迟到运行时，以及 (3) 原子部署应用程序。这三个指导原则带来了许多好处，并为未来的创新打开了大门。与现状相比，我们的原型实施将应用程序延迟最多减少了 15 倍，并将成本最多减少了 9 倍。</p> |
| <p>[1] Acorn. <a href="https://www.acorn.io/">https://www.acorn.io/.</a></p> |
| <p>[2] Actor model. <a href="https://en.wikipedia.org/wiki/Actor_model">https://en.wikipedia.org/wiki/Actor_model.</a></p> |
| <p>[3] Akka. <a href="https://akka.io">https://akka.io.</a></p> |
| <p>[4] Amazon Web Services. <a href="https://aws.amazon.com/">https://aws.amazon.com/.</a></p> |
| <p>[5] Apache avro. <a href="https://avro.apache.org/docs/1.2.0/">https://avro.apache.org/docs/1.2.0/.</a></p> |
| <p>[6] Apache thrift. <a href="https://thrift.apache.org/">https://thrift.apache.org/.</a></p> |
| <p>[7] AWS Cloud Map. <a href="https://aws.amazon.com/cloud-map/">https://aws.amazon.com/cloud-map/.</a></p> |
| <p>[8] Azure Machine Learning. <a href="https://docs.microsoft.com/en-us/azure/machine-learning">https://docs.microsoft.com/en-us/azure/</a><a href="https://docs.microsoft.com/en-us/azure/machine-learning">machine-learning.</a></p> |
| <p>[9] Blue/green deployments. <a href="https://tinyurl.com/3bk64ch2">https://tinyurl.com/3bk64ch2.</a></p> |
| <p>[10] The c++ actor framework. <a href="https://www.actor-framework.org/">https://www.actor-framework.org/.</a></p> |
| <p>[11] Cloudflare Workers. <a href="https://workers.cloudflare.com/">https://workers.cloudflare.com/.</a></p> |
| <p>[12] Continuous integration and delivery - circleci. <a href="https://circleci.com/">https://circleci.com/.</a></p> |
| <p>[13] Dapr - distributed application runtime. <a href="https://dapr.io/">https://dapr.io/.</a></p> |
| <p>[14] Distributed systems safety research. <code>https://jespen.io.</code></p> |
| <p>[15] Docker compose. <a href="https://docs.docker.com/compose/">https://docs.docker.com/compose/.</a></p> |
| <p>[16] Google Cloud. <a href="https://cloud.google.com/">https://cloud.google.com/.</a></p> |
| <p>[17] Google Cloud AI Platform. <a href="https://cloud.google.com/ai-platform">https://cloud.google.com/ai-platform.</a></p> |
| <p>[18] grpc. <a href="https://grpc.io/">https://grpc.io/.</a></p> |
| <p>[19] Helm. <a href="http://helm.sh">http://helm.sh.</a></p> |
| <p>[20] Horizontal Pod Autoscaling. <a href="https://kubernetes.io/docs/tasks/run-application/horizontal-pod-autoscale/">https://kubernetes.io/docs/tasks/run-</a><a href="https://kubernetes.io/docs/tasks/run-application/horizontal-pod-autoscale/">application/horizontal-pod-autoscale/.</a></p> |
| <p>[21] Istio. <a href="https://istio.io/">https://istio.io/.</a></p> |
| <p>[22] Jenkins. <a href="https://www.jenkins.io/">https://www.jenkins.io/.</a></p> |
| <p>[23] Json. <a href="https://www.json.org/json-en.html">https://www.json.org/json-en.html.</a></p> |
| <p>[24] Kalix. <a href="https://www.kalix.io/">https://www.kalix.io/.</a></p> |
| <p>[25] Kubernetes. <a href="https://kubernetes.io/">https://kubernetes.io/.</a></p> |
| <p>[26] Locust. <a href="https://locust.io/">https://locust.io/.</a></p> |
| <p>[27] Micro | powering the future of cloud. <a href="https://micro.dev/">https://micro.dev/.</a></p> |
| <p>[28] Pods. <a href="https://kubernetes.io/docs/concepts/workloads/pods/">https://kubernetes.io/docs/concepts/workloads/pods/.</a></p> |
| <p>[29] Postgresql. <a href="https://www.postgresql.org/">https://www.postgresql.org/.</a></p> |
| <p>[30] Protocol buffers. <a href="https://developers.google.com/protocol-buffers">https://developers.google.com/protocol-buffers.</a></p> |
| <p>[31] RabbitMQ. <a href="https://www.rabbitmq.com/">https://www.rabbitmq.com/.</a></p> |
| <p>[32] Remote direct memory access. <a href="https://en.wikipedia.org/wiki/Remote_direct_memory_access">https://en.wikipedia.org/wiki/Remote_</a><a href="https://en.wikipedia.org/wiki/Remote_direct_memory_access">direct_memory_access.</a></p> |
| <p>[33] REST API. <a href="https://restfulapi.net/">https://restfulapi.net/.</a></p> |
| <p>[34] Scaling up the Prime Video audio/video monitoring service and reduc-ing costs by 90%. <a href="https://tinyurl.com/yt6nxt63">https://tinyurl.com/yt6nxt63.</a></p> |
| <p>[35] Skaffold. <a href="https://skaffold.dev/">https://skaffold.dev/.</a></p> |
| <p>[36] Temporal. <a href="https://temporal.io/">https://temporal.io/.</a></p> |
| <p>[37] Terraform. <a href="https://www.terraform.io/">https://www.terraform.io/.</a></p> |
| <p>[38] The Go programming language. <a href="https://go.dev/">https://go.dev/.</a></p> |
| <p>[39] To Microservices and Back Again - Why Segment Went Back to a Monolith. <a href="https://tinyurl.com/5932ce5n">https://tinyurl.com/5932ce5n.</a></p> |
| <p>[40] WebSocket. <a href="https://en.wikipedia.org/wiki/WebSocket">https://en.wikipedia.org/wiki/WebSocket.</a></p> |
| <p>[41] Online boutique. <a href="https://github.com/GoogleCloudPlatform/microservices-demo">https://github.com/GoogleCloudPlatform/</a><a href="https://github.com/GoogleCloudPlatform/microservices-demo">microservices-demo,</a>2023.</p> |
| <p>[42] M. Abadi, P. Barham, J. Chen, Z. Chen, A. Davis, J. Dean, M. Devin, |
| S.Ghemawat, G. Irving, M. Isard, M. Kudlur, J. Levenberg, R. Monga, |
| S.Moore, D. G. Murray, B. Steiner, P. Tucker, V. Vasudevan, P. Warden, |
| M.Wicke, Y. Yu, and X. Zheng. Tensorflow: A system for large-scale machine learning. In OSDI, 2016.</p> |
| <p>[43] A. Adya, R. Grandl, D. Myers, and H. Qin. Fast key-value stores: An idea whose time has come and gone. In HotOS, 2019.</p> |
| <p>[44] A. Adya, D. Myers, J. Howell, J. Elson, C. Meek, V. Khemani, S. Fulger, |
| P.Gu, L. Bhuvanagiri, J. Hunter, R. Peon, L. Kai, A. Shraer, A. Merchant, and K. Lev-Ari. Slicer: Auto-sharding for datacenter applications. In OSDI, 2016.</p> |
| <p>[45] D. Ardelean, A. Diwan, and C. Erdman. Performance analysis of cloud applications. In NSDI, 2018.</p> |
| <p>[46] S. Ashok, P. B. Godfrey, and R. Mittal. Leveraging service meshes as a new network layer. In HotNets, 2021.</p> |
| <p>[47] A. Basiri, N. Behnam, R. De Rooij, L. Hochstein, L. Kosewski, J.Reynolds, and C. Rosenthal. Chaos engineering. In IEEE Software, 2016.</p> |
| <p>[48] B. Bloom, J. Field, N. Nystrom, J. Östlund, G. Richards, R. Strniša, J.Vitek, and T. Wrigstad. Thorn: Robust, concurrent, extensible script-ing on the jvm. In OOPSLA, 2009.</p> |
| <p>[49] J. C. Corbett, J. Dean, M. Epstein, A. Fikes, C. Frost, J. J. Furman, S. Ghe-mawat, A. Gubarev, C. Heiser, P. Hochschild, W. Hsieh, S. Kanthak, E.Kogan, H. Li, A. Lloyd, S. Melnik, D. Mwaura, D. Nagle, S. Quin-lan, R. Rao, L. Rolig, Y. Saito, M. Szymaniak, C. Taylor, R. Wang, and D.Woodford. Spanner: Google’s globally-distributed database. In OSDI, 2012.</p> |
| <p>[50] D. Crankshaw, X. Wang, G. Zhou, M. J. Franklin, J. E. Gonzalez, and I.Stoica. Clipper: A low-latency online prediction serving system. In NSDI, 2017.</p> |
| <p>[51] J. Dean and S. Ghemawat. Mapreduce: Simplified data processing on large clusters. In OSDI, 2004. |
| [52] J. Eker, J. Janneck, E. Lee, J. Liu, X. Liu, J. Ludvig, S. Neuendorffer, S.Sachs, and Y. Xiong. Taming heterogeneity - the ptolemy approach. In Proceedings of the IEEE, 2003.</p> |
| <p>[53] M. J. Fischer, N. A. Lynch, and M. S. Paterson. Impossibility of dis-tributed consensus with one faulty process. In ACM Journal, 1985.</p> |
| <p>[54] Y. Gan, M. Liang, S. Dev, D. Lo, and C. Delimitrou. Sage: Practical and Scalable ML-Driven Performance Debugging in Microservices. In ASPLOS, 2021.</p> |
| <p>[55] Y. Gan, Y. Zhang, D. Cheng, A. Shetty, P. Rathi, N. Katarki, A. Bruno, J.Hu, B. Ritchken, B. Jackson, et al. An open-source benchmark suite for microservices and their hardware-software implications for cloud &amp; edge systems. In ASPLOS, 2019.</p> |
| <p>[56] Y. Gan, Y. Zhang, K. Hu, Y. He, M. Pancholi, D. Cheng, and C. De-limitrou. Seer: Leveraging Big Data to Navigate the Complexity of Performance Debugging in Cloud Microservices. In ASPLOS, 2019.</p> |
| <p>[57] R. Grandl, G. Ananthanarayanan, S. Kandula, S. Rao, and A. Akella. Multi-resource packing for cluster schedulers. In SIGCOMM, 2014.</p> |
| <p>[58] M. Henning. The rise and fall of corba: There’s a lot we can learn from corba’s mistakes. In Queue, 2006.</p> |
| <p>[59] M. Isard, M. Budiu, Y. Yu, A. Birrell, and D. Fetterly. Dryad: Distributed data-parallel programs from sequential building blocks. In Eurosys, 2007.</p> |
| <p>[60] K. Jay, N. Neha, and R. Jun. Kafka : a distributed messaging system for log processing. In NetDB, 2011.</p> |
| <p>[61] A. Joe. Erlang. In Communications of the ACM, 2010.</p> |
| <p>[62] L. Lamport. The temporal logic of actions. In ACM TOPLS, 1994.</p> |
| <p>[63] A. Langley, A. Riddoch, A. Wilk, A. Vicente, C. Krasic, D. Zhang, F.Yang, F. Kouranov, I. Swett, J. Iyengar, J. Bailey, J. Dorfman, J. Roskind, J.Kulik, P. Westin, R. Tenneti, R. Shade, R. Hamilton, V. Vasiliev, W.-T. Chang, and Z. Shi. The quic transport protocol: Design and internet-scale deployment. In SIGCOMM, 2017.</p> |
| <p>[64] N. Lazarev, N. Adit, S. Xiang, Z. Zhang, and C. Delimitrou. Dagger: Towards Efficient RPCs in Cloud Microservices with Near-Memory Reconfigurable NICs. In ASPLOS, 2021.</p> |
| <p>[65] S. Lee, Z. Guo, O. Sunercan, J. Ying, T. Kooburat, S. Biswal, J. Chen, K.Huang, Y. Cheung, Y. Zhou, K. Veeraraghavan, B. Damani, P. M. Ruiz, V.Mehta, and C. Tang. Shard manager: A generic shard management framework for geo-distributed applications. In SOSP, 2021.</p> |
| <p>[66] B. Livshits and E. Kiciman. Doloto: Code splitting for network-bound web 2.0 applications. In FSE, 2008.</p> |
| <p>[67] S. Luo, H. Xu, C. Lu, K. Ye, G. Xu, L. Zhang, Y. Ding, J. He, and C. Xu. Characterizing microservice dependency and performance: Alibaba trace analysis. In SOCC, 2021.</p> |
| <p>[68] N. A. Lynch. Distributed algorithms. In Morgan Kaufmann Publishers Inc., 1996.</p> |
| <p>[69] S. McClure, S. Ratnasamy, D. Bansal, and J. Padhye. Rethinking net-working abstractions for cloud tenants. In HotOS, 2021.</p> |
| <p>[70] P. Moritz, R. Nishihara, S. Wang, A. Tumanov, R. Liaw, E. Liang, M. Eli-bol, Z. Yang, W. Paul, M. I. Jordan, and I. Stoica. Ray: A distributed framework for emerging ai applications. In OSDI, 2018.</p> |
| <p>[71] H. Qiu, S. S. Banerjee, S. Jha, Z. T. Kalbarczyk, and R. K. Iyer. FIRM: An intelligent fine-grained resource management framework for SLO-Oriented microservices. In OSDI, 2020.</p> |
| <p>[72] D. Raghavan, P. Levis, M. Zaharia, and I. Zhang. Breakfast of champi-ons: towards zero-copy serialization with nic scatter-gather. In HotOS, 2021.</p> |
| <p>[73] F. Romero, Q. Li, N. J. Yadwadkar, and C. Kozyrakis. Infaas: Automated model-less inference serving. In ATC, 2021.</p> |
| <p>[74] B. Sergey, G. Allan, K. Gabriel, L. James, P. Ravi, and T. Jorgen. Orleans: Cloud computing for everyong. In SOCC, 2011.</p> |
| <p>[75] M. Waseem, P. Liang, G. Márquez, and A. D. Salle. Testing microser-vices architecture-based applications: A systematic mapping study. In APSEC, 2020.</p> |
| <p>[76] Wikipedia contributors. Fallacies of distributed computing.</p> |
| <p>[77] M. Zaharia, M. Chowdhury, T. Das, A. Dave, J. Ma, M. McCauly, M. J. Franklin, S. Shenker, and I. Stoica. Resilient distributed datasets: A fault-tolerant abstraction for in-memory cluster computing. In NSDI, 2012.</p> |
| <p>[78] Y. Zhang, J. Yang, Z. Jin, U. Sethi, K. Rodrigues, S. Lu, and D. Yuan. Understanding and detecting software upgrade failures in distributed systems. In SOSP, 2021.</p></description></item><item><title>Blog: Apache Dubbo 开源之夏 2023，贡献社区赢取 12000 奖金</title><link>https://dubbo.apache.org/zh-cn/blog/2023/05/15/apache-dubbo-%E5%BC%80%E6%BA%90%E4%B9%8B%E5%A4%8F-2023%E8%B4%A1%E7%8C%AE%E7%A4%BE%E5%8C%BA%E8%B5%A2%E5%8F%96-12000-%E5%A5%96%E9%87%91/</link><pubDate>Mon, 15 May 2023 00:00:00 +0000</pubDate><guid>https://dubbo.apache.org/zh-cn/blog/2023/05/15/apache-dubbo-%E5%BC%80%E6%BA%90%E4%B9%8B%E5%A4%8F-2023%E8%B4%A1%E7%8C%AE%E7%A4%BE%E5%8C%BA%E8%B5%A2%E5%8F%96-12000-%E5%A5%96%E9%87%91/</guid><description> |
| <p>欢迎在校同学们参与Apache Dubbo开源之夏，社区导师手把手让<strong>你的代码被社会广泛复用，来赚取最高12000奖金，可</strong>推荐入职/实习你心意公司，<strong>又拿钱又成长又有价值</strong>，你还等什么呢？报名马上截止，快来参与Apache Dubbo开源之夏。</p> |
| <h2 id="ospp-开源之夏是什么">OSPP 开源之夏是什么？</h2> |
| <p>开源之夏是由“开源软件供应链点亮计划”发起并长期支持的一项暑期开源活动，旨在鼓励<strong>在校学生</strong>积极参与开源软件的开发维护，促进优秀开源软件社区的蓬勃发展，培养和发掘更多优秀的开发者。 |
| 活动联合国内外各大开源社区，针对重要开源软件的开发与维护提供项目任务，并面向全球高校学生开放报名。 |
| 学生可在本活动中自主选择感兴趣的项目任务进行申请，并在中选后获得该开源项目资深维护者（社区导师）亲自指导的机会，完成项目并贡献给社区后，参与学生还将获得开源之夏<strong>活动奖金</strong>和<strong>结项证书</strong>。</p> |
| <h1 id="apache-dubbo-项目简介">Apache Dubbo 项目简介</h1> |
| <p>Apache Dubbo 是国内最具影响力的开源软件项目之一，由阿里巴巴贡献开源，是支撑阿里双十一百万集群、万亿次服务调用的核心框架，目前 Dubbo 已捐献给享誉世界的 Apache 软件基金会 (ASF)。</p> |
| <h2 id="参与apache-dubbo开源之夏条件">参与Apache Dubbo开源之夏条件</h2> |
| <ul> |
| <li>本活动面向年满 18 周岁在校学生。</li> |
| <li>暑期即将毕业的学生，只要在申请时学生证处在有效期内，就可以提交申请。</li> |
| <li>海外学生可提供录取通知书、学生卡、在读证明等文件用于证明学生身份。</li> |
| </ul> |
| <h2 id="参与apache-dubbo开源之夏你能获得什么">参与Apache Dubbo开源之夏，你能获得什么？</h2> |
| <ol> |
| <li>**【你的代码被社会广泛复用】**你的代码可能会运行在上万家企业核心业务逻辑中，帮助企业解决问题。</li> |
| <li>**【赢得最高12000奖金】**奖金总额根据项目难度分为进阶 12000 元、基础 8000 元（注：奖金数额为税前人民币金额）</li> |
| <li>**【社区核心人员辅导快速成长】**只要你报名被选中，每个题目的导师会精心手把手教你融入社区，帮助你完成题目的设计以及最终的落地。</li> |
| <li>**【推荐入职/实习】**在本次编程之夏项目中表现优秀同学，可推荐入职/实习 你心意的公司工作。</li> |
| <li>**【额外获得社区礼包】**所有参与本次编程之夏项目的同学，均可获得Apache Dubbo社区大礼包。</li> |
| </ol> |
| <p><strong>百分百有奖品拿哦</strong>，现在唯一的问题是时间不多了，赶紧上车报名，截止报名时间是6月4日，6个核心题目，快点来报名参与Apache Dubbo编程之夏吧。</p> |
| <h2 id="课题报名方式">课题&amp;报名方式</h2> |
| <p>点开Apache Dubbo开源之夏的<a href="https://summer-ospp.ac.cn/org/orgdetail/ab188e59-fab8-468f-bc89-bdc2bd8b5e64?lang=zh">链接</a> 选择你喜欢的题目：</p> |
| <ul> |
| <li><a href="https://summer-ospp.ac.cn/org/prodetail/23a7f0282?list=org&amp;navpage=org">IDL 管理平台</a></li> |
| <li><a href="https://summer-ospp.ac.cn/org/prodetail/23a7f0286?list=org&amp;navpage=org">API 管理平台</a></li> |
| <li><a href="https://summer-ospp.ac.cn/org/prodetail/23a7f0284?list=org&amp;navpage=org">基于 Kubernetes 的集成测试体系建设</a></li> |
| <li><a href="https://summer-ospp.ac.cn/org/prodetail/23a7f0287?list=org&amp;navpage=org">服务 JSON 序列化兼容性校验</a></li> |
| <li><a href="https://summer-ospp.ac.cn/org/prodetail/23a7f0289?list=org&amp;navpage=org">将 Dubbo 工程结构重构为 Gradle 项目</a></li> |
| <li><a href="https://summer-ospp.ac.cn/org/prodetail/23a7f0292?list=org&amp;navpage=org">自动化性能测试方案</a></li> |
| <li><a href="https://summer-ospp.ac.cn/org/prodetail/23a7f0294?list=org&amp;navpage=org">移除对 jprotoc 的依赖</a></li> |
| <li><a href="https://summer-ospp.ac.cn/org/prodetail/23a7f0520?list=org&amp;navpage=org">Node.js HTTP/2 协议实现</a></li> |
| <li><a href="https://summer-ospp.ac.cn/org/prodetail/23a7f0553?list=org&amp;navpage=org">实现 Dubbo Rust 的路由模块</a></li> |
| </ul> |
| <p>具体流程请参考 <a href="https://summer-ospp.ac.cn/help/student/">学生指南</a>。</p> |
| <p>请注意找导师沟通截止流程时间，优先更导师沟通，能帮助你更好的了解题目。</p> |
| <p>为了方便大家报名，我们有以下咨询通道开放，如果对报名、题目、如何撰写 Proposal 有任何疑问，都可以前往咨询：</p> |
| <ol> |
| <li> |
| <p>扫码关注回复 &ldquo;Apache Dubbo&rdquo; 官网微信公众号，回复 “编程之夏” 加入微信沟通群</p> |
| <p><img src="https://intranetproxy.alipay.com/skylark/lark/0/2023/jpeg/54037/1684119089728-eae2eb7d-4098-430e-a69e-a3939265e22b.jpeg#clientId=ub09992a8-5524-4&amp;from=paste&amp;height=129&amp;id=u938740a9&amp;originHeight=258&amp;originWidth=258&amp;originalType=binary&amp;ratio=2&amp;rotation=0&amp;showTitle=false&amp;size=27895&amp;status=done&amp;style=none&amp;taskId=ud0f6af1b-fed8-4a07-aa5a-4e3f3bce229&amp;title=&amp;width=129" alt="qrcode_for_gh_a84d4cf4c871_258 (1).jpg"></p> |
| </li> |
| <li> |
| <p>钉钉群：22895027434（Dubbo 2023 编程之夏群），搜索并加入咨询问题</p> |
| </li> |
| <li> |
| <p>发送邮件到 Apache Dubbo 邮件组：dev@dubbo.apache.org</p> |
| </li> |
| </ol> |
| <h1 id="参考资料">参考资料</h1> |
| <ul> |
| <li>Apache Dubbo Github 仓库： |
| <ul> |
| <li><a href="http://github.com/apache/dubbo">Java</a></li> |
| <li><a href="http://github.com/apache/dubbo-go">Go</a></li> |
| <li><a href="http://github.com/apache/dubbo-js">Node.js</a></li> |
| <li><a href="http://github.com/apache/dubbo-rust">Rust</a></li> |
| <li><a href="http://github.com/apache/dubbo-admin">Admin</a></li> |
| <li><a href="http://github.com/dubbo/">更多生态</a></li> |
| </ul> |
| </li> |
| <li><a href="https://dubbo.apache.org/">Apache Dubbo 官网</a></li> |
| <li><a href="https://summer-ospp.ac.cn/org/orgdetail/a7f6e2ad-4acc-47f8-9471-4e54b9a166a6?lang=zh">开源之夏官网</a></li> |
| </ul> |
| <p>为了让同学们更好地了解Apache Dubbo，我们还在观望提供了电子书供大家阅读学习。</p> |
| <ul> |
| <li><a href="https://cn.dubbo.apache.org/zh-cn/contact/books/">Apache Dubbo 微服务开发从入门到精通</a></li> |
| <li><a href="https://cn.dubbo.apache.org/zh-cn/contact/books/">Apache Dubbo3 源码深度解析</a></li> |
| </ul> |
| <p>同时如果同学们对其他领域项目感兴趣，也可以尝试申请，例如：</p> |
| <ul> |
| <li>对于<strong>微服务注册发现和配置管理</strong>有兴趣的同学，可以尝试填报 <a href="https://summer-ospp.ac.cn/org/orgdetail/ab188e59-fab8-468f-bc89-bdc2bd8b5e64?lang=zh">Nacos 开源之夏</a>；</li> |
| <li>对于<strong>微服务分布式事务</strong>有兴趣的同学，可以尝试填报<a href="https://summer-ospp.ac.cn/org/orgdetail/064c15df-705c-483a-8fc8-02831370db14?lang=zh">Seata</a>开源之夏；</li> |
| <li>对于<strong>微服务框架和RPC框架</strong>有兴趣的同学，可以尝试填报<a href="https://summer-ospp.ac.cn/org/orgdetail/41d68399-ed48-4d6d-9d4d-3ff4128dc132?lang=zh">Spring Cloud Alibaba</a> 和 <a href="https://summer-ospp.ac.cn/org/orgdetail/a7f6e2ad-4acc-47f8-9471-4e54b9a166a6?lang=zh">Dubbo</a> 开源之夏；</li> |
| <li>对于<strong>云原生网关</strong>有兴趣的同学，可以尝试填报<a href="https://higress.io/zh-cn/blog/ospp-2023">Higress</a> 开源之夏；</li> |
| <li>对于<strong>分布式高可用防护</strong>有兴趣的同学，可以尝试填报<a href="https://summer-ospp.ac.cn/org/orgdetail/5e879522-bd90-4a8b-bf8b-b11aea48626b?lang=zh">Sentinel</a> 开源之夏；</li> |
| <li>对于<strong>微服务治理</strong>有兴趣的同学，可以尝试填报<a href="https://summer-ospp.ac.cn/org/orgdetail/aaff4eec-11b1-4375-997d-5eea8f51762b?lang=zh">OpenSergo</a> 开源之夏。</li> |
| </ul></description></item><item><title>Blog: 引言</title><link>https://dubbo.apache.org/zh-cn/blog/2023/04/28/%E5%BC%95%E8%A8%80/</link><pubDate>Fri, 28 Apr 2023 00:00:00 +0000</pubDate><guid>https://dubbo.apache.org/zh-cn/blog/2023/04/28/%E5%BC%95%E8%A8%80/</guid><description> |
| <h2 id="引言">引言</h2> |
| <p>服务指标统计体系是 Dubbo 可观测能力的重要组成部分。 |
| dubbo-metrics 指标模块旨在将 dubbo 内部零散的 Metrics 相关类综合到一个单独的模块中，提供一套更加完善、全面、可拓展、解耦合的指标采样-统计-导出解决方案。</p> |
| <p>dubbo-metrics 模块包括：</p> |
| <ul> |
| <li>dubbo-metrics-api 公用接口包</li> |
| <li>dubbo-metrics-prometheus 普罗米修斯适配包</li> |
| <li>dubbo-metrics-metadata 元数据中心指标监控包</li> |
| <li>dubbo-metrics-registry 注册中心指标监控包</li> |
| <li>dubbo-metrics-config-center 配置中心指标监控包</li> |
| <li>dubbo-metrics-default 接口默认实现包，提供dubbo内部核心指标的监控功能</li> |
| </ul> |
| <p>在设计上，dubbo-metrics 深入应用事件驱动编程思想，总体体现出下图的事件处理链路：</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/metrics-source-blog/metrics-event-struct.png" alt="metrics-event-struct"></p> |
| <p>在拓展上，dubbo-metrics 抽象了一套指标导出接口与抽象实现，可实现兼容多种指标统计监控中心，默认提供了普罗米修斯实现。</p></description></item><item><title>Blog: 1-指标样本的收集与存储</title><link>https://dubbo.apache.org/zh-cn/blog/2023/04/28/1-%E6%8C%87%E6%A0%87%E6%A0%B7%E6%9C%AC%E7%9A%84%E6%94%B6%E9%9B%86%E4%B8%8E%E5%AD%98%E5%82%A8/</link><pubDate>Fri, 28 Apr 2023 00:00:00 +0000</pubDate><guid>https://dubbo.apache.org/zh-cn/blog/2023/04/28/1-%E6%8C%87%E6%A0%87%E6%A0%B7%E6%9C%AC%E7%9A%84%E6%94%B6%E9%9B%86%E4%B8%8E%E5%AD%98%E5%82%A8/</guid><description> |
| <h2 id="一指标样本的收集与存储">一、指标样本的收集与存储</h2> |
| <h3 id="指标样本收集">指标样本收集</h3> |
| <p><strong>指标收集器（Collector）是指标对外导出的入口</strong>。最终导出到指标统计中心的指标采样实际均直接来源于各个指标采样器。因此，我们将从各个收集器实现开始，分析 dubbo-metrics 模块是如何工作的。</p> |
| <p>指标收集操作定义在 MetricsCollector （指标采集器，SPI）接口中，可以通过它的实现收集某一类的指标样本（MetricSample）。它主要有以下实现，对应着不同类型的指标：</p> |
| <ul> |
| <li>ConfigCenterMetricsCollector <strong>配置中心操作相关指标收集器</strong> ，收集配置信息的变化次数</li> |
| <li>MetadataMetricsCollector <strong>元数据中心操作相关指标收集器</strong>，收集提供者、消费者对元数据中心操作（推送数据、拉取数据）情况的计数、耗时统计。</li> |
| <li>RegistryMetricsCollector <strong>注册中心相关操作指标收集器</strong>，收集应用级、接口级服务注册成功、失败、耗时的相关计数。</li> |
| <li>DefaultMetricsCollector <strong>默认指标收集器</strong>，内置多种采样器来完成不同类型的内部指标采样。</li> |
| <li>HistogramMetricsCollector <strong>直方图指标收集器</strong>，利用 micrometer API 处理直方图类型的指标，它的实现较为特殊。</li> |
| </ul> |
| <p>配置中心 、元数据、服务注册及默认指标收集器均实现自混合指标收集器（CombMetricsCollector）。混合指标收集器实现了 ApplicationMetricsCollector 、ServiceMetricsCollector 、MethodMetricsCollector 三个接口（定义按应用名收集、按应用名-服务名收集和按应用-方法名收集指标的操作），因此它们可以进行应用、服务和方法三个层面的指标收集工作。</p> |
| <p>默认指标收集器的特点是通过内部的指标采样器（MetricsSampler）完成指标事件的处理操作，而不是其它收集器的指标监听器（MetricsListener）</p> |
| <p>直方图指标收集器则负责收集直方图类型的指标。它利用直方图度量寄存器（HistogramMetricRegister）借助 micrometer API 完成直方图样本的采集。直方图类型包括百分位数、服务水平目标、最小预期值、最大预期值、统计数据分布有效期等。</p> |
| <p><strong>Collector的继承关系：</strong></p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/metrics-source-blog/collectors.png" alt="collectors"></p> |
| <p>可以看出，每个指标收集器都具有来自 MetricsListener 的监听指标事件的能力。为什么指标收集器本身需要监听指标事件？ 在后文中，我们将讨论指标收集器是如何利用内置的子转发器（SubDispatcher）转发指标事件，并完成计数处理的。</p> |
| <h3 id="指标样本存储">指标样本存储</h3> |
| <p>前文中，我们了解了指标收集的入口是指标收集器（Collector）。那么各个收集器从哪里收集指标样本？</p> |
| <p><strong>对于配置中心、元数据中心、 注册中心的指标收集器：</strong></p> |
| <p>它们分别负责采集三大中心模块的指标，均继承于<strong>混合数据收集器（CombMetricsCollector）</strong>，而混合数据收集器中实现了 export 方法 。</p> |
| <p>混合数据收集器内部有一个<strong>基本数据聚合器（BaseStatComposite）</strong>，它实现了 MetricsExport 接口，该接口定义了指标导出操作，混合数据收集器则利用它的 export 方法导出指标。</p> |
| <p>基本数据聚合器是一个抽象类，内有三个属性：ApplicationStatComposite 、ServiceStatComposite 和 RtStatComposite 。它们的作用：</p> |
| <ul> |
| <li><strong>ApplicationStatComposite 应用数据聚合器</strong>，应用程序级别相关事件的计数 ，根据指标Key（ MetricsKey ）和应用名统计指标，提供计数递增操作</li> |
| <li><strong>ServiceStatComposite 服务数据聚合器</strong>，服务级别相关事件的计数，根据指标Key、应用名和服务名统计指标，提供计数递增操作</li> |
| <li><strong>MethodStatComposite 方法数据聚合器</strong>，方法级别相关事件的计数，存储各方法RPC调用相关计数。</li> |
| <li><strong>RtStatComposite，Rt（Response Time，响应时间）数据聚合器</strong>，包括应用级别和服务级别。根据应用名、服务名、注册的指标名及相应相应时间统计指标，提供添加操作。</li> |
| </ul> |
| <p>对于以上四个聚合器，他们的职责就是存储某一类型的采样样本。</p> |
| <p>** 基本数据聚合器 （BaseStatComposite）** 对这三个子聚合器的操作进行了简单整合，统一提供给外界。<strong>而混合指标收集器（CombMetricsCollector）</strong> 也基本保留了内部基本数据聚合器的所有操作，将其封装为 <code>increment</code>、<code>setNum</code>、<code>addRt </code>三个方法（及它们的重载，分别收集应用级数据和服务级数据）向上提供。外部组件可以直接调用这些收集器完成指标更新操作。</p> |
| <p><strong>当调用元数据中心指标收集器、注册中心指标收集器的 collect 方法时，最终会调用<code>BaseStatComposite.export(MetricsCategory category)</code> , 该方法会收集内部三个聚合器的指标并返回。</strong></p> |
| <p>需要注意的是， 配置中心指标收集器不依赖于基本数据聚合器 导出数据，它在创建时将基本数据聚合器置为null，而使用自己的 updatedMetrics 字段存储采样：</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#586e75">//ConfigCenterMetricsCollector</span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">private</span> <span style="color:#268bd2">final</span> Map<span style="color:#719e07">&lt;</span>ConfigCenterMetric, AtomicLong<span style="color:#719e07">&gt;</span> updatedMetrics <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> ConcurrentHashMap<span style="color:#719e07">&lt;&gt;</span>(); |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> <span style="color:#268bd2">ConfigCenterMetricsCollector</span>(ApplicationModel applicationModel) { |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">//BaseStatComposite = null</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">super</span>(<span style="color:#cb4b16">null</span>); |
| </span></span><span style="display:flex;"><span> ... |
| </span></span><span style="display:flex;"><span> } |
| </span></span></code></pre></div><p>混合指标收集器和数据聚合器之间呈现如下的包含关系：</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/metrics-source-blog/composite-struct.png" alt="composite-struct"></p> |
| <p><strong>DefaultMetricsCollector 默认指标采集器：</strong></p> |
| <p>它不直接存储采样数据，而是通过收集其下**指标采样器（MetricsSampler）**的样本来完成采样工作。这些采样器包括：</p> |
| <ul> |
| <li>方法采样器</li> |
| <li>应用采样器</li> |
| <li>线程池采样器</li> |
| </ul> |
| <p>这些采样器完成采样后，还会利用采集器中的**事件多播器（Multicaster）**将指标事件发布出去，可以被其它监听器处理。详细流程将在后文中探讨。</p> |
| <p><strong>HistogramMetricsCollector 直方图指标采集器：</strong></p> |
| <p>由于需要使用Timer完成直方图属性的统计，它使用自己的容器存储采样数据。</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#268bd2">public</span> <span style="color:#268bd2">class</span> <span style="color:#268bd2">HistogramMetricsCollector</span> <span style="color:#268bd2">implements</span> MetricsListener { |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">//方法指标样本与对应的Timer</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> <span style="color:#268bd2">final</span> ConcurrentHashMap<span style="color:#719e07">&lt;</span>MethodMetric, Timer<span style="color:#719e07">&gt;</span> rt <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> ConcurrentHashMap(); |
| </span></span><span style="display:flex;"><span> ... |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><p>Timer（计时器）由 micrometer API 提供，常用于统计一分钟内的大量事件。</p></description></item><item><title>Blog: 2-指标收集器的指标采集流程</title><link>https://dubbo.apache.org/zh-cn/blog/2023/04/28/2-%E6%8C%87%E6%A0%87%E6%94%B6%E9%9B%86%E5%99%A8%E7%9A%84%E6%8C%87%E6%A0%87%E9%87%87%E9%9B%86%E6%B5%81%E7%A8%8B/</link><pubDate>Fri, 28 Apr 2023 00:00:00 +0000</pubDate><guid>https://dubbo.apache.org/zh-cn/blog/2023/04/28/2-%E6%8C%87%E6%A0%87%E6%94%B6%E9%9B%86%E5%99%A8%E7%9A%84%E6%8C%87%E6%A0%87%E9%87%87%E9%9B%86%E6%B5%81%E7%A8%8B/</guid><description> |
| <h2 id="二指标收集器的指标采集流程">二、指标收集器的指标采集流程</h2> |
| <p>在前文中，我们了解了指标收集器（Collector）最终收集的数据只有三个来源：</p> |
| <ul> |
| <li> |
| <p>实现自混合指标收集器（CombMetricsCollector） 的元数据指标收集器（MetadataMetricsCollector）和注册中心指标收集器（RegistryMetricsCollector），它们的样本均存储在内置的基本数据聚合器中。具体来说，是基本数据聚合器下的四个子数据聚合器中：</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/metrics-source-blog/composite-struct.png" alt="composite-struct"></p> |
| </li> |
| <li> |
| <p><strong>DefaultMetricsCollector 默认指标收集器</strong>，它的样本不仅来自于指标事件，还来自其下**采样器（Sampler）**中，用于Dubbo核心模块的采样。</p> |
| </li> |
| <li> |
| <p><strong>HistogramMetricsCollector 直方图指标收集器</strong>，由于采样数据的特殊性，它的样本直接以 Map 存储在内部。</p> |
| </li> |
| </ul> |
| <p>接下来，我们需要明确它们存储的指标是如何添加进去的。</p> |
| <h3 id="1服务治理模块的指标采集流程">1，服务治理模块的指标采集流程</h3> |
| <p>通过之前的分析，我们知道服务治理模块的指标采集器均实现自混合指标收集器（CombMetricsCollector）。它对基本数据聚合器（BaseStatComposite） 的大部分方法做了封装。基本数据聚合器又封装了四个负责存储不同类型指标采样的子聚合器。</p> |
| <p>这四个子聚合器包括：</p> |
| <ul> |
| <li>ApplicationStatComposite</li> |
| <li>ServiceStatComposite</li> |
| <li>MethodStatComposite</li> |
| <li>RtStatComposite</li> |
| </ul> |
| <p>实际上，<strong>元数据、注册中心指标收集器</strong>更新、添加指标的操作都是通过混合指标收集器暴露的方法进行。而具体的，是通过 <code>setNum</code>、<code>increment</code>、<code>addRt</code> 这三个方法（及它们的重载）进行操作。</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#586e75">//CombMetricsCollector</span> |
| </span></span><span style="display:flex;"><span>... |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> <span style="color:#268bd2">final</span> BaseStatComposite stats; |
| </span></span><span style="display:flex;"><span>... |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">@Override</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">setNum</span>(MetricsKey metricsKey, String applicationName, String serviceKey, <span style="color:#dc322f">int</span> num) { |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">this</span>.stats.setServiceKey(metricsKey, applicationName, serviceKey, num); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">@Override</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">increment</span>(String applicationName, MetricsKey metricsKey) { |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">this</span>.stats.incrementApp(metricsKey, applicationName, SELF_INCREMENT_SIZE); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">increment</span>(String applicationName, String serviceKey, MetricsKey metricsKey, <span style="color:#dc322f">int</span> size) { |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">this</span>.stats.incrementServiceKey(metricsKey, applicationName, serviceKey, size); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">@Override</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">addRt</span>(String applicationName, String registryOpType, Long responseTime) { |
| </span></span><span style="display:flex;"><span> stats.calcApplicationRt(applicationName, registryOpType, responseTime); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">addRt</span>(String applicationName, String serviceKey, String registryOpType, Long responseTime) { |
| </span></span><span style="display:flex;"><span> stats.calcServiceKeyRt(applicationName, serviceKey, registryOpType, responseTime); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span>... |
| </span></span></code></pre></div><p>由于几个方法实际上的调用链路类似，我们选择从其中的 setNum 方法开始分析。</p> |
| <p>其在<strong>数据聚合器层面的调用链路</strong>可以总结为：setNum 方法调用基本数据聚合器的 setServiceKey 方法，该方法又会调用服务数据聚合器（ServiceStatComposite）的同名 setServiceKey 方法（我们已经知道基本数据聚合器内封装了四个不同类型的子聚合器），这个方法实质上是<strong>对应用层面的特定指标（由指标Key决定）进行注册并赋初始值（参数中的 num)。</strong></p> |
| <p>setNum 的用法均位于注册中心事件多播器（RegistryMetricsEventMulticaster）中声明的 MCat 接口中，在 APPLICATION_NOTIFY_FINISH 和 APPLICATION_DIRECTORY_POST 两个常量初始化时被调用。MCat 接口本身作为常量类使用，并在初始化时<strong>注册真正的指标常量</strong>：</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#586e75">//RegistryMetricsEventMulticaster.MCat</span> |
| </span></span><span style="display:flex;"><span>MetricsCat APPLICATION_NOTIFY_FINISH <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> MetricsCat(MetricsKey.NOTIFY_METRIC_NUM_LAST, |
| </span></span><span style="display:flex;"><span> (key, placeType, collector) <span style="color:#719e07">-&gt;</span> AbstractMetricsListener.onFinish(key, |
| </span></span><span style="display:flex;"><span> event <span style="color:#719e07">-&gt;</span> { |
| </span></span><span style="display:flex;"><span> collector.addRt(event.appName(), placeType.getType(), event.getTimePair().calc()); |
| </span></span><span style="display:flex;"><span> Map<span style="color:#719e07">&lt;</span>String, Integer<span style="color:#719e07">&gt;</span> lastNumMap <span style="color:#719e07">=</span> Collections.unmodifiableMap(event.getAttachmentValue(ATTACHMENT_KEY_LAST_NUM_MAP)); |
| </span></span><span style="display:flex;"><span> lastNumMap.forEach( |
| </span></span><span style="display:flex;"><span> (k, v) <span style="color:#719e07">-&gt;</span> collector.setNum(key, event.appName(), k, v)); |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> )); |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> MetricsCat APPLICATION_DIRECTORY_POST <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> MetricsCat(MetricsKey.DIRECTORY_METRIC_NUM_VALID, (key, placeType, collector) <span style="color:#719e07">-&gt;</span> AbstractMetricsListener.onEvent(key, |
| </span></span><span style="display:flex;"><span> event <span style="color:#719e07">-&gt;</span> |
| </span></span><span style="display:flex;"><span> { |
| </span></span><span style="display:flex;"><span> Map<span style="color:#719e07">&lt;</span>MetricsKey, Map<span style="color:#719e07">&lt;</span>String, Integer<span style="color:#719e07">&gt;&gt;</span> summaryMap <span style="color:#719e07">=</span> event.getAttachmentValue(ATTACHMENT_DIRECTORY_MAP); |
| </span></span><span style="display:flex;"><span> summaryMap.forEach((metricsKey, map) <span style="color:#719e07">-&gt;</span> |
| </span></span><span style="display:flex;"><span> map.forEach( |
| </span></span><span style="display:flex;"><span> (k, v) <span style="color:#719e07">-&gt;</span> collector.setNum(metricsKey, event.appName(), k, v))); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> )); |
| </span></span><span style="display:flex;"><span><span style="color:#586e75">//...</span> |
| </span></span></code></pre></div><p>此处声明的指标常量都是 MetricsCat 类型的。其中部分常量在创建时还传入了该指标的收集逻辑，如Key 为 NOTIFY_METRIC_NUM_LAST 的常量。以下为 MetricsCat 的定义：</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#268bd2">public</span> <span style="color:#268bd2">class</span> <span style="color:#268bd2">MetricsCat</span> { |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> MetricsPlaceType placeType; |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> <span style="color:#268bd2">final</span> Function<span style="color:#719e07">&lt;</span>CombMetricsCollector<span style="color:#719e07">&lt;</span>TimeCounterEvent<span style="color:#719e07">&gt;</span>, AbstractMetricsListener<span style="color:#719e07">&gt;</span> eventFunc; |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> <span style="color:#268bd2">MetricsCat</span>(MetricsKey metricsKey, BiFunction<span style="color:#719e07">&lt;</span>MetricsKey, CombMetricsCollector<span style="color:#719e07">&lt;</span>TimeCounterEvent<span style="color:#719e07">&gt;</span>, AbstractMetricsListener<span style="color:#719e07">&gt;</span> biFunc) { |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">this</span>.eventFunc <span style="color:#719e07">=</span> collector <span style="color:#719e07">-&gt;</span> biFunc.apply(metricsKey, collector); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> <span style="color:#268bd2">MetricsCat</span>(MetricsKey metricsKey, TpFunction<span style="color:#719e07">&lt;</span>MetricsKey, MetricsPlaceType, CombMetricsCollector<span style="color:#719e07">&lt;</span>TimeCounterEvent<span style="color:#719e07">&gt;</span>, AbstractMetricsListener<span style="color:#719e07">&gt;</span> tpFunc) { |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">this</span>.eventFunc <span style="color:#719e07">=</span> collector <span style="color:#719e07">-&gt;</span> tpFunc.apply(metricsKey, placeType, collector); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> MetricsCat <span style="color:#268bd2">setPlaceType</span>(MetricsPlaceType placeType) { |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">this</span>.placeType <span style="color:#719e07">=</span> placeType; |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">return</span> <span style="color:#719e07">this</span>; |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> Function<span style="color:#719e07">&lt;</span>CombMetricsCollector<span style="color:#719e07">&lt;</span>TimeCounterEvent<span style="color:#719e07">&gt;</span>, AbstractMetricsListener<span style="color:#719e07">&gt;</span> <span style="color:#268bd2">getEventFunc</span>() { |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">return</span> eventFunc; |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">//一个接受三个入参，一个返回值的函数接口。通过构造函数我们可以知道这三个入参分别是MetricsKey, MetricsPlaceType, CombMetricsCollector&lt;TimeCounterEvent&gt;，返回值为AbstractMetricsListener。</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">@FunctionalInterface</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> <span style="color:#268bd2">interface</span> <span style="color:#268bd2">TpFunction</span><span style="color:#719e07">&lt;</span>T, U, K, R<span style="color:#719e07">&gt;</span> { |
| </span></span><span style="display:flex;"><span> R <span style="color:#268bd2">apply</span>(T t, U u, K k); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><p>MetricsCat 类除了构造器，只提供了两个public方法，都是获取其内部属性的。</p> |
| <p>其实质上 eventFunc 字段的载体，提供了为特定指标生产监听器的逻辑，因此 <code>MetricsCat </code> 可以看做<strong>为特定指标生产指标监听器的工厂</strong>，用户在创建时传入这个监听器的处理逻辑。</p> |
| <p>通过泛型，我们可以知道它构造时使用的两个参数分别为 MetricsKey（指标Key）和一个接受 <code>MetricsKey, MetricsPlaceType, CombMetricsCollector&lt;TimeCounterEvent&gt;</code> 三个参数，返回一个 <code>AbstractMetricsListener</code> 的函数。之所以要多封装一层函数，是因为 <code>placeType</code> 字段在 <code>MetricsKey</code> 实例构造之后才会提供，借此实现延迟初始化。</p> |
| <p>回到之前两个<strong>在 MCat 中定义了监听器生产方法</strong>的两个常量的初始化流程：它们在创建 MetricsCat 时传入的TpFunction中定义的操作为：返回通过 AbstractMetricsListener.onFinish获取的事件完成监听器。当指定MetricsKey 的指标统计事件完成时，这个监听器中的 onEventFinish 方法就会被调用。 而 MetricsCat 构造时传入的 MetricsKey 会被作为 AbstractMetricsListener 的构造参数，用于指定监听的指标。</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#586e75">//RegistryMetricsEventMulticaster.MCat</span> |
| </span></span><span style="display:flex;"><span><span style="color:#719e07">new</span> MetricsCat(MetricsKey.NOTIFY_METRIC_NUM_LAST, |
| </span></span><span style="display:flex;"><span> (key, placeType, collector) <span style="color:#719e07">-&gt;</span> AbstractMetricsListener.onFinish(key, |
| </span></span><span style="display:flex;"><span> event <span style="color:#719e07">-&gt;</span> { |
| </span></span><span style="display:flex;"><span> collector.addRt(event.appName(), placeType.getType(), event.getTimePair().calc()); |
| </span></span><span style="display:flex;"><span> Map<span style="color:#719e07">&lt;</span>String, Integer<span style="color:#719e07">&gt;</span> lastNumMap <span style="color:#719e07">=</span> Collections.unmodifiableMap(event.getAttachmentValue(ATTACHMENT_KEY_LAST_NUM_MAP)); |
| </span></span><span style="display:flex;"><span> lastNumMap.forEach( |
| </span></span><span style="display:flex;"><span> (k, v) <span style="color:#719e07">-&gt;</span> collector.setNum(key, event.appName(), k, v)); |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> )); |
| </span></span></code></pre></div><div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span> <span style="color:#586e75">//AbstractMetricsListener</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> <span style="color:#268bd2">static</span> AbstractMetricsListener <span style="color:#268bd2">onFinish</span>(MetricsKey metricsKey, Consumer<span style="color:#719e07">&lt;</span>TimeCounterEvent<span style="color:#719e07">&gt;</span> finishFunc) { |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">return</span> <span style="color:#719e07">new</span> AbstractMetricsListener(metricsKey) { |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">@Override</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">onEventFinish</span>(TimeCounterEvent event) { |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">//此处是finishFunc就是之前 event -&gt;{...} 中定义的lambda函数</span> |
| </span></span><span style="display:flex;"><span> finishFunc.accept(event); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> }; |
| </span></span><span style="display:flex;"><span> } |
| </span></span></code></pre></div><p>三个形参 (key, placeType, collector) 中的 collector 为 <code>CombMetricsCollector&lt;TimeCounterEvent&gt;</code>，意味着它的三个实现（ConfigCenterMetricsCollector 、MetadataMetricsCollector、RegistryMetricsCollector）都可以作为参数。</p> |
| <p>至此，我们可以总结，对于这两个参数， <code>MetricsCat</code> 创建时嵌套的两层 lambda 函数最终是为了注册特定指标的监听器，并定义事件结束时的处理逻辑（内层的lambda）。在处理事件时，会调用混合指标收集器（CombMetricsCollector） 的 <code>addRT</code> 方法添加响应时间计时，还会调用 <code>setNum</code> 来添加指标计数。</p> |
| <p>由于此处的 <code>MetricsKey</code> 在 MetricsCat创建时就被传入，我们可以确定这两个字段存储了以下两个指标的统计逻辑：</p> |
| <ul> |
| <li> |
| <p>NOTIFY_METRIC_NUM_LAST：Last Notify Nums , 最后一个事件完成时的计数 。监听器中使用的是 <code>setNum</code>，事件结束时直接更新指定key指标的计数为传入的值，同时使用 <code>addRt </code> 来统计事件持续时长</p> |
| </li> |
| <li> |
| <p>DIRECTORY_METRIC_NUM_VALID：Valid Directory Urls，服务目录中注册成功的url数量。监听器中同样使用的是 <code>setNum</code>，事件结束后直接更新为服务目录中的最新计数</p> |
| </li> |
| </ul> |
| <p>之后，三个相关的 MetricsCat（指标类型） 实例会被绑定到一个 CategoryOverall（指标综合） 实例中，绑定的逻辑按一个事件进行的三个过程：<strong>事件发生、事件结束、事件失败</strong>，分别对应 CategoryOverall 的第2、3、4个参数，其中事件发生时的逻辑不能为 null。而第一个参数为 <code>MetricsPlaceType</code>，该参数封装了指标类型标识（如 register 服务注册、subscribe 服务订阅）和该指标的收集级别（应用还是服务）。</p> |
| <p>还记得 <code>MetricsCat</code> 中 <code>TpFunction</code> 的三个入参吗？其中第二个 placeType 就是这个参数。 <code>CategoryOverall</code> 在构造时会将它设置到其中的三个 MetricsCat 中。</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#586e75">// CategorySet:常量接口，同样位于RegistryMetricsEventMulticaster中</span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">interface</span> <span style="color:#268bd2">CategorySet</span> { |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">//...</span> |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> CategoryOverall APPLICATION_NOTIFY <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> CategoryOverall(OP_TYPE_NOTIFY, MCat.APPLICATION_NOTIFY_POST, MCat.APPLICATION_NOTIFY_FINISH, <span style="color:#cb4b16">null</span>); |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> CategoryOverall SERVICE_DIRECTORY <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> CategoryOverall(OP_TYPE_DIRECTORY, MCat.APPLICATION_DIRECTORY_POST, <span style="color:#cb4b16">null</span>, <span style="color:#cb4b16">null</span>); |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> CategoryOverall SERVICE_REGISTER <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> CategoryOverall(OP_TYPE_REGISTER_SERVICE, MCat.SERVICE_REGISTER_POST, MCat.SERVICE_REGISTER_FINISH, MCat.SERVICE_REGISTER_ERROR); |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">//...</span> |
| </span></span><span style="display:flex;"><span> List<span style="color:#719e07">&lt;</span>CategoryOverall<span style="color:#719e07">&gt;</span> ALL <span style="color:#719e07">=</span> Arrays.asList(APPLICATION_REGISTER, APPLICATION_SUBSCRIBE, APPLICATION_NOTIFY, SERVICE_DIRECTORY, SERVICE_REGISTER, SERVICE_SUBSCRIBE); |
| </span></span><span style="display:flex;"><span> } |
| </span></span></code></pre></div><p><code>CategorySet</code> 中的常量都会被封装到List中，在 <code>RegistryMetricsEventMulticaster</code> 创建时统一调用：</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#268bd2">public</span> <span style="color:#268bd2">class</span> <span style="color:#268bd2">RegistryMetricsCollector</span> <span style="color:#268bd2">extends</span> CombMetricsCollector<span style="color:#719e07">&lt;</span>TimeCounterEvent<span style="color:#719e07">&gt;</span> { |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> <span style="color:#268bd2">RegistryMetricsEventMulticaster</span>(RegistryMetricsCollector collector) { |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> CategorySet.ALL.forEach(categorySet <span style="color:#719e07">-&gt;</span> |
| </span></span><span style="display:flex;"><span> { |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">//通过 MetricsCat 实例中的定义的监听器创建逻辑，逐个注册监听器</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">super</span>.addListener(categorySet.getPost().getEventFunc().apply(collector)); |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">if</span> (categorySet.getFinish() <span style="color:#719e07">!=</span> <span style="color:#cb4b16">null</span>) { |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">super</span>.addListener(categorySet.getFinish().getEventFunc().apply(collector)); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">if</span> (categorySet.getError() <span style="color:#719e07">!=</span> <span style="color:#cb4b16">null</span>) { |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">super</span>.addListener(categorySet.getError().getEventFunc().apply(collector)); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> }); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span><span style="color:#586e75">//...</span> |
| </span></span></code></pre></div><p><strong>由此，我们也明确了 RegistryMetricsEventMulticaster （指标注册事件多播器）的作用</strong>：统一定义、管理事件，并在初始化时注册其中定义各种事件的<strong>监听器</strong>。</p> |
| <p>它继承了 SimpleMetricsEventMulticaster，其中的 publishEvent 方法在被调用时就会尝试调用所有监听器，判断其是否对当前事件类型感兴趣，选择是否进行调用。同时，这些监听器会对特定指标数据进行计算，更新到对应的收集器中。</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#586e75">//SimpleMetricsEventMulticaster</span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">public</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">publishEvent</span>(MetricsEvent event) { |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">if</span> (event <span style="color:#719e07">instanceof</span> EmptyEvent) { |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">return</span>; |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">if</span> (validateIfApplicationConfigExist(event)) <span style="color:#719e07">return</span>; |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">for</span> (MetricsListener listener : listeners) { |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">if</span> (listener.isSupport(event)) { |
| </span></span><span style="display:flex;"><span> listener.onEvent(event); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> } |
| </span></span></code></pre></div><p>我们通过分析混合指标收集器（CombMetricsCollector） 中的 setNum 方法的用法，了解到了 Composite 中的数据来源之一是注册指标事件多播器（RegistryMetricsEventMulticaster）中为服务注册相关指标创建的指标监听器。实际上，increment、addRt方法都是由指标监听器的各个实现调用的。</p> |
| <p>应用程序指标监听器（MetricsApplicationListener）中提供了 AbstractMetricsListener 的几个匿名实现，提供<strong>应用层面事件发生、完成、抛出异常三种情况下对给定指标的计数或RT的计算</strong>，大多数用做处理应用层面指标事件的 MetricsListener 都是它提供的三个监听器实现：</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#268bd2">public</span> <span style="color:#268bd2">class</span> <span style="color:#268bd2">MetricsApplicationListener</span> <span style="color:#268bd2">extends</span> AbstractMetricsListener { |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> <span style="color:#268bd2">MetricsApplicationListener</span>(MetricsKey metricsKey) { |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">super</span>(metricsKey); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">//此处的Event均为TimeCounterEvent，在它被创建时就会自动开始计时</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> <span style="color:#268bd2">static</span> AbstractMetricsListener <span style="color:#268bd2">onPostEventBuild</span>(MetricsKey metricsKey, CombMetricsCollector<span style="color:#719e07">&lt;</span>TimeCounterEvent<span style="color:#719e07">&gt;</span> collector) { |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">return</span> AbstractMetricsListener.onEvent(metricsKey, |
| </span></span><span style="display:flex;"><span> event <span style="color:#719e07">-&gt;</span> collector.increment(event.appName(), metricsKey) |
| </span></span><span style="display:flex;"><span> ); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> <span style="color:#268bd2">static</span> AbstractMetricsListener <span style="color:#268bd2">onFinishEventBuild</span>(MetricsKey metricsKey, MetricsPlaceType placeType, CombMetricsCollector<span style="color:#719e07">&lt;</span>TimeCounterEvent<span style="color:#719e07">&gt;</span> collector) { |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">return</span> AbstractMetricsListener.onFinish(metricsKey, |
| </span></span><span style="display:flex;"><span> event <span style="color:#719e07">-&gt;</span> { |
| </span></span><span style="display:flex;"><span> collector.increment(event.appName(), metricsKey); |
| </span></span><span style="display:flex;"><span> collector.addRt(event.appName(), placeType.getType(), event.getTimePair().calc()); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> ); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> <span style="color:#268bd2">static</span> AbstractMetricsListener <span style="color:#268bd2">onErrorEventBuild</span>(MetricsKey metricsKey, MetricsPlaceType placeType, CombMetricsCollector<span style="color:#719e07">&lt;</span>TimeCounterEvent<span style="color:#719e07">&gt;</span> collector) { |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">return</span> AbstractMetricsListener.onError(metricsKey, |
| </span></span><span style="display:flex;"><span> event <span style="color:#719e07">-&gt;</span> { |
| </span></span><span style="display:flex;"><span> collector.increment(event.appName(), metricsKey); |
| </span></span><span style="display:flex;"><span> collector.addRt(event.appName(), placeType.getType(), event.getTimePair().calc()); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> ); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><p>还有 MetricsServiceListener（服务指标监听器），它和 MetricsApplicationListener 十分类似，提供的是服务层面的指标监听器的通用实现，不再重复分析。</p> |
| <p><strong>可以用一句话简单的总结这三个 Collector 注册指标监听器的流程 ： Collector 内部的 Mulicaster/Dispatcher 在被 Collector 创建时直接向自己注册已声明的指标监听器。</strong></p> |
| <p>至此，我们可以总结出 MetricsEvent 的部分消息转发路径 ：</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/metrics-source-blog/event-dispatch-simple.png" alt="event-dispatch-simple"></p> |
| <h3 id="2dubbo-核心模块的指标采集流程">2，Dubbo 核心模块的指标采集流程</h3> |
| <p>DefaultMetricsCollector（默认指标采集器） 作为指标采集器的默认实现，其主要通过采样器（Sampler）收集dubbo应用核心RPC功能的相关指标。 采样器包括以下几种：</p> |
| <ul> |
| <li>线程池线程状态（最大线程数、最小线程数、活跃线程数等），对应 <strong>ThreadPoolMetricsSampler，线程池指标采样器</strong></li> |
| <li>线程池中线程耗尽事件的计数，对应 <strong>ThreadRejectMetricsCountSampler， 线程耗尽次数采样器</strong></li> |
| <li>应用指标收集情况（收集次数），对应 DefaultMetricsCollector 中实现的 SimpleMetricsCountSampler 匿名子类</li> |
| </ul> |
| <p><strong>这些采样器内部会存储其负责采样类型指标的样本。由于默认指标采集器同样继承自 CombMetricsCollector，它也同时具有与前文中分析的三大中心指标收集器相似的指标转发流程。</strong></p> |
| <p>除了线程池指标采样器，其它两个采样器均实现自简单指标计数采样器（SimpleMetricsCountSampler）。它实现了通用的指标存取操作。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/metrics-source-blog/sampler-struct.png" alt="sampler-struct"></p> |
| <p>简单指标计数采样器内部的指标样本容器：</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#268bd2">public</span> <span style="color:#268bd2">abstract</span> <span style="color:#268bd2">class</span> <span style="color:#268bd2">SimpleMetricsCountSampler</span><span style="color:#719e07">&lt;</span>S, K, M <span style="color:#268bd2">extends</span> Metric<span style="color:#719e07">&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">implements</span> MetricsCountSampler<span style="color:#719e07">&lt;</span>S, K, M<span style="color:#719e07">&gt;</span> { |
| </span></span><span style="display:flex;"><span>... |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> <span style="color:#268bd2">final</span> Map<span style="color:#719e07">&lt;</span>K, ConcurrentMap<span style="color:#719e07">&lt;</span>M, AtomicLong<span style="color:#719e07">&gt;&gt;</span> metricCounter <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> ConcurrentHashMap<span style="color:#719e07">&lt;&gt;</span>(); |
| </span></span><span style="display:flex;"><span>... |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><p><strong>其中：泛型 M 为指标类型，如方法指标 MethodMetric；泛型 K 为指标名称类型，如 String；泛型 S 为请求源类型，如 String 或 Invocation。请求源用于定位触发采样的请求来源，指标名称则用于对指标进行分组，便于按名称来分组检索指标数据。</strong></p> |
| <p>以及对特定指标的增减操作：</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#586e75">//SimpleMetricsCountSampler</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">inc</span>(S source, K metricName) { |
| </span></span><span style="display:flex;"><span> doExecute(source, metricName, counter <span style="color:#719e07">-&gt;</span> { |
| </span></span><span style="display:flex;"><span> counter.incrementAndGet(); |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">return</span> <span style="color:#cb4b16">false</span>; |
| </span></span><span style="display:flex;"><span> }); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">dec</span>(S source, K metricName) { |
| </span></span><span style="display:flex;"><span> doExecute(source, metricName, counter <span style="color:#719e07">-&gt;</span> { |
| </span></span><span style="display:flex;"><span> counter.decrementAndGet(); |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">return</span> <span style="color:#cb4b16">false</span>; |
| </span></span><span style="display:flex;"><span> }); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">incOnEvent</span>(S source, K metricName) { |
| </span></span><span style="display:flex;"><span> doExecute(source, metricName, counter <span style="color:#719e07">-&gt;</span> { |
| </span></span><span style="display:flex;"><span> counter.incrementAndGet(); |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">return</span> <span style="color:#cb4b16">true</span>; |
| </span></span><span style="display:flex;"><span> }); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">decOnEvent</span>(S source, K metricName) { |
| </span></span><span style="display:flex;"><span> doExecute(source, metricName, counter <span style="color:#719e07">-&gt;</span> { |
| </span></span><span style="display:flex;"><span> counter.decrementAndGet(); |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">return</span> <span style="color:#cb4b16">true</span>; |
| </span></span><span style="display:flex;"><span> }); |
| </span></span><span style="display:flex;"><span> } |
| </span></span></code></pre></div><p>对于四个增加、减少计数的方法，它们最终都会调用 <code>doExecute</code> 方法来完成计数操作，其中 counter 函数定义了对计数器的操作（增加、减少）。</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#586e75">//SimpleMetricsCountSampler</span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">private</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">doExecute</span>(S source, K metricsName, Function<span style="color:#719e07">&lt;</span>AtomicLong, Boolean<span style="color:#719e07">&gt;</span> counter) { |
| </span></span><span style="display:flex;"><span> MetricsCountSampleConfigurer<span style="color:#719e07">&lt;</span>S, K, M<span style="color:#719e07">&gt;</span> sampleConfigure <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> MetricsCountSampleConfigurer<span style="color:#719e07">&lt;&gt;</span>(); |
| </span></span><span style="display:flex;"><span> sampleConfigure.setSource(source); |
| </span></span><span style="display:flex;"><span> sampleConfigure.setMetricsName(metricsName); |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">//利用子类重写的countConfigure为 sampleConfigure 设置事件发布函数</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">this</span>.countConfigure(sampleConfigure); |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">//通过指标名获取对应的指标计数器</span> |
| </span></span><span style="display:flex;"><span> Map<span style="color:#719e07">&lt;</span>M, AtomicLong<span style="color:#719e07">&gt;</span> metricAtomic <span style="color:#719e07">=</span> metricCounter.get(metricsName); |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">if</span> (metricAtomic <span style="color:#719e07">==</span> <span style="color:#cb4b16">null</span>) { |
| </span></span><span style="display:flex;"><span> metricAtomic <span style="color:#719e07">=</span> metricCounter.computeIfAbsent(metricsName, k <span style="color:#719e07">-&gt;</span> <span style="color:#719e07">new</span> ConcurrentHashMap<span style="color:#719e07">&lt;&gt;</span>()); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> Assert.notNull(sampleConfigure.getMetric(), <span style="color:#2aa198">&#34;metrics is null&#34;</span>); |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> AtomicLong atomicCounter <span style="color:#719e07">=</span> metricAtomic.get(sampleConfigure.getMetric()); |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">if</span> (atomicCounter <span style="color:#719e07">==</span> <span style="color:#cb4b16">null</span>) { |
| </span></span><span style="display:flex;"><span> atomicCounter <span style="color:#719e07">=</span> metricAtomic.computeIfAbsent(sampleConfigure.getMetric(), k <span style="color:#719e07">-&gt;</span> <span style="color:#719e07">new</span> AtomicLong()); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">// counter函数定义了对atomicCounter的增减操作，如 inc方法定义的counter是对atomicCounter+1，dec方法定义的是对atomicCounter-1</span> |
| </span></span><span style="display:flex;"><span> Boolean isEvent <span style="color:#719e07">=</span> counter.apply(atomicCounter); |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">//如果本次计数操作应该触发事件...</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">if</span> (isEvent) { |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">//获取子类设置的事件发布函数，发布事件</span> |
| </span></span><span style="display:flex;"><span> sampleConfigure.getFireEventHandler().accept(sampleConfigure); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> } |
| </span></span></code></pre></div><p><code>doExecute</code> 做了两件事：</p> |
| <p>1，判断当前指标是否存在，如果不存在就放到容器中。</p> |
| <p>2，调用提供的计数函数对指标进行修改，对应 counter 字段。</p> |
| <p>以下为各采样器在 countConfigure 方法中提供的创建指标实例的逻辑：</p> |
| <ul> |
| <li>DefaultMetricsCollector 中 SimpleMetricsCountSampler 的匿名实现 （applicationSampler）提供的<code>countConfigure</code> 方法：</li> |
| </ul> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span> <span style="color:#268bd2">@Override</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">protected</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">countConfigure</span>( |
| </span></span><span style="display:flex;"><span> MetricsCountSampleConfigurer<span style="color:#719e07">&lt;</span>String, MetricsEvent.Type, ApplicationMetric<span style="color:#719e07">&gt;</span> sampleConfigure) { |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">//提供根据 configure 创建指标实例的函数</span> |
| </span></span><span style="display:flex;"><span> sampleConfigure.configureMetrics(configure <span style="color:#719e07">-&gt;</span> <span style="color:#719e07">new</span> ApplicationMetric(sampleConfigure.getSource())); |
| </span></span><span style="display:flex;"><span> } |
| </span></span></code></pre></div><ul> |
| <li>ThreadRejectMetricsCountSampler 中提供的 <code>countConfigure</code> 方法：</li> |
| </ul> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span> <span style="color:#268bd2">@Override</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">protected</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">countConfigure</span>(MetricsCountSampleConfigurer<span style="color:#719e07">&lt;</span>String, String, ThreadPoolRejectMetric<span style="color:#719e07">&gt;</span> sampleConfigure) { |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">//提供根据 configure 创建指标实例的函数</span> |
| </span></span><span style="display:flex;"><span> sampleConfigure.configureMetrics(configure <span style="color:#719e07">-&gt;</span> <span style="color:#719e07">new</span> ThreadPoolRejectMetric(collector.getApplicationName(),configure.getSource())); |
| </span></span><span style="display:flex;"><span> } |
| </span></span></code></pre></div><hr> |
| <p>默认指标收集器继承自 CombMetricsCollector，内部包含一个 DefaultSubDispatcher，因此它自身也可以作为指标事件的转发器，接受其它指标监听器的注册。</p> |
| <p>在之前，我们发现了 AggregateMetricsCollector（聚合指标收集器）会将自己注册为 DefaultMetricsCollector 的监听器：</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span> <span style="color:#268bd2">public</span> <span style="color:#268bd2">AggregateMetricsCollector</span>(ApplicationModel applicationModel) { |
| </span></span><span style="display:flex;"><span> ... |
| </span></span><span style="display:flex;"><span> registerListener(); |
| </span></span><span style="display:flex;"><span> ... |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">registerListener</span>() { |
| </span></span><span style="display:flex;"><span>applicationModel.getBeanFactory().getBean(DefaultMetricsCollector.class).addListener(<span style="color:#719e07">this</span>); |
| </span></span><span style="display:flex;"><span> } |
| </span></span></code></pre></div><p>还有 HistogramMetricsCollector （直方图指标收集器）也会将自己注册为它的监听器。</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span> <span style="color:#268bd2">public</span> <span style="color:#268bd2">HistogramMetricsCollector</span>(ApplicationModel applicationModel) { |
| </span></span><span style="display:flex;"><span> ... |
| </span></span><span style="display:flex;"><span> registerListener(); |
| </span></span><span style="display:flex;"><span> ... |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">registerListener</span>() { applicationModel.getBeanFactory().getBean(DefaultMetricsCollector.class).getEventMulticaster().addListener(<span style="color:#719e07">this</span>); |
| </span></span><span style="display:flex;"><span> } |
| </span></span></code></pre></div><p><strong>因此，聚合指标收集器和直方图指标收集器的指标事件来源于默认指标收集器转发的指标事件</strong>。通过默认指标转发器的 isSupport 方法，还可以发现这些指标事件的类型是 RequestEvent （RPC请求事件）或 RequestBeforeEvent（请求前失败事件：实际请求发送之前在 ClusterFilter 中产生的异常）。</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span> <span style="color:#268bd2">@Override</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> <span style="color:#dc322f">boolean</span> <span style="color:#268bd2">isSupport</span>(MetricsEvent event) { |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">return</span> event <span style="color:#719e07">instanceof</span> RequestEvent <span style="color:#719e07">||</span> event <span style="color:#719e07">instanceof</span> RequestBeforeEvent; |
| </span></span><span style="display:flex;"><span> } |
| </span></span></code></pre></div><p><img src="https://dubbo.apache.org/imgs/blog/metrics-source-blog/default-metrics-collector-struct.png" alt="default-metrics-collector-struct"></p> |
| <p><strong>至此，我们也明确了 Dubbo 应用内部核心模块的相关指标是如何收集的：默认指标收集器除了接受上层指标转发器的指标事件之外，还会通过各种采样器对埋点采样，通过 SubDispatcher 统一转发指标事件，通知注册为它的监听器的其它 Collector 完成采样。</strong></p> |
| <h3 id="3-直方图相关指标的采集流程">3， 直方图相关指标的采集流程</h3> |
| <p>直方图指标收集器（HistogramMetricsCollector）也是一个较为特殊的收集器，它主要负责RPC调用响应时间直方图指标这一种指标的收集。</p> |
| <p>由于直方图指标收集器只需要采集单一类型的指标，它直接使用Map来存储采样数据，而非更复杂的数据聚合器（Composite）。</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#586e75">//HistogramMetricsCollector</span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">private</span> <span style="color:#268bd2">final</span> ConcurrentHashMap<span style="color:#719e07">&lt;</span>MethodMetric, Timer<span style="color:#719e07">&gt;</span> rt <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> ConcurrentHashMap<span style="color:#719e07">&lt;&gt;</span>(); |
| </span></span></code></pre></div><p><strong>其中，key为方法指标，Timer则是该方法对应的RT计时器。该计时器由 micrometer 提供，在跟踪短时间内的大量事件时具有良好的性能。</strong></p> |
| <p>前文中已经提到，直方图指标收集器在初始化时会将自己注册为默认指标收集器（DefaultMetricsCollector）中的监听器，与聚合指标收集器相同（AggregateMetricsCollector）。</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span> <span style="color:#268bd2">private</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">registerListener</span>() { applicationModel.getBeanFactory().getBean(DefaultMetricsCollector.class).getEventMulticaster().addListener(<span style="color:#719e07">this</span>); |
| </span></span><span style="display:flex;"><span> } |
| </span></span></code></pre></div><p>这意味着它接收的指标事件实际也来自于默认指标收集器中的采样器。之前的分析中，我们知道默认指标收集器目前实际只转发来自 MetricsDispatcher 的请求相关事件，因此直方图指标收集器也只会收集请求响应时间相关的指标采样。</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#586e75">//HistogramMetricsCollector</span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">private</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">onRTEvent</span>(RequestEvent event) { |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">if</span> (metricRegister <span style="color:#719e07">!=</span> <span style="color:#cb4b16">null</span>) { |
| </span></span><span style="display:flex;"><span> MethodMetric metric <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> MethodMetric(applicationModel.getApplicationName(), event.getAttachmentValue(MetricsConstants.INVOCATION)); |
| </span></span><span style="display:flex;"><span> <span style="color:#dc322f">long</span> responseTime <span style="color:#719e07">=</span> event.getTimePair().calc(); |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> HistogramMetricSample sample <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> HistogramMetricSample(MetricsKey.METRIC_RT_HISTOGRAM.getNameByType(metric.getSide()), |
| </span></span><span style="display:flex;"><span> MetricsKey.METRIC_RT_HISTOGRAM.getDescription(), metric.getTags(), RT); |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> Timer timer <span style="color:#719e07">=</span> ConcurrentHashMapUtils.computeIfAbsent(rt, metric, k <span style="color:#719e07">-&gt;</span> metricRegister.register(sample)); |
| </span></span><span style="display:flex;"><span> timer.record(responseTime, TimeUnit.MILLISECONDS); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> } |
| </span></span></code></pre></div><p>当接收到事件时，直方图指标收集器会先计算当前调用花费的时间，然后为计时器（Time）添加一条响应时间记录。</p></description></item><item><title>Blog: 3-指标监听注册梳理</title><link>https://dubbo.apache.org/zh-cn/blog/2023/04/28/3-%E6%8C%87%E6%A0%87%E7%9B%91%E5%90%AC%E6%B3%A8%E5%86%8C%E6%A2%B3%E7%90%86/</link><pubDate>Fri, 28 Apr 2023 00:00:00 +0000</pubDate><guid>https://dubbo.apache.org/zh-cn/blog/2023/04/28/3-%E6%8C%87%E6%A0%87%E7%9B%91%E5%90%AC%E6%B3%A8%E5%86%8C%E6%A2%B3%E7%90%86/</guid><description> |
| <h2 id="三指标监听注册梳理">三、指标监听注册梳理</h2> |
| <p>在前一章中，我们了解了不同收集器中的指标样本是如何被监听器添加进去的。接下来，我们将归纳指标监听器 的创建位置，及它们对应统计的指标。</p> |
| <p>通过之前的分析，我们已经知道指标 注册事件多播器（RegistryMetricsEventMulticaster）中定义了并绑定了服务注册相关的指标。这种绑定操作同样存在于其它几个简单指标事件多播器（SimpleMetricsEventMulticaster）的几个实现中。</p> |
| <h3 id="转发器注册">转发器注册</h3> |
| <p><strong>RegistrySubDispatcher （服务注册指标转发器）注册了服务注册相关指标：</strong></p> |
| <ul> |
| <li>应用级实例注册成功/失败/总数计数 （APPLICATION_REGISTER_&hellip;)</li> |
| <li>应用级服务接口订阅成功/失败/总数计数 （APPLICATION_SUBSCRIBE_&hellip;)</li> |
| <li>服务级注册成功/失败/总数计数 （SERVICE_REGISTER_&hellip;）</li> |
| <li>特殊的 APPLICATION_NOTIFY_FINISH 和 APPLICATION_DIRECTORY_POST （应用服务目录变化次数）</li> |
| </ul> |
| <p><strong>MetadataSubDispatcher（元数据指标转发器）注册应用元数据相关指标</strong></p> |
| <ul> |
| <li> |
| <p>应用推送元数据相关计数 （APPLICATION_PUSH_&hellip;)</p> |
| </li> |
| <li> |
| <p>应用订阅元数据相关计数 （APPLICAITON_SUBSCRIBE_&hellip;）</p> |
| </li> |
| <li> |
| <p>服务订阅元数据相关计数 （SERVICE_SUBSCRIBE_&hellip;）</p> |
| </li> |
| </ul> |
| <p><strong>ConfigCenterSubDispatcher (配置中心指标转发器) 注册配置中心配置更新次数指标</strong></p> |
| <ul> |
| <li>配置中心推送新配置次数 （CONFIGCENTER_METRIC_TOTAL）</li> |
| </ul> |
| <p><strong>DefaultSubDispatcher (默认转发器) 注册核心RPC调用次数指标</strong></p> |
| <ul> |
| <li>请求次数 （METRIC_REQUESTS）</li> |
| <li>请求成功次数（METRIC_REQUESTS_SUCCEED）</li> |
| <li>请求失败次数（METRIC_REQUEST_BUSINESS_FAILED）</li> |
| </ul> |
| <p><strong>MetricsDispatcher</strong></p> |
| <p>MetricsDispatcher 较为特殊，它负责 ApplicationModel 下所有 MetricsCollector（前文中提到的指标收集器） 的初始化注册工作，并将它们添加到自己的监听器列表中。</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#268bd2">public</span> <span style="color:#268bd2">class</span> <span style="color:#268bd2">MetricsDispatcher</span> <span style="color:#268bd2">extends</span> SimpleMetricsEventMulticaster { |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">@SuppressWarnings</span>({<span style="color:#2aa198">&#34;rawtypes&#34;</span>}) |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> <span style="color:#268bd2">MetricsDispatcher</span>(ApplicationModel applicationModel) { |
| </span></span><span style="display:flex;"><span> ScopeBeanFactory beanFactory <span style="color:#719e07">=</span> applicationModel.getBeanFactory(); |
| </span></span><span style="display:flex;"><span> ExtensionLoader<span style="color:#719e07">&lt;</span>MetricsCollector<span style="color:#719e07">&gt;</span> extensionLoader <span style="color:#719e07">=</span> applicationModel.getExtensionLoader(MetricsCollector.class); |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">if</span> (extensionLoader <span style="color:#719e07">!=</span> <span style="color:#cb4b16">null</span>) { |
| </span></span><span style="display:flex;"><span> List<span style="color:#719e07">&lt;</span>MetricsCollector<span style="color:#719e07">&gt;</span> customizeCollectors <span style="color:#719e07">=</span> extensionLoader |
| </span></span><span style="display:flex;"><span> .getActivateExtensions(); |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">for</span> (MetricsCollector customizeCollector : customizeCollectors) { |
| </span></span><span style="display:flex;"><span> beanFactory.registerBean(customizeCollector); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> customizeCollectors.forEach(<span style="color:#719e07">this</span>::addListener); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><p>需要注意，以上几个实现均继承自 SimpleMetricsEventMulticaster，因此它们都具有注册监听、转发事件的能力。它们将自己注册到对应领域的指标 Collector 中，并在收到指标事件时转发到自己注册的监听器中。</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#586e75">//SimpleMetricsEventMulticaster</span> |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">addListener</span>(MetricsListener<span style="color:#719e07">&lt;?&gt;</span> listener) { |
| </span></span><span style="display:flex;"><span> listeners.add(listener); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">publishEvent</span>(MetricsEvent event) { |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">if</span> (event <span style="color:#719e07">instanceof</span> EmptyEvent) { |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">return</span>; |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">if</span> (validateIfApplicationConfigExist(event)) <span style="color:#719e07">return</span>; |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">for</span> (MetricsListener listener : listeners) { |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">if</span> (listener.isSupport(event)) { |
| </span></span><span style="display:flex;"><span> listener.onEvent(event); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span><span style="color:#586e75">//...</span> |
| </span></span></code></pre></div><p><strong>SubDispatcher 和 Collector 之间的对应关系：</strong></p> |
| <ul> |
| <li>MetadataSubDispatcher -&gt; MetadataMetricsCollector 元数据指标事件</li> |
| <li>RegistrySubDispatcher -&gt; RegistryMetricsCollector 服务注册指标事件</li> |
| <li>ConfigCenterSubDispatcher -&gt; ConfigCenterMetricsCollector 配置中心指标事件</li> |
| <li>MetricsDispatcher 由 MetricsEventBus 通过 BeanFactory 加载。它是所有事件转发的入口。</li> |
| </ul> |
| <h3 id="事件触发">事件触发</h3> |
| <p>剩下的问题就是这些监听器是如何被触发的。</p> |
| <p>可以发现三大中心的指标转发器都是在它们对应的Collector中创建的：</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#268bd2">public</span> <span style="color:#268bd2">ConfigCenterMetricsCollector</span>(ApplicationModel applicationModel) { |
| </span></span><span style="display:flex;"><span> ... |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">super</span>.setEventMulticaster(<span style="color:#719e07">new</span> ConfigCenterMetricsDispatcher(<span style="color:#719e07">this</span>)); |
| </span></span><span style="display:flex;"><span> ... |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#268bd2">public</span> <span style="color:#268bd2">MetadataMetricsCollector</span>(ApplicationModel applicationModel) { |
| </span></span><span style="display:flex;"><span> ... |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">super</span>.setEventMulticaster(<span style="color:#719e07">new</span> MetadataMetricsEventMulticaster(<span style="color:#719e07">this</span>)); |
| </span></span><span style="display:flex;"><span> ... |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#268bd2">public</span> <span style="color:#268bd2">RegistryMetricsCollector</span>(ApplicationModel applicationModel) { |
| </span></span><span style="display:flex;"><span> ... |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">super</span>.setEventMulticaster(<span style="color:#719e07">new</span> RegistryMetricsEventMulticaster(<span style="color:#719e07">this</span>)); |
| </span></span><span style="display:flex;"><span> ... |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><p>这意味这想要通过它们发布事件，需要通过它们对应的 <code>Collector</code> 来访问。</p> |
| <p>如前文所述， MetricsDispatcher 在初始化时会尝试获取并加载所有 MetricsCollector 的SPI拓展，</p> |
| <p>三大中心的MetricsCollector （Metadata/Registry/ConfigCenter）也会在这里被初始化，并添加为 MetricsDispatcher 的监听器：</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span> <span style="color:#268bd2">public</span> <span style="color:#268bd2">MetricsDispatcher</span>(ApplicationModel applicationModel) { |
| </span></span><span style="display:flex;"><span>... |
| </span></span><span style="display:flex;"><span> ExtensionLoader<span style="color:#719e07">&lt;</span>MetricsCollector<span style="color:#719e07">&gt;</span> extensionLoader <span style="color:#719e07">=</span> applicationModel.getExtensionLoader(MetricsCollector.class); |
| </span></span><span style="display:flex;"><span>... |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">for</span> (MetricsCollector customizeCollector : customizeCollectors) { |
| </span></span><span style="display:flex;"><span> beanFactory.registerBean(customizeCollector); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> customizeCollectors.forEach(<span style="color:#719e07">this</span>::addListener); |
| </span></span><span style="display:flex;"><span> } |
| </span></span></code></pre></div><p>对于 MetricsDispatcher，它由 MetricsEventBus 创建。而 MetricsEventBus 自身作为指标相关消息的总线，会接收所有指标消息，并将它们转发给监听者。</p> |
| <p>MetricsEvenetBus 提供了三个方法来发布指标事件：</p> |
| <ul> |
| <li><code>publish(MetricsEvent event)</code> ，将事件发布给所有订阅者，只发布一次且不关心事件处理结果</li> |
| <li><code>post(MetricsEvent event, Supplier&lt;T&gt; targetSupplier)</code> ，将事件发布给所有订阅者，并根据是否产生异常判断事件成功或失败，调用 MetricsDispatcher 发布对应的事件。</li> |
| <li><code>post(MetricsEvent event, Supplier&lt;T&gt; targetSupplier, Function&lt;T, Boolean&gt; trFunction)</code> ，额外的 trFunction 可用于通过业务结果判断事件成功或失败。 <code>targetSupplier</code> 为业务操作函数，泛型T为业务结果类型。</li> |
| </ul> |
| <p>这三个方法均会通过 MetricsDispatcher 来转发事件。</p> |
| <p>在之前的分析中，我们知道 MetricsDispatcher 创建了所有 MetricsCollector 拓展，并将它们注册为自己的监听者。</p> |
| <p>因此，当 MetricsEventBus 接收到发布的信息时，它会将信息转发到所有 MetricsCollector 中。对于 CombMetricsCollector 的实现，它们又会调用自己创建的 MetricsEventMulticaster 再次转发消息，到具体指标的监听器。</p> |
| <p>之后，这些监听器就会根据自己的逻辑修改Collector中的指标计数。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/metrics-source-blog/metris-event-dispatch-full.png" alt="image-20230629160012950"></p> |
| <h3 id="事件发布">事件发布</h3> |
| <p>接下来，我们将寻找指标事件发布的源头。</p> |
| <p>通过前文的分析，我们知道 MetricsEventBus 是所有指标事件发布的入口。具体来说，它有以下的用法：</p> |
| <ul> |
| <li>AbstractDirectory</li> |
| <li>ServiceConfig</li> |
| <li>DefaultApplicationDeployer</li> |
| <li>ApolloDynamicConfiguration</li> |
| <li>NacosDynamicConfiguration</li> |
| <li>ZookeeperDataListener</li> |
| <li>AbstractMetadataReport</li> |
| </ul> |
| <p>我们将逐个分析每个用法。</p> |
| <p><strong>AbstractDirectory</strong></p> |
| <p>AbstractDirectory 在修改 Invoker 状态相关的操作完成后都会通过 MetricsEventBus 发布 refreshDirectoryEvent（服务目录更新事件，类型为 RegistryEvent ），将当前目录中各种状态 Invoker 实例的最新数量作为附件添加到 RegistryEvent 中。</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#586e75">//AbstractDirectory</span> |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">recoverDisabledInvoker</span>(Invoker<span style="color:#719e07">&lt;</span>T<span style="color:#719e07">&gt;</span> invoker) { |
| </span></span><span style="display:flex;"><span> ... |
| </span></span><span style="display:flex;"><span> MetricsEventBus.publish(RegistryEvent.refreshDirectoryEvent(applicationModel, getSummary())); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">protected</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">setInvokers</span>(BitList<span style="color:#719e07">&lt;</span>Invoker<span style="color:#719e07">&lt;</span>T<span style="color:#719e07">&gt;&gt;</span> invokers) { |
| </span></span><span style="display:flex;"><span> ... |
| </span></span><span style="display:flex;"><span> MetricsEventBus.publish(RegistryEvent.refreshDirectoryEvent(applicationModel, getSummary())); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">protected</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">setInvokers</span>(BitList<span style="color:#719e07">&lt;</span>Invoker<span style="color:#719e07">&lt;</span>T<span style="color:#719e07">&gt;&gt;</span> invokers) { |
| </span></span><span style="display:flex;"><span> ... |
| </span></span><span style="display:flex;"><span> MetricsEventBus.publish(RegistryEvent.refreshDirectoryEvent(applicationModel, getSummary())); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> Map<span style="color:#719e07">&lt;</span>MetricsKey, Map<span style="color:#719e07">&lt;</span>String, Integer<span style="color:#719e07">&gt;&gt;</span> <span style="color:#268bd2">getSummary</span>() { |
| </span></span><span style="display:flex;"><span> Map<span style="color:#719e07">&lt;</span>MetricsKey, Map<span style="color:#719e07">&lt;</span>String, Integer<span style="color:#719e07">&gt;&gt;</span> summaryMap <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> HashMap<span style="color:#719e07">&lt;&gt;</span>(); |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">//目录中可用的Invoker数量</span> |
| </span></span><span style="display:flex;"><span> summaryMap.put(MetricsKey.DIRECTORY_METRIC_NUM_VALID, groupByServiceKey(getValidInvokers())); |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">//目录中不可用的Invoker数量</span> |
| </span></span><span style="display:flex;"><span> summaryMap.put(MetricsKey.DIRECTORY_METRIC_NUM_DISABLE, groupByServiceKey(getDisabledInvokers())); |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">//目录中等待重连的Invoker数量</span> |
| </span></span><span style="display:flex;"><span> summaryMap.put(MetricsKey.DIRECTORY_METRIC_NUM_TO_RECONNECT, groupByServiceKey(getInvokersToReconnect())); |
| </span></span><span style="display:flex;"><span> summaryMap.put(MetricsKey.DIRECTORY_METRIC_NUM_ALL, groupByServiceKey(getInvokers())); |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">return</span> summaryMap; |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span>... |
| </span></span></code></pre></div><p>该事件最终会由 RegistryMetricsCollector 中的 RegistryMetricsDispatcher 转发到关系该事件的监听器中。<strong>事件和监听器之间通过 MetricsKey匹配</strong> 。</p> |
| <p>最终，MetricsKey 为 <code>**DIRECTORY_METRIC_NUM_VALID**</code> 的监听器会处理这个事件，并更新 Collector中的计数。</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#586e75">//DIRECTORY_METRIC_NUM_VALID 对应的 Listener。</span> |
| </span></span><span style="display:flex;"><span>MetricsCat APPLICATION_DIRECTORY_POST <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> MetricsCat(MetricsKey.DIRECTORY_METRIC_NUM_VALID, (key, placeType, collector) <span style="color:#719e07">-&gt;</span> AbstractMetricsListener.onEvent(key, |
| </span></span><span style="display:flex;"><span> event <span style="color:#719e07">-&gt;</span> |
| </span></span><span style="display:flex;"><span> { |
| </span></span><span style="display:flex;"><span> Map<span style="color:#719e07">&lt;</span>MetricsKey, Map<span style="color:#719e07">&lt;</span>String, Integer<span style="color:#719e07">&gt;&gt;</span> summaryMap <span style="color:#719e07">=</span> event.getAttachmentValue(ATTACHMENT_DIRECTORY_MAP); |
| </span></span><span style="display:flex;"><span> summaryMap.forEach((metricsKey, map) <span style="color:#719e07">-&gt;</span> |
| </span></span><span style="display:flex;"><span> map.forEach( |
| </span></span><span style="display:flex;"><span> (k, v) <span style="color:#719e07">-&gt;</span> collector.setNum(metricsKey, event.appName(), k, v))); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> )); |
| </span></span></code></pre></div><p>这样，服务目录中不同状态 Invoker 的计数就通过 RegistryMetricsCollector 更新到了 ServiceStatComposite 中。</p> |
| <p><strong>ServiceConfig</strong></p> |
| <p>当通过 ServiceConfig 导出、注册一个服务时，它会发布一个服务导出事件。</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#586e75">//ServiceConfig </span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">protected</span> <span style="color:#268bd2">synchronized</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">doExport</span>() { |
| </span></span><span style="display:flex;"><span> ... |
| </span></span><span style="display:flex;"><span> doExportUrls(); |
| </span></span><span style="display:flex;"><span> exported(); |
| </span></span><span style="display:flex;"><span> } |
| </span></span></code></pre></div><div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#268bd2">private</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">doExportUrls</span>() { |
| </span></span><span style="display:flex;"><span> ... |
| </span></span><span style="display:flex;"><span> MetricsEventBus.post(RegistryEvent.toRsEvent(module.getApplicationModel(), getUniqueServiceName(), protocols.size() <span style="color:#719e07">*</span> registryURLs.size()), |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">//该函数会被同步执行，如果抛出异常则触发 MetricsEvent 的 onError方法，否则触发 onFinish</span> |
| </span></span><span style="display:flex;"><span> () <span style="color:#719e07">-&gt;</span> { |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">for</span> (ProtocolConfig protocolConfig : protocols) { |
| </span></span><span style="display:flex;"><span> String pathKey <span style="color:#719e07">=</span> URL.buildKey(getContextPath(protocolConfig) |
| </span></span><span style="display:flex;"><span> .map(p <span style="color:#719e07">-&gt;</span> p <span style="color:#719e07">+</span> <span style="color:#2aa198">&#34;/&#34;</span> <span style="color:#719e07">+</span> path) |
| </span></span><span style="display:flex;"><span> .orElse(path), group, version); |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">if</span> (<span style="color:#719e07">!</span>serverService) { |
| </span></span><span style="display:flex;"><span> repository.registerService(pathKey, interfaceClass); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> doExportUrlsFor1Protocol(protocolConfig, registryURLs); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">return</span> <span style="color:#cb4b16">null</span>; |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> ); |
| </span></span><span style="display:flex;"><span> providerModel.setServiceUrls(urls); |
| </span></span><span style="display:flex;"><span> } |
| </span></span></code></pre></div><p>事件发布时，该事件会被转发到 RegistryMetricsCollector，触发对应的 Listener 增加 <strong>SERVICE_REGISTER_METRIC_REQUESTS</strong> （当前服务级注册请求总数）的计数，然后执行定义的 provider 函数。根据是否抛出异常，之后执行 onError 方法 或 onFinish 方法，增加 <strong>SERVICE_REGISTER_METRIC_REQUESTS_FAILED</strong> （当前服务级注册请求失败总数）或<strong>SERVICE_REGISTER_METRIC_REQUESTS_SUCCEED</strong> （当前服务级注册请求成功总数） 的计数。</p> |
| <p><strong>DefaultApplicationDeployer</strong></p> |
| <p>它在应用部署过程中，初始化配置中心时，发布配置发生改变的事件。</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span> <span style="color:#268bd2">private</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">startConfigCenter</span>() { |
| </span></span><span style="display:flex;"><span> ... |
| </span></span><span style="display:flex;"><span> compositeDynamicConfiguration.addConfiguration( |
| </span></span><span style="display:flex;"><span> prepareEnvironment(configCenter) |
| </span></span><span style="display:flex;"><span> ); |
| </span></span><span style="display:flex;"><span> ... |
| </span></span><span style="display:flex;"><span> } |
| </span></span></code></pre></div><div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span> <span style="color:#268bd2">private</span> DynamicConfiguration <span style="color:#268bd2">prepareEnvironment</span>(ConfigCenterConfig configCenter) { |
| </span></span><span style="display:flex;"><span>... |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">// Add metrics</span> |
| </span></span><span style="display:flex;"><span> MetricsEventBus.publish(ConfigCenterEvent.toChangeEvent(applicationModel, configCenter.getConfigFile(), configCenter.getGroup(),configCenter.getProtocol(), ConfigChangeType.ADDED.name(), configMap.size())); |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">if</span> (isNotEmpty(appGroup)) { |
| </span></span><span style="display:flex;"><span> MetricsEventBus.publish(ConfigCenterEvent.toChangeEvent(applicationModel, appConfigFile, appGroup, configCenter.getProtocol(), ConfigChangeType.ADDED.name(), appConfigMap.size())); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> ... |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> } |
| </span></span></code></pre></div><p>在 <code>prepareEnvironment</code> 方法中，会按配置中心设置的组（group）和当前应用程序的名称作为组名发布两次事件。该事件会被转发到 ConfigCenterMetricsCollector，增加 <strong>CONFIGCENTER_METRIC_TOTAL</strong> （配置中心配置变化次数）的计数。</p> |
| <p><strong>ApolloDynamicConfiguration</strong></p> |
| <p>动态配置功能的 Apollo 配置中心实现。</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#586e75">//ApolloDynamicConfiguration</span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">@Override</span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">public</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">onChange</span>(com.ctrip.framework.apollo.model.ConfigChangeEvent changeEvent) { |
| </span></span><span style="display:flex;"><span> ... |
| </span></span><span style="display:flex;"><span> MetricsEventBus.publish(ConfigCenterEvent.toChangeEvent(applicationModel, event.getKey(), event.getGroup(),ConfigCenterEvent.APOLLO_PROTOCOL, ConfigChangeType.ADDED.name(), SELF_INCREMENT_SIZE)); |
| </span></span><span style="display:flex;"><span> } |
| </span></span></code></pre></div><p>当Apollo配置中心的配置发生变化时，它的 <code>onChange</code> 方法会被触发，并在最后发布一个 ConfigCenterEvent。该事件最终转发到ConfigCenterMetricsCollector 中，同样增加 **CONFIGCENTER_METRIC_TOTAL **的计数。</p> |
| <p><strong>NacosDynamicConfiguration</strong></p> |
| <p>动态配置功能的 Nacos 配置中心实现。</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#586e75">//NacosDynamicConfiguration</span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">@Override</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">innerReceive</span>(String dataId, String group, String configInfo) { |
| </span></span><span style="display:flex;"><span> ... |
| </span></span><span style="display:flex;"><span> MetricsEventBus.publish(ConfigCenterEvent.toChangeEvent(applicationModel, event.getKey(), event.getGroup(), |
| </span></span><span style="display:flex;"><span> ConfigCenterEvent.NACOS_PROTOCOL, ConfigChangeType.ADDED.name(), SELF_INCREMENT_SIZE)); |
| </span></span><span style="display:flex;"><span> } |
| </span></span></code></pre></div><p>当Nacos配置中心的配置发生变化时，它的 <code>innerReceive</code> 方法被触发，发布一个 ConfigCenterEvent。它的处理流程和 ApolloDynamicConfiguration 一致，最终增加 **CONFIGCENTER_METRIC_TOTAL **的计数。</p> |
| <p><strong>ZookeeperDataListener</strong></p> |
| <p>动态配置功能的 Zookeeper 实现。</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#586e75">//ZookeeperDataListener</span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">@Override</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">dataChanged</span>(String path, Object value, EventType eventType) { |
| </span></span><span style="display:flex;"><span> ... |
| </span></span><span style="display:flex;"><span> MetricsEventBus.publish(ConfigCenterEvent.toChangeEvent(applicationModel, configChangeEvent.getKey(), configChangeEvent.getGroup(), |
| </span></span><span style="display:flex;"><span> ConfigCenterEvent.ZK_PROTOCOL, ConfigChangeType.ADDED.name(), SELF_INCREMENT_SIZE)); |
| </span></span><span style="display:flex;"><span> } |
| </span></span></code></pre></div><p>在指标收集层面，它的行为和前文中两个配置中心一致，此处不详细展开三个配置中心具体实现的异同。</p> |
| <p><strong>AbstractMetadataReport</strong></p> |
| <p>元数据报告接口的抽象实现。它的三个实现 （NacosMetadataReport、RedisMetadataReport、ZookeeperMetadataReport）均使用它的指标事件逻辑。</p> |
| <p>当订阅新服务并获取它的元数据时，它会发布一个 MetadataEvent 触发相关指标的修改。</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#268bd2">private</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">storeProviderMetadataTask</span>(MetadataIdentifier providerMetadataIdentifier, ServiceDefinition serviceDefinition) { |
| </span></span><span style="display:flex;"><span>... |
| </span></span><span style="display:flex;"><span> MetricsEventBus.post(metadataEvent, () <span style="color:#719e07">-&gt;</span> |
| </span></span><span style="display:flex;"><span> { |
| </span></span><span style="display:flex;"><span> <span style="color:#dc322f">boolean</span> result <span style="color:#719e07">=</span> <span style="color:#cb4b16">true</span>; |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">try</span> { |
| </span></span><span style="display:flex;"><span> ... |
| </span></span><span style="display:flex;"><span> doStoreProviderMetadata(providerMetadataIdentifier, data); |
| </span></span><span style="display:flex;"><span> saveProperties(providerMetadataIdentifier, data, <span style="color:#cb4b16">true</span>, <span style="color:#719e07">!</span>syncReport); |
| </span></span><span style="display:flex;"><span> ... |
| </span></span><span style="display:flex;"><span> } <span style="color:#719e07">catch</span> (Exception e) { |
| </span></span><span style="display:flex;"><span> ... |
| </span></span><span style="display:flex;"><span> result <span style="color:#719e07">=</span> <span style="color:#cb4b16">false</span>; |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">return</span> result; |
| </span></span><span style="display:flex;"><span> }, aBoolean <span style="color:#719e07">-&gt;</span> aBoolean |
| </span></span><span style="display:flex;"><span> ); |
| </span></span><span style="display:flex;"><span> } |
| </span></span></code></pre></div><p>在前文中，我们提到 MetricsEventBus.post 的第二个参数是实际要进行的业务操作，第三个参数则是根据业务操作返回值判断操作是否成功的逻辑。</p> |
| <p>此处的业务操作是尝试存储目标服务的元数据。执行操作之前，会先发布事件，最终增加 <strong>STORE_PROVIDER_METADATA</strong> （尝试存储服务元数据次数）的计数。如果产生异常，会增加 <strong>STORE_PROVIDER_METADATA_ERROR</strong> （存储服务元数据失败） 的计数，否则增加<strong>STORE_PROVIDER_METADATA_SUCCEED</strong>（存储服务元数据成功） 的计数。</p></description></item><item><title>Blog: 4-指标转换与导出</title><link>https://dubbo.apache.org/zh-cn/blog/2023/04/28/4-%E6%8C%87%E6%A0%87%E8%BD%AC%E6%8D%A2%E4%B8%8E%E5%AF%BC%E5%87%BA/</link><pubDate>Fri, 28 Apr 2023 00:00:00 +0000</pubDate><guid>https://dubbo.apache.org/zh-cn/blog/2023/04/28/4-%E6%8C%87%E6%A0%87%E8%BD%AC%E6%8D%A2%E4%B8%8E%E5%AF%BC%E5%87%BA/</guid><description> |
| <h2 id="四指标转换与导出">四、指标转换与导出</h2> |
| <p>本章主要梳理指标收集完成后，向外部收集器导出的流程。</p> |
| <p>通过之前的分析，我们知道不同类型指标的收集分别由各个 Collector 实现进行。它们底层的 MetricsCollector 接口定义了指标导出的操作。</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#268bd2">@SPI</span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">public</span> <span style="color:#268bd2">interface</span> <span style="color:#268bd2">MetricsCollector</span><span style="color:#719e07">&lt;</span>E <span style="color:#268bd2">extends</span> TimeCounterEvent<span style="color:#719e07">&gt;</span> <span style="color:#268bd2">extends</span> MetricsLifeListener<span style="color:#719e07">&lt;</span>E<span style="color:#719e07">&gt;</span> { |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">default</span> <span style="color:#dc322f">boolean</span> <span style="color:#268bd2">isCollectEnabled</span>() { |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">return</span> <span style="color:#cb4b16">false</span>; |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">/** |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"> * Collect metrics as {@link MetricSample} |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"> * |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"> * @return List of MetricSample |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"> */</span> |
| </span></span><span style="display:flex;"><span> List<span style="color:#719e07">&lt;</span>MetricSample<span style="color:#719e07">&gt;</span> <span style="color:#268bd2">collect</span>(); |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><p>而指标报告器 (MetricsReporter) 的实现会定时调用Collector 的 <code>collect</code> 方法，更新并导出指标数据。</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#268bd2">public</span> <span style="color:#268bd2">interface</span> <span style="color:#268bd2">MetricsReporter</span> { |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">//初始化</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">init</span>(); |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">//刷新统计数据，定时调用collect()</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">refreshData</span>(); |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">//获取指标数据</span> |
| </span></span><span style="display:flex;"><span> String <span style="color:#268bd2">getResponse</span>(); |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">//获取带指标名的指标样本（单个指标）</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">default</span> String <span style="color:#268bd2">getResponseWithName</span>(String metricsName) { <span style="color:#719e07">return</span> <span style="color:#cb4b16">null</span>; } |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><p>指标报告器有两个实现：DefaultMetricsReporter 和 PrometheusMetricsReporter，它们都实现自 AbstractMetricsRepoter，并使用它的指标刷新逻辑 (<code>refreshData</code>方法)。</p> |
| <p>AbstractMetricsRepoter 初始化时会获取并保存所有 Collector 的实现，每次刷新数据，调用<code>refreshData</code>方法时都会遍历这些收集器，更新指标数据。</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#586e75">//AbstractMetricsRepoter</span> |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">initCollectors</span>() { |
| </span></span><span style="display:flex;"><span> ... |
| </span></span><span style="display:flex;"><span> List<span style="color:#719e07">&lt;</span>MetricsCollector<span style="color:#719e07">&gt;</span> otherCollectors <span style="color:#719e07">=</span> beanFactory.getBeansOfType(MetricsCollector.class); |
| </span></span><span style="display:flex;"><span> collectors.addAll(otherCollectors); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">refreshData</span>() { |
| </span></span><span style="display:flex;"><span> collectors.forEach(collector <span style="color:#719e07">-&gt;</span> { |
| </span></span><span style="display:flex;"><span> List<span style="color:#719e07">&lt;</span>MetricSample<span style="color:#719e07">&gt;</span> samples <span style="color:#719e07">=</span> collector.collect(); |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">for</span> (MetricSample sample : samples) { |
| </span></span><span style="display:flex;"><span> ... |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">//将Dubbo的度量类型适配为micrometer的度量类型，并将其添加到CompositeMeterRegistry中，借此实现多监控系统的支持。</span> |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> }); |
| </span></span></code></pre></div><p>DefaultMetricsReporter 和 PrometheusMetricsReporter 各自实现了自己的指标采样逻辑 (<code>getResponse</code>方法)。</p> |
| <p><strong>PrometheusMetricsReporter</strong></p> |
| <p>它通过 PrometheusMeterRegistry 获取普罗米修斯支持格式的样本数据：</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#586e75">//PrometheusMetricsReporter</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> String <span style="color:#268bd2">getResponse</span>() { |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">return</span> prometheusRegistry.scrape(); |
| </span></span><span style="display:flex;"><span> } |
| </span></span></code></pre></div><p>在初始化时，它会开启一个定时任务，定时向普罗米修斯服务端推送采样数据：</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#586e75">//PrometheusMetricsReporter</span> |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> SimpleMeterRegistry meterRegistry <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> SimpleMeterRegistry(); |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">@Override</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">doInit</span>() { |
| </span></span><span style="display:flex;"><span> addMeterRegistry(prometheusRegistry); |
| </span></span><span style="display:flex;"><span> schedulePushJob(); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">schedulePushJob</span>() { |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">//这里的URL是DefaultMetricsReporter中定义的指标报告URL，提供了指标服务的具体地址</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#dc322f">boolean</span> pushEnabled <span style="color:#719e07">=</span> url.getParameter(PROMETHEUS_PUSHGATEWAY_ENABLED_KEY, <span style="color:#cb4b16">false</span>); |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">if</span> (pushEnabled) { |
| </span></span><span style="display:flex;"><span> ... |
| </span></span><span style="display:flex;"><span> pushJobExecutor.scheduleWithFixedDelay(() <span style="color:#719e07">-&gt;</span> push(pushGateway, job), pushInterval, pushInterval, TimeUnit.SECONDS); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">protected</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">push</span>(PushGateway pushGateway, String job) { |
| </span></span><span style="display:flex;"><span> ... |
| </span></span><span style="display:flex;"><span> refreshData(); |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">//将本次采样数据添加到pushGateway，等待下次抓取</span> |
| </span></span><span style="display:flex;"><span> pushGateway.pushAdd(prometheusRegistry.getPrometheusRegistry(), job); |
| </span></span><span style="display:flex;"><span> ... |
| </span></span><span style="display:flex;"><span> } |
| </span></span></code></pre></div><p>PushGateway 和 PrometheusRegistry 均为 micrometer 提供的 API。</p> |
| <p><strong>PrometheusRegistry 将度量数据转换为普罗米修斯支持的格式，而 PushGateway 存储样本，暴露一个HTTP端点供普罗米修斯服务端抓取。</strong></p> |
| <p>PushGateway 本身只是一个度量数据的缓存区，普罗米修斯服务端每从其中抓取一次数据，其内部的样本就会被清除。</p> |
| <p><strong>DefaultMetricsReporter</strong></p> |
| <p>指标报告器的默认实现，提供了按指标名称导出特定指标的方法。</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#586e75">//DefaultMetricsReporter </span> |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">@Override</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> String <span style="color:#268bd2">getResponse</span>() { |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">return</span> <span style="color:#cb4b16">null</span>; |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">@Override</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> String <span style="color:#268bd2">getResponseWithName</span>(String metricsName) { |
| </span></span><span style="display:flex;"><span> ... |
| </span></span><span style="display:flex;"><span> meterRegistry.getMeters().stream().filter(meter <span style="color:#719e07">-&gt;</span> { |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">//根据名称过滤样本</span> |
| </span></span><span style="display:flex;"><span> }); |
| </span></span><span style="display:flex;"><span> metricsValue.forEach((key, value) <span style="color:#719e07">-&gt;</span> { |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">//按格式拼装结果</span> |
| </span></span><span style="display:flex;"><span> }); |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">return</span> sb.toString(); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">@Override</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">protected</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">doInit</span>() { |
| </span></span><span style="display:flex;"><span> addMeterRegistry(meterRegistry); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">@Override</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">protected</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">doDestroy</span>() {} |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><p>该实现使用的 SimpleMeterRegistry 本身只会存储指标数据的功能，而不像 PrometheusMeterRegistry 那样提供发布数据的方法。</p> |
| <p><strong>因此该指标报告器不会主动向外部发布数据，而是被动的通过 <code>getResponseWithName</code> 提供数据。</strong></p> |
| <p>而且，该报告器在任何情况下都会被初始化:</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#586e75">//DefaultApplicationDeployer#initMetricsReporter</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75">//If the protocol is not the default protocol, the default protocol is also initialized.</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">if</span> (<span style="color:#719e07">!</span>PROTOCOL_DEFAULT.equals(metricsConfig.getProtocol())) { |
| </span></span><span style="display:flex;"><span> DefaultMetricsReporterFactory defaultMetricsReporterFactory <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> DefaultMetricsReporterFactory(applicationModel); |
| </span></span><span style="display:flex;"><span> MetricsReporter defaultMetricsReporter <span style="color:#719e07">=</span> defaultMetricsReporterFactory.createMetricsReporter(metricsConfig.toUrl()); |
| </span></span><span style="display:flex;"><span> defaultMetricsReporter.init(); |
| </span></span><span style="display:flex;"><span> applicationModel.getBeanFactory().registerBean(defaultMetricsReporter); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span>... |
| </span></span></code></pre></div><p>实际上，该类主要在用户使用Qos命令查询时提供指定指标数据，而非提供给某个特定的外部指标中心。</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#586e75">//Qos命令</span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">public</span> <span style="color:#268bd2">class</span> <span style="color:#268bd2">DefaultMetricsReporterCmd</span> <span style="color:#268bd2">implements</span> BaseCommand { |
| </span></span><span style="display:flex;"><span>... |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">private</span> String <span style="color:#268bd2">getResponseByApplication</span>(ApplicationModel applicationModel, String metricsName) { |
| </span></span><span style="display:flex;"><span> String response <span style="color:#719e07">=</span> <span style="color:#2aa198">&#34;DefaultMetricsReporter not init&#34;</span>; |
| </span></span><span style="display:flex;"><span> MetricsReporter metricsReporter <span style="color:#719e07">=</span> applicationModel.getBeanFactory().getBean(DefaultMetricsReporter.class); |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">if</span> (metricsReporter <span style="color:#719e07">!=</span> <span style="color:#cb4b16">null</span>) { |
| </span></span><span style="display:flex;"><span> metricsReporter.refreshData(); |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">//获取指定名称指标的数据</span> |
| </span></span><span style="display:flex;"><span> response <span style="color:#719e07">=</span> metricsReporter.getResponseWithName(metricsName); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">return</span> response; |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span>} |
| </span></span><span style="display:flex;"><span>... |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><p>*需要注意的是，PrometheusMetricsReporter 也支持使用 Qos 命令查询内部指标数据，同样有对应的 PrometheusMetricsReporterCmd 实现，它们的工作原理相似。</p> |
| <p>以上就是指标样本从收集完成到最终导出到外部指标中心的大致流程。</p></description></item><item><title>Blog: 精进云原生 - Dubbo 3.2 正式发布</title><link>https://dubbo.apache.org/zh-cn/blog/2023/04/15/%E7%B2%BE%E8%BF%9B%E4%BA%91%E5%8E%9F%E7%94%9F-dubbo-3.2-%E6%AD%A3%E5%BC%8F%E5%8F%91%E5%B8%83/</link><pubDate>Sat, 15 Apr 2023 00:00:00 +0000</pubDate><guid>https://dubbo.apache.org/zh-cn/blog/2023/04/15/%E7%B2%BE%E8%BF%9B%E4%BA%91%E5%8E%9F%E7%94%9F-dubbo-3.2-%E6%AD%A3%E5%BC%8F%E5%8F%91%E5%B8%83/</guid><description> |
| <h2 id="背景介绍">背景介绍</h2> |
| <p>Apache Dubbo 是一款 RPC 服务开发框架，用于解决微服务架构下的服务治理与通信问题，官方提供了 Java、Golang 等多语言 SDK 实现。使用 Dubbo 开发的微服务原生具备相互之间的远程地址发现与通信能力， 利用 Dubbo 提供的丰富服务治理特性，可以实现诸如服务发现、负载均衡、流量调度等服务治理诉求。Dubbo 被设计为高度可扩展，用户可以方便的实现流量拦截、选址的各种定制逻辑。</p> |
| <h2 id="rest-协议支持">Rest 协议支持</h2> |
| <h3 id="1-why-rest">1. Why Rest？</h3> |
| <p>随着移动互联网的普及，越来越多的应用程序需要与不同的系统进行集成。而这些系统可能使用不同的通信协议，这就需要应用程序能够灵活地适应各种协议。Rest 协议正是一种非常灵活的协议，它使用 HTTP 进行通信，可以与几乎任何系统进行集成。</p> |
| <p>在过去，RPC框架通常使用二进制协议进行通信，这种协议非常高效，但不够灵活。相比之下，Rest协议使用HTTP进行通信，更方便与其他系统集成，也更容易与现代化的Web和移动应用程序集成。</p> |
| <p>除了灵活性，Rest协议还具有易读性和易用性。使用Rest协议，开发人员可以使用通用的HTTP工具（例如cURL或Postman）测试和调试服务，而不需要特定的工具。此外，由于Rest协议使用标准的HTTP方法（例如GET、POST、PUT和DELETE），因此开发人员可以更容易地理解和使用服务。</p> |
| <h3 id="2-how-to">2. How To？</h3> |
| <p>在之前的 Dubbo 版本中，也提供了 Rest 协议的支持，但存在以下问题：</p> |
| <ul> |
| <li> |
| <p>仅支持 JAX-RS 注解域，相较于采用度更高的 Spring Web 注解，复杂度更高</p> |
| </li> |
| <li> |
| <p>需要依赖众多外部组件，如 Resteasy、tomcat、jetty 等，才能正常工作，极大地增加了使用成本。</p> |
| </li> |
| </ul> |
| <p>因此，在 Dubbo 3.2 版本中，我们引入了 Spring Web 注解域的支持以及 Rest 协议的原生支持，无需依赖任何外部组件。</p> |
| <p>最直观的区别是，如果你升级到了 Dubbo 3.2，通过 Spring Web 发布的服务也可以直接通过 Dubbo 来发布。这一切只需要将 @Controller 注解改成 @DubboService 注解即可。</p> |
| <p>此外，对于原来使用 Spring Boot 或者 Spring Cloud 作为服务拆分的用户，也可以基于本功能平滑地迁移到 Dubbo 上来，以极低的成本获得 Dubbo 强大的能力。</p> |
| <h3 id="3-whats-next">3. What&rsquo;s next？</h3> |
| <p>接下来 Dubbo 还将继续完善。除了现有的特性，我们还将加入以下新的特性，以更好地满足需求：</p> |
| <ol> |
| <li> |
| <p>HTTP/2、HTTP/3 协议的原生支持。这意味着，你可以更加方便地使用 Dubbo 与其他系统进行通信，无需担心协议的兼容性问题。</p> |
| </li> |
| <li> |
| <p>参考 Spring Web 注解，Dubbo 原生提供 Web 注解的支持，使得用户无需依赖 Spring Web 也可以获得与使用 Spring Web 相同的体验。</p> |
| </li> |
| <li> |
| <p>支持现有服务零改造以 Rest 协议发布。这个特性可以让你更加灵活地管理你的服务，而无需对现有的服务进行任何改动。你可以通过 Rest 协议来发布你的服务，这样你的服务就可以更加方便地被其他系统所使用了。</p> |
| </li> |
| </ol> |
| <h2 id="可观测体系">可观测体系</h2> |
| <p>在微服务架构下，业务系统由越来越多的服务组成，服务之间互相调用，随之而来的问题是如何快速地定位故障，并及时解决。为了解决这一问题，我们需要更多的工具和技术来确保整个系统的可靠性。其中一个解决方案是使用日志记录和分析，以便可以更好地跟踪应用程序的运行情况，找到潜在的问题并及时解决。另外，使用可视化的监控工具可以帮助我们更好地理解整个系统的状态，从而更好地预测和解决问题。最后，我们还可以使用自动化测试来确保每个服务的质量，以及整个系统的稳定性和可靠性，从而更好地满足客户的需求。</p> |
| <p>一套完整的可观测体系应该包括以下功能：</p> |
| <ul> |
| <li> |
| <p>Metrics 指标监控，用于收集和分析各种指标数据，包括系统的性能、资源消耗情况等等。通过指标监控，用户可以及时了解系统的运行情况，发现异常并做出相应的处理。</p> |
| </li> |
| <li> |
| <p>Tracing 分布式追踪，用于跟踪系统中各个服务之间的调用链路，帮助用户发现和定位潜在的性能问题、瓶颈等等。通过分布式追踪，用户可以深入了解系统的运作过程，识别出可能存在的问题并进行有效的优化和调整。</p> |
| </li> |
| <li> |
| <p>Logging 日志管理，用于记录系统中发生的各种事件和操作，包括错误日志、访问日志、事务日志等等。通过日志管理，用户可以了解系统的运行情况、故障信息等等，帮助用户快速定位问题并进行相应的处理。</p> |
| </li> |
| </ul> |
| <p>综上所述，以上三个功能不仅可以帮助用户快速定位故障，提高系统的可靠性和稳定性，还可以帮助用户深入了解系统的运行情况和性能状况，为用户提供全方位的监控和保障。</p> |
| <p>在 Dubbo 3.2 版本中，我们主要就 Metrics 和 Tracing 两个方面进行了增强。</p> |
| <h3 id="1-metrics">1. Metrics</h3> |
| <p>在 Metrics 方面，我们使用 Micrometer 大幅增加了指标的埋点，包括但不限于 QPS、RT、调用总数、成功数、失败数、失败原因统计等核心服务指标。为了更好地监测服务运行状态，Dubbo 还提供了对核心组件状态的监控，例如线程池数量、服务健康状态等。此外，Dubbo 还支持标准 Prometheus 的 Pull 和 Push 模式，并提供了若干个官方原生的 Grafana 面板，实现面向生产的 Metrics 全天候观测。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/32-release/Untitled.png" alt="img"></p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/32-release/Untitled%201.png" alt="Untitled"></p> |
| <p>对于所有的用户，只需要升级到 Dubbo 3.2 版本，并添加 dubbo-spring-boot-observability-starter 依赖即可获得 Metrics 能力。在应用启动后，将在 Dubbo QoS 的 metrics 命令下暴露相关的指标，本地可以通过 <code>http://127.0.0.1:22222/metrics</code> 获取。此外对于使用了 Spring Actuator 的用户，Dubbo 也将默认将这些数据暴露出来。</p> |
| <h3 id="tracing">Tracing</h3> |
| <p>在 Tracing 方面，我们还基于 Micrometer 实现了请求运行时的埋点跟踪。我们通过 Filter 拦截器原生方式来实现这一功能。我们支持将跟踪数据导出到一些主流实现，例如 Zipkin、Skywalking、Jaeger 等。这样就可以实现全链路跟踪数据的分析和可视化展示。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/32-release/Untitled%202.png" alt="Untitled"></p> |
| <h3 id="logging">Logging</h3> |
| <p>此外，对于 Logging 方面，Dubbo 从 3.1 版本开始引入了错误码机制，实现了 WARN、ERROR 级别日志的全覆盖。在异常场景下，支持快速索引官网解决文档。</p> |
| <h2 id="native-image-原生支持">Native Image 原生支持</h2> |
| <p>在Native Image方面，Dubbo从3.2开始将正式基于GraalVM完成对Native Image 的支持，从Dubbo3.0开始，Dubbo已经有一些Native Image支持的探索，但是易用性和支持程度都不太理想，从3.2版本开始，Dubbo将会简化用户接入Native Image的使用方式。主要可以分为三个面：</p> |
| <ol> |
| <li>编译插件配置升级：从最初的 native-image-maven-plugin 改为 dubbo-maven-plugin +native-maven-plugin，区分了Graalvm官方提供的native image配置与Dubbo所需的native image配置，简化了用户所需要关心的native image配置</li> |
| </ol> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-xml" data-lang="xml"><span style="display:flex;"><span><span style="color:#268bd2">&lt;plugin&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;groupId&gt;</span>org.graalvm.nativeimage<span style="color:#268bd2">&lt;/groupId&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;artifactId&gt;</span>native-image-maven-plugin<span style="color:#268bd2">&lt;/artifactId&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;version&gt;</span>21.0.0.2<span style="color:#268bd2">&lt;/version&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;executions&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;execution&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;goals&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;goal&gt;</span>native-image<span style="color:#268bd2">&lt;/goal&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;/goals&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;phase&gt;</span>package<span style="color:#268bd2">&lt;/phase&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;/execution&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;/executions&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;configuration&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;skip&gt;</span>false<span style="color:#268bd2">&lt;/skip&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;imageName&gt;</span>demo-native-provider<span style="color:#268bd2">&lt;/imageName&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;mainClass&gt;</span>org.apache.dubbo.demo.graalvm.provider.Application<span style="color:#268bd2">&lt;/mainClass&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;buildArgs&gt;</span> |
| </span></span><span style="display:flex;"><span> --no-fallback |
| </span></span><span style="display:flex;"><span> --initialize-at-build-time=org.slf4j.MDC |
| </span></span><span style="display:flex;"><span> --initialize-at-build-time=org.slf4j.LoggerFactory |
| </span></span><span style="display:flex;"><span> --initialize-at-build-time=org.slf4j.impl.StaticLoggerBinder |
| </span></span><span style="display:flex;"><span> --initialize-at-build-time=org.apache.log4j.helpers.Loader |
| </span></span><span style="display:flex;"><span> --initialize-at-build-time=org.apache.log4j.Logger |
| </span></span><span style="display:flex;"><span> --initialize-at-build-time=org.apache.log4j.helpers.LogLog |
| </span></span><span style="display:flex;"><span> --initialize-at-build-time=org.apache.log4j.LogManager |
| </span></span><span style="display:flex;"><span> --initialize-at-build-time=org.apache.log4j.spi.LoggingEvent |
| </span></span><span style="display:flex;"><span> --initialize-at-build-time=org.slf4j.impl.Log4jLoggerFactory |
| </span></span><span style="display:flex;"><span> --initialize-at-build-time=org.slf4j.impl.Log4jLoggerAdapter |
| </span></span><span style="display:flex;"><span> --initialize-at-build-time=org.eclipse.collections.api.factory.Sets |
| </span></span><span style="display:flex;"><span> --initialize-at-run-time=io.netty.channel.epoll.Epoll |
| </span></span><span style="display:flex;"><span> --initialize-at-run-time=io.netty.channel.epoll.Native |
| </span></span><span style="display:flex;"><span> --initialize-at-run-time=io.netty.channel.epoll.EpollEventLoop |
| </span></span><span style="display:flex;"><span> --initialize-at-run-time=io.netty.channel.epoll.EpollEventArray |
| </span></span><span style="display:flex;"><span> --initialize-at-run-time=io.netty.channel.DefaultFileRegion |
| </span></span><span style="display:flex;"><span> --initialize-at-run-time=io.netty.channel.kqueue.KQueueEventArray |
| </span></span><span style="display:flex;"><span> --initialize-at-run-time=io.netty.channel.kqueue.KQueueEventLoop |
| </span></span><span style="display:flex;"><span> --initialize-at-run-time=io.netty.channel.kqueue.Native |
| </span></span><span style="display:flex;"><span> --initialize-at-run-time=io.netty.channel.unix.Errors |
| </span></span><span style="display:flex;"><span> --initialize-at-run-time=io.netty.channel.unix.IovArray |
| </span></span><span style="display:flex;"><span> --initialize-at-run-time=io.netty.channel.unix.Limits |
| </span></span><span style="display:flex;"><span> --initialize-at-run-time=io.netty.util.internal.logging.Log4JLogger |
| </span></span><span style="display:flex;"><span> --initialize-at-run-time=io.netty.channel.unix.Socket |
| </span></span><span style="display:flex;"><span> --initialize-at-run-time=io.netty.channel.ChannelHandlerMask |
| </span></span><span style="display:flex;"><span> --report-unsupported-elements-at-runtime |
| </span></span><span style="display:flex;"><span> --allow-incomplete-classpath |
| </span></span><span style="display:flex;"><span> --enable-url-protocols=http |
| </span></span><span style="display:flex;"><span> -H:+ReportExceptionStackTraces |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;/buildArgs&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;/configuration&gt;</span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">&lt;/plugin&gt;</span> |
| </span></span></code></pre></div><p>变为：</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-xml" data-lang="xml"><span style="display:flex;"><span><span style="color:#268bd2">&lt;plugin&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;groupId&gt;</span>org.graalvm.buildtools<span style="color:#268bd2">&lt;/groupId&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;artifactId&gt;</span>native-maven-plugin<span style="color:#268bd2">&lt;/artifactId&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;version&gt;</span>0.9.20<span style="color:#268bd2">&lt;/version&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;configuration&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;classesDirectory&gt;</span>${project.build.outputDirectory}<span style="color:#268bd2">&lt;/classesDirectory&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;metadataRepository&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;enabled&gt;</span>true<span style="color:#268bd2">&lt;/enabled&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;/metadataRepository&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;requiredVersion&gt;</span>22.3<span style="color:#268bd2">&lt;/requiredVersion&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;mainClass&gt;</span>org.apache.dubbo.demo.graalvm.provider.Application<span style="color:#268bd2">&lt;/mainClass&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;/configuration&gt;</span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">&lt;/plugin&gt;</span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">&lt;plugin&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;groupId&gt;</span>org.apache.dubbo<span style="color:#268bd2">&lt;/groupId&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;artifactId&gt;</span>dubbo-maven-plugin<span style="color:#268bd2">&lt;/artifactId&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;version&gt;</span>${project.version}<span style="color:#268bd2">&lt;/version&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;configuration&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;mainClass&gt;</span>org.apache.dubbo.demo.graalvm.provider.Application<span style="color:#268bd2">&lt;/mainClass&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;/configuration&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;executions&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;execution&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;phase&gt;</span>process-sources<span style="color:#268bd2">&lt;/phase&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;goals&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;goal&gt;</span>dubbo-process-aot<span style="color:#268bd2">&lt;/goal&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;/goals&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;/execution&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;/executions&gt;</span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">&lt;/plugin&gt;</span> |
| </span></span></code></pre></div><ol> |
| <li>旧版本中需要用户手动生成和补全Dubbo内独有的Adaptive代码，新版本用户将不需要关心这些细节。</li> |
| <li>旧版本中Dubbo框架生成的META-INF.native-image下的配置文件会直接生成在用户的工程目录中，3.2新版本将会被编译到target下，不影响用户的工程结构。除此之外，Dubbo框架也将不再采用手动补全native image的方式，而且采用自动探测和生成所需的配置文件的方式，简化了Dubbo开发者的体验。这也能够降低最后编译后的二进制包的大小和提高编译速度。</li> |
| </ol> |
| <p>除了易用性提升以外，Dubbo将在3.2版本将在native image场景下支持API、注解以及XML配置方式，并支持与SpringBoot3中的native兼容。</p> |
| <h2 id="其他">其他</h2> |
| <h3 id="jdk-17--spring-boot-3-原生支持">JDK 17 &amp; Spring Boot 3 原生支持</h3> |
| <p>JDK 17 是继 JDK 11 之后目前 Java 的最新 LTS 版本，包括许多新功能和改进，例如 Sealed 类、垃圾收集器的改进等等。</p> |
| <p>自从 JDK 16 开始限制 Java 内部类反射以后，Dubbo 的序列化以及动态代理都受到了一定的影响。在 Dubbo 3.2 中，我们通过 Fastjson2 以及 Javassist 的优化从底层解决了兼容性问题。目前 Dubbo 已经可以完美运行在 JDK17 之上，所有单元测试以及大多数集成测试也都在 JDK 17 平台上测试通过。</p> |
| <p>针对即将发布的 JDK 21 LTS，Dubbo 正在紧锣密鼓地进行适配。我们将在 3.3 版本中加入对 JDK 21 和 Dubbo 协程（Project Loom）的支持。</p> |
| <h3 id="rpc-性能大幅提升">RPC 性能大幅提升</h3> |
| <p>在3.2版本中，我们对RPC调用性能做了调优，其中优化内容如下。</p> |
| <ul> |
| <li> |
| <p>消除了同步锁竞争以及会出现阻塞的代码(<code>triple</code>)</p> |
| <ol> |
| <li>在3.1版本中创建HTTP/2 Stream Channel时采用了同步阻塞用户线程的方式等待Stream Channel创建完成，创建完成后才开始发起远程调用。而在3.2中我们将创建HTTP/2 Stream Channel的行为<code>异步化</code>并保证创建完毕后才发起请求，以此<code>减少了用户线程不必要的等待</code>。</li> |
| <li>在3.1版本中用户线程与Netty的I/O线程出现了同步锁竞争，IO线程每次写请求都会检查Socket可用性，而用户线程中也使用了Socket可用性检查的方法，但JDK中Socket可用性检查的实现使用了 <code>synchronized</code> 来保证并发安全，为了减少这部分的耗时我们将用户线程的检查移除，消除了该部分的耗时。</li> |
| </ol> |
| </li> |
| <li> |
| <p>减少了用同步阻塞调用方式的请求响应延迟(<code>dubbo</code>、<code>triple</code>)</p> |
| <p>在3.1版本中SYNC模式下的RPC调用我们使用了阻塞队列的方式等待远程服务写回的响应，当响应写回后会添加到队列中并唤醒被阻塞的用户线程。而在3.2中我们将阻塞队列更换为并发队列，利用其CAS的机制大幅度减少线程进入阻塞的次数，提高CPU利用率并降低了响应处理延迟</p> |
| </li> |
| <li> |
| <p>减少了线程切换的次数(<code>triple</code>)</p> |
| <p>在3.1版本中SYNC模式下的RPC调用在接收响应时使用了一个消费者线程池进行处理，处理完毕后才唤醒用户线程接收响应。但通过分析SYNC模式下的消费者线程池是不必要的，多了一层消费者线程池处理不仅浪费服务器资源还降低了性能，因此我们在3.2版本中将SYNC模式下消费者线程池移除，交互模型由 <code>NettyEventLoop → ConsumerThread → UserThread</code>变成了<code>NettyEventLoop → UserThread</code>，以此减少服务器资源的浪费同时提高了性能</p> |
| </li> |
| <li> |
| <p>优化了I/O性能(<code>dubbo</code>、<code>triple</code>)</p> |
| <p>在3.1版本中我们利用了Netty框架实现了网络通讯，但每次往对端写消息时都直接刷写到对端导致系统调用次数极高，降低了通讯性能。为此我们在3.2版本中对该进行了优化，每次发消息时是先将消息提交到一个写队列中，并在合适的时机将多个消息一次性写出，以此提高了I/O利用率，大幅度提高RPC通讯性能。</p> |
| </li> |
| <li> |
| <p>支持在用户线程上序列化报文(<code>dubbo</code>、<code>triple</code>)</p> |
| <p>在3.1版本中RPC通讯中的报文反序列化均是在单一I/O线程中串行执行的，导致无法利用多核CPU的优势。为此我们在3.2版本中支持了在用户线程上执行反序列化这类较为耗时的任务，将I/O线程的压力均分到多个CPU核心上，以此提高了<code>较大报文</code>场景下的RPC性能。</p> |
| </li> |
| </ul> |
| <p>3.2对比3.1的性能提升如下：</p> |
| <p>Triple协议：较小报文场景createUser、existUser、getUser下，提升率约在<code>40-45%</code>，提升后的性能与gRPC同场景的性能基本持平。较大报文场景listUser下提升了约<code>17%</code>，相较于同场景下的gRPC还低<code>11%</code>。</p> |
| <p>Dubbo协议：较小报文场景createUser、getUser下，提升率约<code>180%</code>。极小报文existUser(仅一个boolean值)下提升率约<code>24%</code>，而较大报文listUser提升率最高，达到了<code>1000%</code>！</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/32-release/Untitled%203.png" alt="Untitled"></p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/32-release/Untitled%204.png" alt="Untitled"></p> |
| <h2 id="如何升级到-dubbo-32">如何升级到 Dubbo 3.2</h2> |
| <h3 id="pom-升级">Pom 升级</h3> |
| <p>最新的 Dubbo Maven 坐标为：</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-xml" data-lang="xml"><span style="display:flex;"><span><span style="color:#268bd2">&lt;dependency&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;groupId&gt;</span>org.apache.dubbo<span style="color:#268bd2">&lt;/groupId&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;artifactId&gt;</span>dubbo<span style="color:#268bd2">&lt;/artifactId&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;version&gt;</span>3.2.0<span style="color:#268bd2">&lt;/version&gt;</span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">&lt;/dependency&gt;</span> |
| </span></span></code></pre></div><h3 id="兼容性">兼容性</h3> |
| <p>对于绝大多数的用户，升级到 Dubbo 3.2.0 是完全平滑的，仅需要修改依赖包版本即可。</p> |
| <ol> |
| <li> |
| <p>序列化校验逻辑的增强（<strong>重要</strong>）</p> |
| <p>如前文所述，在 Dubbo 3.2.0 版本中，Dubbo 将默认开启序列化白名单的强校验，以提升 Dubbo 的安全性，避免远程命令执行的问题。目前的机制通过包名递归机制自动信任了部分类，但对于一些使用了泛型等可能存在扫描不全的用户，我们建议您先升级到 Dubbo 3.1.9 版本或添加 <code>-Ddubbo.application.serialize-check-status=WARN</code> 配置。观察一段时间后（通过日志、QoS 命令），如果没有触发安全告警，则可以配置强校验模式。</p> |
| <p>关于自定义白名单的配置，可以参考官网的 <code>文档 / SDK 手册 / Java SDK / 高级特性和用法 / 提升安全性 / 类检查机制</code> 一文进行配置。</p> |
| </li> |
| <li> |
| <p>默认序列化的修改</p> |
| <p>Dubbo 3.2.0 版本开始默认序列化方式从 <code>hessian2</code> 切换为 <code>fastjson2</code>，对于升级到 3.2.0 的应用，Dubbo 会自动尝试采用 <code>fastjson2</code> 进行序列化。请注意，无论是客户端还是服务端，只要有一端还没有升级到 3.2.0，都将降级为 <code>hessian2</code> 序列化，保证兼容性。</p> |
| </li> |
| <li> |
| <p>默认关闭推空保护</p> |
| <p>推空保护的目的是在注册中心出现故障并且主动推送空地址的时候，Dubbo 保留最后一批 provider 信息，以保证服务可用。但是，在大多数情况下，即使注册中心出现故障，也不会推送空地址，只有在一些特殊情况下才会出现。如果开启推空保护，则会对 Dubbo 的 Fallback 逻辑、心跳逻辑等造成较大的影响，给开发人员使用 Dubbo 带来困扰。</p> |
| <p>如果在生产环境中需要开启推空保护以实现高可用性，可以将 <code>dubbo.application.enable-empty-protection</code> 配置为 <code>true</code>。但是请注意，已知开启推空保护会导致服务端应用从仅支持接口级服务发现的 <code>2.6.x</code>、<code>2.7.x</code> 版本升级到 <code>3.x</code> 之后回滚到原来的版本时出现异常，极端情况下可能会导致服务调用失败。</p> |
| </li> |
| </ol> |
| <h2 id="总结">总结</h2> |
| <p>Dubbo 3.2 是一个非常重要的版本，它带来了众多新功能和改进，使得 Dubbo 更加强大和易用。我们非常感谢社区的支持和贡献，希望大家可以尽快体验 Dubbo 3.2，享受其中带来的便利和优势。</p></description></item><item><title>Blog: 如何通过 Higress 网关代理 Dubbo 服务</title><link>https://dubbo.apache.org/zh-cn/blog/2023/04/01/%E5%A6%82%E4%BD%95%E9%80%9A%E8%BF%87-higress-%E7%BD%91%E5%85%B3%E4%BB%A3%E7%90%86-dubbo-%E6%9C%8D%E5%8A%A1/</link><pubDate>Sat, 01 Apr 2023 00:00:00 +0000</pubDate><guid>https://dubbo.apache.org/zh-cn/blog/2023/04/01/%E5%A6%82%E4%BD%95%E9%80%9A%E8%BF%87-higress-%E7%BD%91%E5%85%B3%E4%BB%A3%E7%90%86-dubbo-%E6%9C%8D%E5%8A%A1/</guid><description> |
| <h1 id="higress-对接-dubbo-服务">Higress 对接 Dubbo 服务</h1> |
| <p>Higress提供了从HTTP协议到Dubbo协议进行转换的功能，用户通过配置协议转换，可以将一个Dubbo服务以HTTP接口暴露出来，从而用HTTP请求实现对Dubbo接口的调用。本文将通过一个示例来介绍如何用Higress配置HTTP到Dubbo的协议转换。该示例会引导您轻松地部署一个Nacos server和一个Dubbo服务，然后通过Ingress将HTTP请求转发到注册在Nacos上的Dubbo服务，并通过Higress的协议转换能力完成对Dubbo服务的HTTP调用。</p> |
| <h2 id="前提条件">前提条件</h2> |
| <ol> |
| <li>Higress目前支持的Dubbo框架的版本为2.x。若您使用Dubbo3.0，要求使用dubbo协议（目前暂不支持Triple协议）。</li> |
| <li>已安装Higress，并开启了对Istio CRD的支持，参考<a href="https://higress.io/zh-cn/docs/ops/deploy-by-helm">Higress安装部署文档</a>。</li> |
| </ol> |
| <h2 id="部署nacos和dubbo服务">部署Nacos和Dubbo服务</h2> |
| <p>首先在K8s集群中apply以下资源，以部署一个Nacos注册中心，同时通过K8s service将这个Nacos server暴露出来。</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-yaml" data-lang="yaml"><span style="display:flex;"><span><span style="color:#586e75"># Nacos Server配置</span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">apiVersion</span>: apps/v1 |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">kind</span>: Deployment |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">metadata</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">name</span>: nacos-server |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">spec</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">replicas</span>: <span style="color:#2aa198">1</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">selector</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">matchLabels</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">app</span>: nacos-server |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">template</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">metadata</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">labels</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">app</span>: nacos-server |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">spec</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">containers</span>: |
| </span></span><span style="display:flex;"><span> - <span style="color:#268bd2">env</span>: |
| </span></span><span style="display:flex;"><span> - <span style="color:#268bd2">name</span>: MODE |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">value</span>: standalone |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">image</span>: nacos/nacos-server:v2.2.0 |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">imagePullPolicy</span>: Always |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">name</span>: nacos-server |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">ports</span>: |
| </span></span><span style="display:flex;"><span> - <span style="color:#268bd2">containerPort</span>: <span style="color:#2aa198">8848</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">name</span>: server |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">dnsPolicy</span>: ClusterFirst |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">restartPolicy</span>: Always |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># Nacos Server Service配置</span> |
| </span></span><span style="display:flex;"><span>--- |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">apiVersion</span>: v1 |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">kind</span>: Service |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">metadata</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">name</span>: nacos-server |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">spec</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">ports</span>: |
| </span></span><span style="display:flex;"><span> - <span style="color:#268bd2">port</span>: <span style="color:#2aa198">8848</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">name</span>: server |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">protocol</span>: TCP |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">targetPort</span>: <span style="color:#2aa198">8848</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">selector</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">app</span>: nacos-server |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">type</span>: ClusterIP |
| </span></span></code></pre></div><p>在K8s集群中apply以下资源，以部署一个Dubbo服务，该Dubbo服务将注册到上述的Naocs中。</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-yaml" data-lang="yaml"><span style="display:flex;"><span><span style="color:#268bd2">apiVersion</span>: apps/v1 |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">kind</span>: Deployment |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">metadata</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">name</span>: nacos-provider |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">spec</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">replicas</span>: <span style="color:#2aa198">1</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">selector</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">matchLabels</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">app</span>: nacos-provider |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">template</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">metadata</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">labels</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">app</span>: nacos-provider |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">spec</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">containers</span>: |
| </span></span><span style="display:flex;"><span> - <span style="color:#268bd2">name</span>: server |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">image</span>: higress-registry.cn-hangzhou.cr.aliyuncs.com/samples/nacos-dubbo-provider:v1.0.0 |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">imagePullPolicy</span>: IfNotPresent |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">ports</span>: |
| </span></span><span style="display:flex;"><span> - <span style="color:#268bd2">containerPort</span>: <span style="color:#2aa198">20880</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">env</span>: |
| </span></span><span style="display:flex;"><span> - <span style="color:#268bd2">name</span>: DUBBO_REGISTRY_ADDRESS |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">value</span>: nacos-server.default.svc.cluster.local |
| </span></span></code></pre></div><p>该Dubbo服务的代码可以在Nacos的<a href="https://github.com/nacos-group/nacos-examples/tree/master/nacos-dubbo-example">示例代码</a>仓库中找到，其接口定义为：</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#719e07">package</span> com.alibaba.nacos.example.dubbo.service; |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">public</span> <span style="color:#268bd2">interface</span> <span style="color:#268bd2">DemoService</span> { |
| </span></span><span style="display:flex;"><span> String <span style="color:#268bd2">sayName</span>(String name); |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><p>接口实现如下：</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#719e07">package</span> com.alibaba.nacos.example.dubbo.service; |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span><span style="color:#719e07">import</span> com.alibaba.dubbo.config.annotation.Service; |
| </span></span><span style="display:flex;"><span><span style="color:#719e07">import</span> com.alibaba.dubbo.rpc.RpcContext; |
| </span></span><span style="display:flex;"><span><span style="color:#719e07">import</span> org.springframework.beans.factory.annotation.Value; |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75">/** |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"> * Default {@link DemoService} |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"> * https://nacos.io/zh-cn/docs/use-nacos-with-dubbo.html |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"> * @since 2.6.5 |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"> */</span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">@Service</span>(version <span style="color:#719e07">=</span> <span style="color:#2aa198">&#34;${demo.service.version}&#34;</span>, group <span style="color:#719e07">=</span> <span style="color:#2aa198">&#34;${demo.service.group}&#34;</span>) |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">public</span> <span style="color:#268bd2">class</span> <span style="color:#268bd2">DefaultService</span> <span style="color:#268bd2">implements</span> DemoService { |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">@Value</span>(<span style="color:#2aa198">&#34;${demo.service.name}&#34;</span>) |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> String serviceName; |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> String <span style="color:#268bd2">sayName</span>(String name) { |
| </span></span><span style="display:flex;"><span> RpcContext rpcContext <span style="color:#719e07">=</span> RpcContext.getContext(); |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">return</span> String.format(<span style="color:#2aa198">&#34;Service [name :%s , port : %d] %s(\&#34;%s\&#34;) : Hello,%s&#34;</span>, |
| </span></span><span style="display:flex;"><span> serviceName, |
| </span></span><span style="display:flex;"><span> rpcContext.getLocalPort(), |
| </span></span><span style="display:flex;"><span> rpcContext.getMethodName(), |
| </span></span><span style="display:flex;"><span> name, |
| </span></span><span style="display:flex;"><span> name); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><p>在本示例中，该Dubbo服务的服务名为com.alibaba.nacos.example.dubbo.service.DemoService，服务版本为1.0.0，服务分组为dev。</p> |
| <p>为了测试方便，我们可以通过运行以下命令来将我们部署在K8s集群中的Naocs服务映射到本地端口：</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-bash" data-lang="bash"><span style="display:flex;"><span>kubectl port-forward svc/nacos-server 8848:8848 --address<span style="color:#719e07">=</span><span style="color:#2aa198">&#39;0.0.0.0&#39;</span> |
| </span></span></code></pre></div><p>然后请求Nacos的服务发现接口，可以查看到我们Dubbo服务的元数据信息，从而对以上部署进行验证。</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-bash" data-lang="bash"><span style="display:flex;"><span><span style="color:#268bd2">$curl</span> -X GET <span style="color:#2aa198">&#39;http://127.0.0.1:8848/nacos/v1/ns/instance/list?serviceName=providers:com.alibaba.nacos.example.dubbo.service.DemoService:1.0.0:dev&#39;</span> |
| </span></span><span style="display:flex;"><span><span style="color:#719e07">{</span><span style="color:#2aa198">&#34;name&#34;</span>:<span style="color:#2aa198">&#34;DEFAULT_GROUP@@providers:com.alibaba.nacos.example.dubbo.service.DemoService:1.0.0:dev&#34;</span>,<span style="color:#2aa198">&#34;groupName&#34;</span>:<span style="color:#2aa198">&#34;DEFAULT_GROUP&#34;</span>,<span style="color:#2aa198">&#34;clusters&#34;</span>:<span style="color:#2aa198">&#34;&#34;</span>,<span style="color:#2aa198">&#34;cacheMillis&#34;</span>:10000,<span style="color:#2aa198">&#34;hosts&#34;</span>:<span style="color:#719e07">[{</span><span style="color:#2aa198">&#34;ip&#34;</span>:<span style="color:#2aa198">&#34;10.244.0.58&#34;</span>,<span style="color:#2aa198">&#34;port&#34;</span>:20880,<span style="color:#2aa198">&#34;weight&#34;</span>:1.0,<span style="color:#2aa198">&#34;healthy&#34;</span>:true,<span style="color:#2aa198">&#34;enabled&#34;</span>:true,<span style="color:#2aa198">&#34;ephemeral&#34;</span>:true,<span style="color:#2aa198">&#34;clusterName&#34;</span>:<span style="color:#2aa198">&#34;DEFAULT&#34;</span>,<span style="color:#2aa198">&#34;serviceName&#34;</span>:<span style="color:#2aa198">&#34;DEFAULT_GROUP@@providers:com.alibaba.nacos.example.dubbo.service.DemoService:1.0.0:dev&#34;</span>,<span style="color:#2aa198">&#34;metadata&#34;</span>:<span style="color:#719e07">{</span><span style="color:#2aa198">&#34;side&#34;</span>:<span style="color:#2aa198">&#34;provider&#34;</span>,<span style="color:#2aa198">&#34;release&#34;</span>:<span style="color:#2aa198">&#34;dubbo_demo&#34;</span>,<span style="color:#2aa198">&#34;methods&#34;</span>:<span style="color:#2aa198">&#34;sayName&#34;</span>,<span style="color:#2aa198">&#34;deprecated&#34;</span>:<span style="color:#2aa198">&#34;false&#34;</span>,<span style="color:#2aa198">&#34;dubbo&#34;</span>:<span style="color:#2aa198">&#34;2.0.2&#34;</span>,<span style="color:#2aa198">&#34;pid&#34;</span>:<span style="color:#2aa198">&#34;3034042&#34;</span>,<span style="color:#2aa198">&#34;interface&#34;</span>:<span style="color:#2aa198">&#34;com.alibaba.nacos.example.dubbo.service.DemoService&#34;</span>,<span style="color:#2aa198">&#34;service-name-mapping&#34;</span>:<span style="color:#2aa198">&#34;true&#34;</span>,<span style="color:#2aa198">&#34;version&#34;</span>:<span style="color:#2aa198">&#34;1.0.0&#34;</span>,<span style="color:#2aa198">&#34;generic&#34;</span>:<span style="color:#2aa198">&#34;false&#34;</span>,<span style="color:#2aa198">&#34;revision&#34;</span>:<span style="color:#2aa198">&#34;dubbo_demo&#34;</span>,<span style="color:#2aa198">&#34;path&#34;</span>:<span style="color:#2aa198">&#34;com.alibaba.nacos.example.dubbo.service.DemoService&#34;</span>,<span style="color:#2aa198">&#34;protocol&#34;</span>:<span style="color:#2aa198">&#34;dubbo&#34;</span>,<span style="color:#2aa198">&#34;metadata-type&#34;</span>:<span style="color:#2aa198">&#34;remote&#34;</span>,<span style="color:#2aa198">&#34;application&#34;</span>:<span style="color:#2aa198">&#34;dubbo-provider-demo&#34;</span>,<span style="color:#2aa198">&#34;background&#34;</span>:<span style="color:#2aa198">&#34;false&#34;</span>,<span style="color:#2aa198">&#34;dynamic&#34;</span>:<span style="color:#2aa198">&#34;true&#34;</span>,<span style="color:#2aa198">&#34;category&#34;</span>:<span style="color:#2aa198">&#34;providers&#34;</span>,<span style="color:#2aa198">&#34;group&#34;</span>:<span style="color:#2aa198">&#34;dev&#34;</span>,<span style="color:#2aa198">&#34;anyhost&#34;</span>:<span style="color:#2aa198">&#34;true&#34;</span>,<span style="color:#2aa198">&#34;timestamp&#34;</span>:<span style="color:#2aa198">&#34;1680176973875&#34;</span><span style="color:#719e07">}</span>,<span style="color:#2aa198">&#34;ipDeleteTimeout&#34;</span>:30000,<span style="color:#2aa198">&#34;instanceHeartBeatInterval&#34;</span>:5000,<span style="color:#2aa198">&#34;instanceHeartBeatTimeOut&#34;</span>:15000<span style="color:#719e07">}]</span>,<span style="color:#2aa198">&#34;lastRefTime&#34;</span>:1680178336936,<span style="color:#2aa198">&#34;checksum&#34;</span>:<span style="color:#2aa198">&#34;&#34;</span>,<span style="color:#2aa198">&#34;allIPs&#34;</span>:false,<span style="color:#2aa198">&#34;reachProtectionThreshold&#34;</span>:false,<span style="color:#2aa198">&#34;valid&#34;</span>:true<span style="color:#719e07">}</span>% |
| </span></span></code></pre></div><h2 id="通过ingress转发请求到dubbo服务">通过Ingress转发请求到Dubbo服务</h2> |
| <p>Higress可以通过McpBridge来对接Nacos作为服务来源，在K8s集群中apply以下资源来配置McpBridge</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-yaml" data-lang="yaml"><span style="display:flex;"><span><span style="color:#268bd2">apiVersion</span>: networking.higress.io/v1 |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">kind</span>: McpBridge |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">metadata</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">name</span>: default |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">namespace</span>: higress-system |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">spec</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">registries</span>: |
| </span></span><span style="display:flex;"><span> - <span style="color:#268bd2">domain</span>: nacos-server.default.svc.cluster.local |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">nacosGroups</span>: |
| </span></span><span style="display:flex;"><span> - DEFAULT_GROUP |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">name</span>: nacos-service-resource |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">port</span>: <span style="color:#2aa198">8848</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">type</span>: nacos2 |
| </span></span></code></pre></div><p>通过McpBridge，我们可以直接从Nacos中发现Dubbo服务，并为其创建路由，而无需为每一个Dubbo服务创建service资源。</p> |
| <p>接下来我们创建如下Ingress，从而创建一条指向Dubbo服务的HTTP路由：</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-yaml" data-lang="yaml"><span style="display:flex;"><span><span style="color:#268bd2">apiVersion</span>: networking.k8s.io/v1 |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">kind</span>: Ingress |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">metadata</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">annotations</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">higress.io/destination</span>: providers:com.alibaba.nacos.example.dubbo.service.DemoService:1.0.0:dev.DEFAULT-GROUP.public.nacos |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">name</span>: demo |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">namespace</span>: higress-system |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">spec</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">ingressClassName</span>: higress |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">rules</span>: |
| </span></span><span style="display:flex;"><span> - <span style="color:#268bd2">http</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">paths</span>: |
| </span></span><span style="display:flex;"><span> - <span style="color:#268bd2">backend</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">resource</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">apiGroup</span>: networking.higress.io |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">kind</span>: McpBridge |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">name</span>: default |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">path</span>: /dubbo |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">pathType</span>: Prefix |
| </span></span></code></pre></div><p>这样，path前缀为/dubbo的请求就会被路由到我们刚刚创建的Dubbo服务上。</p> |
| <h2 id="通过envoyfilter配置http到dubbo的协议转换规则">通过EnvoyFilter配置HTTP到Dubbo的协议转换规则</h2> |
| <p>经过上述步骤，我们已经在K8s环境下部署了一套Naocs和Dubbo，并通过Ingress将path前缀为/dubbo的请求路由到我们配好的Dubbo服务上。但光是这样是无法正常通信的，因为Dubbo服务使用的是定制的Dubbo协议，无法天然与HTTP协议进行兼容。因此接下来我们将通过EnvoyFilter来配置HTTP到Dubbo的协议转换规则，从而实现用HTTP请求来调用Dubbo服务。</p> |
| <p>在K8s集群中apply以下资源，要注意的是，EnvoyFilter是属于Istio的CRD，因此需要参照前提条件中的第2点来开启Higress对Istio CRD的支持。</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-yaml" data-lang="yaml"><span style="display:flex;"><span><span style="color:#268bd2">apiVersion</span>: networking.istio.io/v1alpha3 |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">kind</span>: EnvoyFilter |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">metadata</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">name</span>: http-dubbo-transcoder-test |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">namespace</span>: higress-system |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">spec</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">configPatches</span>: |
| </span></span><span style="display:flex;"><span> - <span style="color:#268bd2">applyTo</span>: HTTP_FILTER |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">match</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">context</span>: GATEWAY |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">listener</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">filterChain</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">filter</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">name</span>: envoy.filters.network.http_connection_manager |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">subFilter</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">name</span>: envoy.filters.http.router |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">patch</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">operation</span>: INSERT_BEFORE |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">value</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">name</span>: envoy.filters.http.http_dubbo_transcoder |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">typed_config</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&#39;@type&#39;</span>: type.googleapis.com/udpa.type.v1.TypedStruct |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">type_url</span>: type.googleapis.com/envoy.extensions.filters.http.http_dubbo_transcoder.v3.HttpDubboTranscoder |
| </span></span><span style="display:flex;"><span> - <span style="color:#268bd2">applyTo</span>: HTTP_ROUTE |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">match</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">context</span>: GATEWAY |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">routeConfiguration</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">vhost</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">route</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">name</span>: demo |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">patch</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">operation</span>: MERGE |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">value</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">route</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">upgrade_configs</span>: |
| </span></span><span style="display:flex;"><span> - <span style="color:#268bd2">connect_config</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">allow_post</span>: <span style="color:#cb4b16">true</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">upgrade_type</span>: CONNECT |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">typed_per_filter_config</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">envoy.filters.http.http_dubbo_transcoder</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&#39;@type&#39;</span>: type.googleapis.com/udpa.type.v1.TypedStruct |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">type_url</span>: type.googleapis.com/envoy.extensions.filters.http.http_dubbo_transcoder.v3.HttpDubboTranscoder |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">value</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">request_validation_options</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">reject_unknown_method</span>: <span style="color:#cb4b16">true</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">reject_unknown_query_parameters</span>: <span style="color:#cb4b16">true</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">services_mapping</span>: |
| </span></span><span style="display:flex;"><span> - <span style="color:#268bd2">group</span>: dev |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">method_mapping</span>: |
| </span></span><span style="display:flex;"><span> - <span style="color:#268bd2">name</span>: sayName |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">parameter_mapping</span>: |
| </span></span><span style="display:flex;"><span> - <span style="color:#268bd2">extract_key</span>: p |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">extract_key_spec</span>: ALL_QUERY_PARAMETER |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">mapping_type</span>: java.lang.String |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">passthrough_setting</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">passthrough_all_headers</span>: <span style="color:#cb4b16">true</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">path_matcher</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">match_http_method_spec</span>: ALL_GET |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">match_pattern</span>: /dubbo/hello |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">name</span>: com.alibaba.nacos.example.dubbo.service.DemoService |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">version</span>: <span style="color:#2aa198">1.0.0</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">url_unescape_spec</span>: ALL_CHARACTERS_EXCEPT_RESERVED |
| </span></span><span style="display:flex;"><span> - <span style="color:#268bd2">applyTo</span>: CLUSTER |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">match</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">cluster</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">service</span>: providers:com.alibaba.nacos.example.dubbo.service.DemoService:1.0.0:dev.DEFAULT-GROUP.public.nacos |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">context</span>: GATEWAY |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">patch</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">operation</span>: MERGE |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">value</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">upstream_config</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">name</span>: envoy.upstreams.http.dubbo_tcp |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">typed_config</span>: |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&#39;@type&#39;</span>: type.googleapis.com/udpa.type.v1.TypedStruct |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">type_url</span>: type.googleapis.com/envoy.extensions.upstreams.http.dubbo_tcp.v3.DubboTcpConnectionPoolProto |
| </span></span></code></pre></div><p>在以上EnvoyFilter中，我们配置了将path为/dubbo/hello的HTTP请求转发到Dubbo服务com.alibaba.nacos.example.dubbo.service.DemoService:1.0.0:dev中，并调用其sayName方法，而该方法的参数则通过HTTP url中的的query参数p来指定。</p> |
| <h2 id="请求验证">请求验证</h2> |
| <p>通过以上配置，我们就可以执行以下curl命令来调用这个dubbo服务了：</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-bash" data-lang="bash"><span style="display:flex;"><span><span style="color:#268bd2">$curl</span> <span style="color:#2aa198">&#34;localhost/dubbo/hello?p=abc&#34;</span> |
| </span></span><span style="display:flex;"><span><span style="color:#719e07">{</span><span style="color:#2aa198">&#34;result&#34;</span>:<span style="color:#2aa198">&#34;Service [name :demoService , port : 20880] sayName(\&#34;abc\&#34;) : Hello,abc&#34;</span><span style="color:#719e07">}</span> |
| </span></span></code></pre></div><h2 id="配置参考">配置参考</h2> |
| <p>EnvoyFilter的相关配置项参考<a href="https://higress.io/zh-cn/docs/user/dubbo-envoyfilter">HTTP转Dubbo配置说明</a></p></description></item><item><title>Blog: 2022 年度总结与 2023 新年规划</title><link>https://dubbo.apache.org/zh-cn/blog/2023/02/23/2022-%E5%B9%B4%E5%BA%A6%E6%80%BB%E7%BB%93%E4%B8%8E-2023-%E6%96%B0%E5%B9%B4%E8%A7%84%E5%88%92/</link><pubDate>Thu, 23 Feb 2023 00:00:00 +0000</pubDate><guid>https://dubbo.apache.org/zh-cn/blog/2023/02/23/2022-%E5%B9%B4%E5%BA%A6%E6%80%BB%E7%BB%93%E4%B8%8E-2023-%E6%96%B0%E5%B9%B4%E8%A7%84%E5%88%92/</guid><description> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/2/roadmap/2023-roadmap.jpg" alt="dubbo-introduction"></p> |
| <h2 id="2022-年度总结">2022 年度总结</h2> |
| <h3 id="1-dubbo-开源-12-周年">1 Dubbo 开源 12 周年</h3> |
| <p>50k+ star，30k fork，1000+ Contributor</p> |
| <h3 id="2-dubbo3-里程碑">2 Dubbo3 里程碑</h3> |
| <h3 id="实现规模化生产检验">实现规模化生产检验</h3> |
| <p>阿里巴巴核心微服务集群实现从 HSF 到 Dubbo3 的全面升级，顺利支撑双十一、双十二万亿级服务调用</p> |
| <h3 id="发力多语言生态">发力多语言生态</h3> |
| <h4 id="具备生产可用条件">具备生产可用条件</h4> |
| <p>Java、Go</p> |
| <h4 id="从孵化走向成熟">从孵化走向成熟</h4> |
| <p>Rust、Node.js、Python</p> |
| <h3 id="3-核心技术">3 核心技术</h3> |
| <p>应用级服务发现 |
| HTTP/2 协议 |
| 流量管控升级 |
| 可观测性 |
| 自适应负载均衡 |
| Proxyless Mesh |
| Spring Boot3 &amp; Spring6</p> |
| <h3 id="4-新晋-committerspmc">4 新晋 Committers&amp;PMC</h3> |
| <p>本年度社区共发展 Committer 13 位，PMC 4 位</p> |
| <h2 id="2023-新年规划">2023 新年规划</h2> |
| <ul> |
| <li>官网与文档体验全面提升</li> |
| <li>Go、Node.js、Rust 等多语言体系建设</li> |
| <li>全面提升整体可观测性</li> |
| <li>Dubbo Admin 一站式服务运维管控平台</li> |
| <li>Dubbo Mesh 走向成熟</li> |
| <li>提升 HTTP 开发体验，补全 Web 互通</li> |
| <li>打造 gRPC over Dubbo 最佳实践</li> |
| <li>完善的认证鉴权体系</li> |
| </ul></description></item><item><title>Blog: 一文帮你快速了解 Dubbo 核心能力</title><link>https://dubbo.apache.org/zh-cn/blog/2023/02/23/%E4%B8%80%E6%96%87%E5%B8%AE%E4%BD%A0%E5%BF%AB%E9%80%9F%E4%BA%86%E8%A7%A3-dubbo-%E6%A0%B8%E5%BF%83%E8%83%BD%E5%8A%9B/</link><pubDate>Thu, 23 Feb 2023 00:00:00 +0000</pubDate><guid>https://dubbo.apache.org/zh-cn/blog/2023/02/23/%E4%B8%80%E6%96%87%E5%B8%AE%E4%BD%A0%E5%BF%AB%E9%80%9F%E4%BA%86%E8%A7%A3-dubbo-%E6%A0%B8%E5%BF%83%E8%83%BD%E5%8A%9B/</guid><description> |
| <h2 id="dubbo-简介">Dubbo 简介</h2> |
| <h3 id="一句话定义">一句话定义</h3> |
| <p>Apache Dubbo 是一款微服务开发框架，它帮助解决微服务开发中的通信问题，同时为构建企业级微服务的提供服务治理能力，Dubbo 不绑定编程语言，我们的目标是为所有主流语言提供对等的微服务开发体验。 |
| <img src="https://dubbo.apache.org/imgs/blog/2023/2/introduction/1-overview.jpg" alt="overview"></p> |
| <h3 id="基本架构">基本架构</h3> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/2/introduction/2-arc.jpg" alt="overview"></p> |
| <p>Dubbo 从架构图上分为数据面和控制面。在数据面，使用 Dubbo 开发的微服务进程间基于 RPC 协议通信。DubboAdmin 控制面作为服务治理的抽象入口，由一系列可选的服务治理组件构成，负责 Dubbo集群的服务发现、流量管控策略、可视化监测。</p> |
| <h3 id="行业应用">行业应用</h3> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/2/introduction/3-usecase.jpg" alt="overview"></p> |
| <p>Dubbo 设计用于解决阿里巴巴内部大规模 微服务集群实践难题，当前已被广泛应用于几乎所有行业的微服务实践中。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/2/introduction/4-usecase-alibaba.jpg" alt="overview"></p> |
| <p>以阿里巴巴为例，在 2021 年，阿里巴巴基于内部多年 HSF 框架实践积累，面向云原生架构设计了下一代微服务框架 Dubbo3，用于解决性能、治理升级、服务网格等一系列问题；截止目前，阿里巴巴已全面完成从 HSF到 Dubbo3 的迁移，核心业务都跑在开源 Dubbo3 之上。</p> |
| <h2 id="dubbo-到底提供了哪些核心能力">Dubbo 到底提供了哪些核心能力？</h2> |
| <h3 id="提供微服务抽象与框架">提供微服务抽象与框架</h3> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/2/introduction/5-framework.jpg" alt="overview"></p> |
| <p>首先，Dubbo 作为服务开发框架解决了业务应用中微服务定义、暴露、通信与治理的问题，为业务应用开发定义了一套微服务编程范式。 |
| 具体来说，Dubbo 为业务应用提供了微服务开发API、RPC 协议、服务治理三大核心能力，让开发者真正的专注业务逻辑开发。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/2/introduction/6-extensibility.jpg" alt="overview"></p> |
| <p>Dubbo 不是应用框架的替代者，它可以很好的工作在每种语言的主流编程框架之上，以 Java 为例，Dubbo 可以很好的与 Spring 协作，并在此基础上提供服务定义、微服务编程、服务发现、负载均衡、流量管控等能力。</p> |
| <h3 id="提供灵活的通信协议切换能力">提供灵活的通信协议切换能力</h3> |
| <p>在通信方面，Dubbo 区别于其他 RPC 框架的是它不绑定特定协议，你可以在底层选用 HTTP./2、TCP、gRPC、REST、Hessian 等任意通信协议，同时享受统一的 API、以及对等的服务治理能力。</p> |
| <h3 id="一切皆可扩展">一切皆可扩展</h3> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/2/introduction/8-extensibility.jpg" alt="overview"></p> |
| <p>Dubbo 的另一个优势在于其可扩展性设计，从流量管控、协议编码、诊断调优、再到服务治理，你都可以去扩展，满足企业级微服务开发与运维的所有诉求。</p> |
| <h3 id="丰富的生态">丰富的生态</h3> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/2/introduction/9-ecosystem.jpg" alt="overview"></p> |
| <p>基于扩展能力 Dubbo 官方提供了丰富的生态适配，涵盖了所有主流的开源微服务组件。</p> |
| <h3 id="服务网格">服务网格</h3> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/2/introduction/10-mesh.jpg" alt="overview"></p> |
| <p>对于服务网格架构，Dubbo也可以轻松接入原生 Istio 体系； |
| 在数据面支持与 Envoy 部署的 Proxy 模式，也支持无 Envoy 的 Proxyless 模式，提供更灵活的数据面选择。</p> |
| <h2 id="构建企业级dubbo-微服务有多简单你只需要-4-步">构建企业级Dubbo 微服务有多简单？你只需要 4 步</h2> |
| <p>我们以 Java 微服务开发为例。</p> |
| <h3 id="第一步">第一步</h3> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/2/introduction/11-initializer.png" alt="overview"></p> |
| <p>使用 <a href="https://start.dubbo.apache.org/bootstrap.html">官方脚手架</a> 快速创建项目模板，只需要选择依赖的版本、组件，点击 “获取代码” 即可</p> |
| <h3 id="第二步">第二步</h3> |
| <p>将模板项目导入 IDE 开发环境。 |
| 定义 Java 接口作为 Dubbo 服务。 |
| <img src="https://dubbo.apache.org/imgs/blog/2023/2/introduction/12-interface.jpg" alt="overview"></p> |
| <p>开发 Dubbo 服务端，实现接口并完成业务逻辑编码，通过一条简单的注解配置完成服务发布。 |
| <img src="https://dubbo.apache.org/imgs/blog/2023/2/introduction/13-impl.jpg" alt="overview"></p> |
| <p>开发Dubbo 客户端，通过注解声明 Dubbo 服务，然后就可以发起远程方法调用了。至此，开发工作完成。 |
| <img src="https://dubbo.apache.org/imgs/blog/2023/2/introduction/14-reference.jpg" alt="overview"></p> |
| <h3 id="第三步">第三步</h3> |
| <p>进入部署环节，我们选择 Kubernetes 作为部署环境。</p> |
| <p>首先，通过一条命令安装 dubbo-admin 等服务治理组件，安装成功之后，我们查看部署状态。接下来，开始部署业务应用，随后查看确认直到应用已经正常启动 |
| <img src="https://dubbo.apache.org/imgs/blog/2023/2/introduction/15-deploy.jpg" alt="overview"></p> |
| <p>然后，我们就可以打开 Admin 控制台查看服务部署与调用情况了。这里是 Dubbo Admin 控制台的页面显示效果，可以看到刚才启动的 Dubbo 服务部署状态；除此之外，Admin 还提供了更详细的流量监控监测，点击服务统计，可进入监控页面</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/2/introduction/16-admin.jpg" alt="overview"></p> |
| <p>你可以在此了解Dubbo 集群的详细运行状态，包括每个应用对外服务和调用服务的情况，QpS、成功率等，还可以查看每个实例的资源健康状况。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/2/introduction/17-grafana1.png" alt="overview"></p> |
| <h3 id="第四步">第四步</h3> |
| <p>进行流量管控。当应用已经平稳运行后，进一步控制流量的访问行为，包括实现金丝雀发布、全链路灰度、动态调整超时时间、调整权重、按比例流量分发、参数路由等。控制台提供了可视化的流量治理规则操作入口，在这里可以直接下发流量规则。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/2/introduction/19-gray.jpg" alt="overview"></p> |
| <p>以一个线上环境的灰度隔离示例，通过 Dubbo 流量管控机制，我们可以给每个应用的一部分机器打上 gray 标签，接下来，对于入口为 gray 的流量，就可以控制确保它只在有 gray 标记的 Dubbo 实例内流转，实现了全链路的逻辑隔离效果， |
| 对于隔离多套开发环境、线上灰度测试等场景都非常有用。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/2/introduction/20-region.jpg" alt="overview"></p> |
| <p>对于同区域优先调用的场景，这里有两个应用做了多区域部署，紫色是杭州区域、蓝色是北京区域，部署在橙色区域的应用会优先访问同区域的应用，以此降低访问延迟，蓝色区域部署的服务亦是如此。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/2/introduction/21-region.jpg" alt="overview"></p> |
| <p>当应用在同区域区域部署的实例不可用时，调用会自动跨区域切换到其他可用区，确保整体可用性。</p> |
| <h2 id="总结">总结</h2> |
| <p>接下来，请开始你的Dubbo 之旅吧。</p></description></item><item><title>Blog: 指标埋点</title><link>https://dubbo.apache.org/zh-cn/blog/2023/02/20/%E6%8C%87%E6%A0%87%E5%9F%8B%E7%82%B9/</link><pubDate>Mon, 20 Feb 2023 00:00:00 +0000</pubDate><guid>https://dubbo.apache.org/zh-cn/blog/2023/02/20/%E6%8C%87%E6%A0%87%E5%9F%8B%E7%82%B9/</guid><description> |
| <h1 id="概述">概述</h1> |
| <h2 id="1-指标接入说明">1. 指标接入说明</h2> |
| <h2 id="2-指标体系设计">2. 指标体系设计</h2> |
| <p>Dubbo的指标体系，总共涉及三块，指标收集、本地聚合、指标推送</p> |
| <ul> |
| <li>指标收集：将Dubbo内部需要监控的指标推送至统一的Collector中进行存储</li> |
| <li>本地聚合：指标收集获取的均为基础指标，而一些分位数指标则需通过本地聚合计算得出</li> |
| <li>指标推送：收集和聚合后的指标通过一定的方式推送至第三方服务器，目前只涉及Prometheus</li> |
| </ul> |
| <h2 id="3-结构设计">3. 结构设计</h2> |
| <ul> |
| <li>移除原来与 Metrics 相关的类</li> |
| <li>创建新模块 dubbo-metrics/dubbo-metrics-api、dubbo-metrics/dubbo-metrics-prometheus，MetricsConfig 作为该模块的配置类</li> |
| <li>使用micrometer，在Collector中使用基本类型代表指标，如Long、Double等，并在dubbo-metrics-api中引入micrometer，由micrometer对内部指标进行转换</li> |
| </ul> |
| <h2 id="4-数据流转">4. 数据流转</h2> |
| <p><img src="https://dubbo.apache.org/imgs/docs3-v2/java-sdk/observability/dataflow.png" alt="img.png"></p> |
| <h2 id="5-目标">5. 目标</h2> |
| <p>指标接口将提供一个 MetricsService，该 Service 不仅提供柔性服务所的接口级数据，也提供所有指标的查询方式，其中方法级指标的查询的接口可按如下方式声明</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#268bd2">public</span> <span style="color:#268bd2">interface</span> <span style="color:#268bd2">MetricsService</span> { |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">/** |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"> * Default {@link MetricsService} extension name. |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"> */</span> |
| </span></span><span style="display:flex;"><span> String DEFAULT_EXTENSION_NAME <span style="color:#719e07">=</span> <span style="color:#2aa198">&#34;default&#34;</span>; |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">/** |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"> * The contract version of {@link MetricsService}, the future update must make sure compatible. |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"> */</span> |
| </span></span><span style="display:flex;"><span> String VERSION <span style="color:#719e07">=</span> <span style="color:#2aa198">&#34;1.0.0&#34;</span>; |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">/** |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"> * Get metrics by prefixes |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"> * |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"> * @param categories categories |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"> * @return metrics - key=MetricCategory value=MetricsEntityList |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"> */</span> |
| </span></span><span style="display:flex;"><span> Map<span style="color:#719e07">&lt;</span>MetricsCategory, List<span style="color:#719e07">&lt;</span>MetricsEntity<span style="color:#719e07">&gt;&gt;</span> <span style="color:#268bd2">getMetricsByCategories</span>(List<span style="color:#719e07">&lt;</span>MetricsCategory<span style="color:#719e07">&gt;</span> categories); |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">/** |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"> * Get metrics by interface and prefixes |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"> * |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"> * @param serviceUniqueName serviceUniqueName (eg.group/interfaceName:version) |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"> * @param categories categories |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"> * @return metrics - key=MetricCategory value=MetricsEntityList |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"> */</span> |
| </span></span><span style="display:flex;"><span> Map<span style="color:#719e07">&lt;</span>MetricsCategory, List<span style="color:#719e07">&lt;</span>MetricsEntity<span style="color:#719e07">&gt;&gt;</span> <span style="color:#268bd2">getMetricsByCategories</span>(String serviceUniqueName, List<span style="color:#719e07">&lt;</span>MetricsCategory<span style="color:#719e07">&gt;</span> categories); |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">/** |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"> * Get metrics by interface、method and prefixes |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"> * |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"> * @param serviceUniqueName serviceUniqueName (eg.group/interfaceName:version) |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"> * @param methodName methodName |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"> * @param parameterTypes method parameter types |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"> * @param categories categories |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"> * @return metrics - key=MetricCategory value=MetricsEntityList |
| </span></span></span><span style="display:flex;"><span><span style="color:#586e75"> */</span> |
| </span></span><span style="display:flex;"><span> Map<span style="color:#719e07">&lt;</span>MetricsCategory, List<span style="color:#719e07">&lt;</span>MetricsEntity<span style="color:#719e07">&gt;&gt;</span> <span style="color:#268bd2">getMetricsByCategories</span>(String serviceUniqueName, String methodName, Class<span style="color:#719e07">&lt;?&gt;[]</span> parameterTypes, List<span style="color:#719e07">&lt;</span>MetricsCategory<span style="color:#719e07">&gt;</span> categories); |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><p>其中 MetricsCategory 设计如下:</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#268bd2">public</span> <span style="color:#268bd2">enum</span> MetricsCategory { |
| </span></span><span style="display:flex;"><span> RT, |
| </span></span><span style="display:flex;"><span> QPS, |
| </span></span><span style="display:flex;"><span> REQUESTS, |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><p>MetricsEntity 设计如下</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#268bd2">public</span> <span style="color:#268bd2">class</span> <span style="color:#268bd2">MetricsEntity</span> { |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> String name; |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> Map<span style="color:#719e07">&lt;</span>String, String<span style="color:#719e07">&gt;</span> tags; |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> MetricsCategory category; |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> Object value; |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><h1 id="指标收集">指标收集</h1> |
| <h2 id="1-嵌入位置">1. 嵌入位置</h2> |
| <p>Dubbo 架构图如下 |
| <img src="https://dubbo.apache.org/imgs/docs3-v2/java-sdk/observability/dubbo.png" alt="img.png"></p> |
| <p>在 provider 中添加一层 MetricsFilter 重写 invoke 方法嵌入调用链路用于收集指标，用 try-catch-finally 处理，核心代码如下</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#268bd2">@Activate</span>(group <span style="color:#719e07">=</span> PROVIDER, order <span style="color:#719e07">=</span> <span style="color:#719e07">-</span>1) |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">public</span> <span style="color:#268bd2">class</span> <span style="color:#268bd2">MetricsFilter</span> <span style="color:#268bd2">implements</span> Filter, ScopeModelAware { |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">@Override</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> Result <span style="color:#268bd2">invoke</span>(Invoker<span style="color:#719e07">&lt;?&gt;</span> invoker, Invocation invocation) <span style="color:#268bd2">throws</span> RpcException { |
| </span></span><span style="display:flex;"><span> collector.increaseTotalRequests(interfaceName, methodName, group, version); |
| </span></span><span style="display:flex;"><span> collector.increaseProcessingRequests(interfaceName, methodName, group, version); |
| </span></span><span style="display:flex;"><span> Long startTime <span style="color:#719e07">=</span> System.currentTimeMillis(); |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">try</span> { |
| </span></span><span style="display:flex;"><span> Result invoke <span style="color:#719e07">=</span> invoker.invoke(invocation); |
| </span></span><span style="display:flex;"><span> collector.increaseSucceedRequests(interfaceName, methodName, group, version); |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">return</span> invoke; |
| </span></span><span style="display:flex;"><span> } <span style="color:#719e07">catch</span> (RpcException e) { |
| </span></span><span style="display:flex;"><span> collector.increaseFailedRequests(interfaceName, methodName, group, version); |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">throw</span> e; |
| </span></span><span style="display:flex;"><span> } <span style="color:#719e07">finally</span> { |
| </span></span><span style="display:flex;"><span> Long endTime <span style="color:#719e07">=</span> System.currentTimeMillis(); |
| </span></span><span style="display:flex;"><span> Long rt <span style="color:#719e07">=</span> endTime <span style="color:#719e07">-</span> startTime; |
| </span></span><span style="display:flex;"><span> collector.addRT(interfaceName, methodName, group, version, rt); |
| </span></span><span style="display:flex;"><span> collector.decreaseProcessingRequests(interfaceName, methodName, group, version); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><h2 id="2-指标标识">2. 指标标识</h2> |
| <p>用以下五个属性作为隔离级别区分标识不同方法，也是各个 ConcurrentHashMap 的 key</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#268bd2">public</span> <span style="color:#268bd2">class</span> <span style="color:#268bd2">MethodMetric</span> { |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> String applicationName; |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> String interfaceName; |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> String methodName; |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> String group; |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> String version; |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><h2 id="3-基础指标">3. 基础指标</h2> |
| <p>指标通过 common 模块下的 MetricsCollector 存储所有指标数据</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#268bd2">public</span> <span style="color:#268bd2">class</span> <span style="color:#268bd2">DefaultMetricsCollector</span> <span style="color:#268bd2">implements</span> MetricsCollector { |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> Boolean collectEnabled <span style="color:#719e07">=</span> <span style="color:#cb4b16">false</span>; |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> <span style="color:#268bd2">final</span> List<span style="color:#719e07">&lt;</span>MetricsListener<span style="color:#719e07">&gt;</span> listeners <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> ArrayList<span style="color:#719e07">&lt;&gt;</span>(); |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> <span style="color:#268bd2">final</span> ApplicationModel applicationModel; |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> <span style="color:#268bd2">final</span> String applicationName; |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> <span style="color:#268bd2">final</span> Map<span style="color:#719e07">&lt;</span>MethodMetric, AtomicLong<span style="color:#719e07">&gt;</span> totalRequests <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> ConcurrentHashMap<span style="color:#719e07">&lt;&gt;</span>(); |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> <span style="color:#268bd2">final</span> Map<span style="color:#719e07">&lt;</span>MethodMetric, AtomicLong<span style="color:#719e07">&gt;</span> succeedRequests <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> ConcurrentHashMap<span style="color:#719e07">&lt;&gt;</span>(); |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> <span style="color:#268bd2">final</span> Map<span style="color:#719e07">&lt;</span>MethodMetric, AtomicLong<span style="color:#719e07">&gt;</span> failedRequests <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> ConcurrentHashMap<span style="color:#719e07">&lt;&gt;</span>(); |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> <span style="color:#268bd2">final</span> Map<span style="color:#719e07">&lt;</span>MethodMetric, AtomicLong<span style="color:#719e07">&gt;</span> processingRequests <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> ConcurrentHashMap<span style="color:#719e07">&lt;&gt;</span>(); |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> <span style="color:#268bd2">final</span> Map<span style="color:#719e07">&lt;</span>MethodMetric, AtomicLong<span style="color:#719e07">&gt;</span> lastRT <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> ConcurrentHashMap<span style="color:#719e07">&lt;&gt;</span>(); |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> <span style="color:#268bd2">final</span> Map<span style="color:#719e07">&lt;</span>MethodMetric, LongAccumulator<span style="color:#719e07">&gt;</span> minRT <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> ConcurrentHashMap<span style="color:#719e07">&lt;&gt;</span>(); |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> <span style="color:#268bd2">final</span> Map<span style="color:#719e07">&lt;</span>MethodMetric, LongAccumulator<span style="color:#719e07">&gt;</span> maxRT <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> ConcurrentHashMap<span style="color:#719e07">&lt;&gt;</span>(); |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> <span style="color:#268bd2">final</span> Map<span style="color:#719e07">&lt;</span>MethodMetric, AtomicLong<span style="color:#719e07">&gt;</span> avgRT <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> ConcurrentHashMap<span style="color:#719e07">&lt;&gt;</span>(); |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> <span style="color:#268bd2">final</span> Map<span style="color:#719e07">&lt;</span>MethodMetric, AtomicLong<span style="color:#719e07">&gt;</span> totalRT <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> ConcurrentHashMap<span style="color:#719e07">&lt;&gt;</span>(); |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> <span style="color:#268bd2">final</span> Map<span style="color:#719e07">&lt;</span>MethodMetric, AtomicLong<span style="color:#719e07">&gt;</span> rtCount <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> ConcurrentHashMap<span style="color:#719e07">&lt;&gt;</span>(); |
| </span></span><span style="display:flex;"><span> } |
| </span></span></code></pre></div><h1 id="本地聚合">本地聚合</h1> |
| <p>本地聚合指将一些简单的指标通过计算获取各分位数指标的过程</p> |
| <h2 id="1-参数设计">1. 参数设计</h2> |
| <p>收集指标时，默认只收集基础指标，而一些单机聚合指标则需要开启服务柔性或者本地聚合后另起线程计算。此处若开启服务柔性，则本地聚合默认开启</p> |
| <h3 id="11-本地聚合开启方式">1.1 本地聚合开启方式</h3> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-xml" data-lang="xml"><span style="display:flex;"><span><span style="color:#268bd2">&lt;dubbo:metrics&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;dubbo:aggregation</span> enable=<span style="color:#2aa198">&#34;true&#34;</span> <span style="color:#268bd2">/&gt;</span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">&lt;/dubbo:metrics&gt;</span> |
| </span></span></code></pre></div><h3 id="12-指标聚合参数">1.2 指标聚合参数</h3> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-xml" data-lang="xml"><span style="display:flex;"><span><span style="color:#268bd2">&lt;dubbo:metrics&gt;</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">&lt;dubbo:aggregation</span> enable=<span style="color:#2aa198">&#34;true&#34;</span> bucket-num=<span style="color:#2aa198">&#34;5&#34;</span> time-window-seconds=<span style="color:#2aa198">&#34;10&#34;</span><span style="color:#268bd2">/&gt;</span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">&lt;/dubbo:metrics&gt;</span> |
| </span></span></code></pre></div><h2 id="2-具体指标">2. 具体指标</h2> |
| <p>Dubbo的指标模块帮助用户从外部观察正在运行的系统的内部服务状况 ，Dubbo参考 <a href="https://sre.google/sre-book/monitoring-distributed-systems/">&ldquo;四大黄金信号&rdquo;</a>、<em>RED方法</em>、<em>USE方法</em>等理论并结合实际企业应用场景从不同维度统计了丰富的关键指标，关注这些核心指标对于提供可用性的服务是至关重要的。</p> |
| <p>Dubbo的关键指标包含：<strong>延迟（Latency）</strong>、<strong>流量（Traffic）</strong>、 <strong>错误（Errors）</strong> 和 <strong>饱和度（Saturation）</strong> 等内容 。同时，为了更好的监测服务运行状态，Dubbo 还提供了对核心组件状态的监控，如Dubbo应用信息、线程池信息、三大中心交互的指标数据等。</p> |
| <p>在Dubbo中主要包含如下监控指标：</p> |
| <table> |
| <thead> |
| <tr> |
| <th style="text-align:left"></th> |
| <th style="text-align:left">基础设施</th> |
| <th style="text-align:left">业务监控</th> |
| </tr> |
| </thead> |
| <tbody> |
| <tr> |
| <td style="text-align:left">延迟类</td> |
| <td style="text-align:left">IO 等待； 网络延迟；</td> |
| <td style="text-align:left">接口、服务的平均耗时、TP90、TP99、TP999 等</td> |
| </tr> |
| <tr> |
| <td style="text-align:left">流量类</td> |
| <td style="text-align:left">网络和磁盘 IO；</td> |
| <td style="text-align:left">服务层面的 QPS、</td> |
| </tr> |
| <tr> |
| <td style="text-align:left">错误类</td> |
| <td style="text-align:left">宕机； 磁盘（坏盘或文件系统错误）； 进程或端口挂掉； 网络丢包；</td> |
| <td style="text-align:left">错误日志;业务状态码、错误码走势;</td> |
| </tr> |
| <tr> |
| <td style="text-align:left">饱和度类</td> |
| <td style="text-align:left">系统资源利用率： CPU、内存、磁盘、网络等； 饱和度：等待线程数，队列积压长度；</td> |
| <td style="text-align:left">这里主要包含JVM、线程池等</td> |
| </tr> |
| </tbody> |
| </table> |
| <ul> |
| <li>qps: 基于滑动窗口获取动态qps</li> |
| <li>rt: 基于滑动窗口获取动态rt</li> |
| <li>失败请求数: 基于滑动窗口获取最近时间内的失败请求数</li> |
| <li>成功请求数: 基于滑动窗口获取最近时间内的成功请求数</li> |
| <li>处理中请求数: 前后增加Filter简单统计</li> |
| <li>具体指标依赖滑动窗口，额外使用 AggregateMetricsCollector 收集</li> |
| </ul> |
| <p>输出到普罗米修斯的相关指标可以参考的内容如下：</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-gdscript3" data-lang="gdscript3"><span style="display:flex;"><span><span style="color:#586e75"># HELP jvm_gc_live_data_size_bytes Size of long-lived heap memory pool after reclamation</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># TYPE jvm_gc_live_data_size_bytes gauge</span> |
| </span></span><span style="display:flex;"><span>jvm_gc_live_data_size_bytes <span style="color:#2aa198">1.6086528E7</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># HELP requests_succeed_aggregate Aggregated Succeed Requests</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># TYPE requests_succeed_aggregate gauge</span> |
| </span></span><span style="display:flex;"><span>requests_succeed_aggregate{application_name<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;metrics-provider&#34;</span>,group<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;&#34;</span>,hostname<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;iZ8lgm9icspkthZ&#34;</span>,interface<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;org.apache.dubbo.samples.metrics.prometheus.api.DemoService&#34;</span>,ip<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;172.28.236.104&#34;</span>,method<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;sayHello&#34;</span>,version<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;&#34;</span>,} <span style="color:#2aa198">39.0</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># HELP jvm_buffer_memory_used_bytes An estimate of the memory that the Java virtual machine is using for this buffer pool</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># TYPE jvm_buffer_memory_used_bytes gauge</span> |
| </span></span><span style="display:flex;"><span>jvm_buffer_memory_used_bytes{id<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;direct&#34;</span>,} <span style="color:#2aa198">1.679975E7</span> |
| </span></span><span style="display:flex;"><span>jvm_buffer_memory_used_bytes{id<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;mapped&#34;</span>,} <span style="color:#2aa198">0.0</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># HELP jvm_gc_memory_allocated_bytes_total Incremented for an increase in the size of the (young) heap memory pool after one GC to before the next</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># TYPE jvm_gc_memory_allocated_bytes_total counter</span> |
| </span></span><span style="display:flex;"><span>jvm_gc_memory_allocated_bytes_total <span style="color:#2aa198">2.9884416E9</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># HELP requests_total_aggregate Aggregated Total Requests</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># TYPE requests_total_aggregate gauge</span> |
| </span></span><span style="display:flex;"><span>requests_total_aggregate{application_name<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;metrics-provider&#34;</span>,group<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;&#34;</span>,hostname<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;iZ8lgm9icspkthZ&#34;</span>,interface<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;org.apache.dubbo.samples.metrics.prometheus.api.DemoService&#34;</span>,ip<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;172.28.236.104&#34;</span>,method<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;sayHello&#34;</span>,version<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;&#34;</span>,} <span style="color:#2aa198">39.0</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># HELP system_load_average_1m The sum of the number of runnable entities queued to available processors and the number of runnable entities running on the available processors averaged over a period of time</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># TYPE system_load_average_1m gauge</span> |
| </span></span><span style="display:flex;"><span>system_load_average_1m <span style="color:#2aa198">0.0</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># HELP system_cpu_usage The &#34;recent cpu usage&#34; for the whole system</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># TYPE system_cpu_usage gauge</span> |
| </span></span><span style="display:flex;"><span>system_cpu_usage <span style="color:#2aa198">0.015802269043760128</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># HELP jvm_threads_peak_threads The peak live thread count since the Java virtual machine started or peak was reset</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># TYPE jvm_threads_peak_threads gauge</span> |
| </span></span><span style="display:flex;"><span>jvm_threads_peak_threads <span style="color:#2aa198">40.0</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># HELP requests_processing Processing Requests</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># TYPE requests_processing gauge</span> |
| </span></span><span style="display:flex;"><span>requests_processing{application_name<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;metrics-provider&#34;</span>,group<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;&#34;</span>,hostname<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;iZ8lgm9icspkthZ&#34;</span>,interface<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;org.apache.dubbo.samples.metrics.prometheus.api.DemoService&#34;</span>,ip<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;172.28.236.104&#34;</span>,method<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;sayHello&#34;</span>,version<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;&#34;</span>,} <span style="color:#2aa198">0.0</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># HELP jvm_memory_max_bytes The maximum amount of memory in bytes that can be used for memory management</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># TYPE jvm_memory_max_bytes gauge</span> |
| </span></span><span style="display:flex;"><span>jvm_memory_max_bytes{area<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;nonheap&#34;</span>,id<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;CodeHeap &#39;profiled nmethods&#39;&#34;</span>,} <span style="color:#2aa198">1.22912768E8</span> |
| </span></span><span style="display:flex;"><span>jvm_memory_max_bytes{area<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;heap&#34;</span>,id<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;G1 Survivor Space&#34;</span>,} <span style="color:#719e07">-</span><span style="color:#2aa198">1.0</span> |
| </span></span><span style="display:flex;"><span>jvm_memory_max_bytes{area<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;heap&#34;</span>,id<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;G1 Old Gen&#34;</span>,} <span style="color:#2aa198">9.52107008E8</span> |
| </span></span><span style="display:flex;"><span>jvm_memory_max_bytes{area<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;nonheap&#34;</span>,id<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;Metaspace&#34;</span>,} <span style="color:#719e07">-</span><span style="color:#2aa198">1.0</span> |
| </span></span><span style="display:flex;"><span>jvm_memory_max_bytes{area<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;heap&#34;</span>,id<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;G1 Eden Space&#34;</span>,} <span style="color:#719e07">-</span><span style="color:#2aa198">1.0</span> |
| </span></span><span style="display:flex;"><span>jvm_memory_max_bytes{area<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;nonheap&#34;</span>,id<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;CodeHeap &#39;non-nmethods&#39;&#34;</span>,} <span style="color:#2aa198">5828608.0</span> |
| </span></span><span style="display:flex;"><span>jvm_memory_max_bytes{area<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;nonheap&#34;</span>,id<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;Compressed Class Space&#34;</span>,} <span style="color:#2aa198">1.073741824E9</span> |
| </span></span><span style="display:flex;"><span>jvm_memory_max_bytes{area<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;nonheap&#34;</span>,id<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;CodeHeap &#39;non-profiled nmethods&#39;&#34;</span>,} <span style="color:#2aa198">1.22916864E8</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># HELP jvm_threads_states_threads The current number of threads having BLOCKED state</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># TYPE jvm_threads_states_threads gauge</span> |
| </span></span><span style="display:flex;"><span>jvm_threads_states_threads{state<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;blocked&#34;</span>,} <span style="color:#2aa198">0.0</span> |
| </span></span><span style="display:flex;"><span>jvm_threads_states_threads{state<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;runnable&#34;</span>,} <span style="color:#2aa198">10.0</span> |
| </span></span><span style="display:flex;"><span>jvm_threads_states_threads{state<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;waiting&#34;</span>,} <span style="color:#2aa198">16.0</span> |
| </span></span><span style="display:flex;"><span>jvm_threads_states_threads{state<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;timed-waiting&#34;</span>,} <span style="color:#2aa198">13.0</span> |
| </span></span><span style="display:flex;"><span>jvm_threads_states_threads{state<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;new&#34;</span>,} <span style="color:#2aa198">0.0</span> |
| </span></span><span style="display:flex;"><span>jvm_threads_states_threads{state<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;terminated&#34;</span>,} <span style="color:#2aa198">0.0</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># HELP jvm_buffer_total_capacity_bytes An estimate of the total capacity of the buffers in this pool</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># TYPE jvm_buffer_total_capacity_bytes gauge</span> |
| </span></span><span style="display:flex;"><span>jvm_buffer_total_capacity_bytes{id<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;direct&#34;</span>,} <span style="color:#2aa198">1.6799749E7</span> |
| </span></span><span style="display:flex;"><span>jvm_buffer_total_capacity_bytes{id<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;mapped&#34;</span>,} <span style="color:#2aa198">0.0</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># HELP rt_p99 Response Time P99</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># TYPE rt_p99 gauge</span> |
| </span></span><span style="display:flex;"><span>rt_p99{application_name<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;metrics-provider&#34;</span>,group<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;&#34;</span>,hostname<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;iZ8lgm9icspkthZ&#34;</span>,interface<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;org.apache.dubbo.samples.metrics.prometheus.api.DemoService&#34;</span>,ip<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;172.28.236.104&#34;</span>,method<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;sayHello&#34;</span>,version<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;&#34;</span>,} <span style="color:#2aa198">1.0</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># HELP jvm_memory_used_bytes The amount of used memory</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># TYPE jvm_memory_used_bytes gauge</span> |
| </span></span><span style="display:flex;"><span>jvm_memory_used_bytes{area<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;heap&#34;</span>,id<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;G1 Survivor Space&#34;</span>,} <span style="color:#2aa198">1048576.0</span> |
| </span></span><span style="display:flex;"><span>jvm_memory_used_bytes{area<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;nonheap&#34;</span>,id<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;CodeHeap &#39;profiled nmethods&#39;&#34;</span>,} <span style="color:#2aa198">1.462464E7</span> |
| </span></span><span style="display:flex;"><span>jvm_memory_used_bytes{area<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;heap&#34;</span>,id<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;G1 Old Gen&#34;</span>,} <span style="color:#2aa198">1.6098728E7</span> |
| </span></span><span style="display:flex;"><span>jvm_memory_used_bytes{area<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;nonheap&#34;</span>,id<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;Metaspace&#34;</span>,} <span style="color:#2aa198">4.0126952E7</span> |
| </span></span><span style="display:flex;"><span>jvm_memory_used_bytes{area<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;heap&#34;</span>,id<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;G1 Eden Space&#34;</span>,} <span style="color:#2aa198">8.2837504E7</span> |
| </span></span><span style="display:flex;"><span>jvm_memory_used_bytes{area<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;nonheap&#34;</span>,id<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;CodeHeap &#39;non-nmethods&#39;&#34;</span>,} <span style="color:#2aa198">1372032.0</span> |
| </span></span><span style="display:flex;"><span>jvm_memory_used_bytes{area<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;nonheap&#34;</span>,id<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;Compressed Class Space&#34;</span>,} <span style="color:#2aa198">4519248.0</span> |
| </span></span><span style="display:flex;"><span>jvm_memory_used_bytes{area<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;nonheap&#34;</span>,id<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;CodeHeap &#39;non-profiled nmethods&#39;&#34;</span>,} <span style="color:#2aa198">5697408.0</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># HELP qps Query Per Seconds</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># TYPE qps gauge</span> |
| </span></span><span style="display:flex;"><span>qps{application_name<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;metrics-provider&#34;</span>,group<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;&#34;</span>,hostname<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;iZ8lgm9icspkthZ&#34;</span>,interface<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;org.apache.dubbo.samples.metrics.prometheus.api.DemoService&#34;</span>,ip<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;172.28.236.104&#34;</span>,method<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;sayHello&#34;</span>,version<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;&#34;</span>,} <span style="color:#2aa198">0.3333333333333333</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># HELP rt_min Min Response Time</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># TYPE rt_min gauge</span> |
| </span></span><span style="display:flex;"><span>rt_min{application_name<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;metrics-provider&#34;</span>,group<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;&#34;</span>,hostname<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;iZ8lgm9icspkthZ&#34;</span>,interface<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;org.apache.dubbo.samples.metrics.prometheus.api.DemoService&#34;</span>,ip<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;172.28.236.104&#34;</span>,method<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;sayHello&#34;</span>,version<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;&#34;</span>,} <span style="color:#2aa198">0.0</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># HELP jvm_buffer_count_buffers An estimate of the number of buffers in the pool</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># TYPE jvm_buffer_count_buffers gauge</span> |
| </span></span><span style="display:flex;"><span>jvm_buffer_count_buffers{id<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;mapped&#34;</span>,} <span style="color:#2aa198">0.0</span> |
| </span></span><span style="display:flex;"><span>jvm_buffer_count_buffers{id<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;direct&#34;</span>,} <span style="color:#2aa198">10.0</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># HELP system_cpu_count The number of processors available to the Java virtual machine</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># TYPE system_cpu_count gauge</span> |
| </span></span><span style="display:flex;"><span>system_cpu_count <span style="color:#2aa198">2.0</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># HELP jvm_classes_loaded_classes The number of classes that are currently loaded in the Java virtual machine</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># TYPE jvm_classes_loaded_classes gauge</span> |
| </span></span><span style="display:flex;"><span>jvm_classes_loaded_classes <span style="color:#2aa198">7325.0</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># HELP rt_total Total Response Time</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># TYPE rt_total gauge</span> |
| </span></span><span style="display:flex;"><span>rt_total{application_name<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;metrics-provider&#34;</span>,group<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;&#34;</span>,hostname<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;iZ8lgm9icspkthZ&#34;</span>,interface<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;org.apache.dubbo.samples.metrics.prometheus.api.DemoService&#34;</span>,ip<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;172.28.236.104&#34;</span>,method<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;sayHello&#34;</span>,version<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;&#34;</span>,} <span style="color:#2aa198">2783.0</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># HELP rt_last Last Response Time</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># TYPE rt_last gauge</span> |
| </span></span><span style="display:flex;"><span>rt_last{application_name<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;metrics-provider&#34;</span>,group<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;&#34;</span>,hostname<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;iZ8lgm9icspkthZ&#34;</span>,interface<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;org.apache.dubbo.samples.metrics.prometheus.api.DemoService&#34;</span>,ip<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;172.28.236.104&#34;</span>,method<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;sayHello&#34;</span>,version<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;&#34;</span>,} <span style="color:#2aa198">0.0</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># HELP jvm_gc_memory_promoted_bytes_total Count of positive increases in the size of the old generation memory pool before GC to after GC</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># TYPE jvm_gc_memory_promoted_bytes_total counter</span> |
| </span></span><span style="display:flex;"><span>jvm_gc_memory_promoted_bytes_total <span style="color:#2aa198">1.4450952E7</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># HELP jvm_gc_pause_seconds Time spent in GC pause</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># TYPE jvm_gc_pause_seconds summary</span> |
| </span></span><span style="display:flex;"><span>jvm_gc_pause_seconds_count{action<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;end of minor GC&#34;</span>,cause<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;Metadata GC Threshold&#34;</span>,} <span style="color:#2aa198">2.0</span> |
| </span></span><span style="display:flex;"><span>jvm_gc_pause_seconds_sum{action<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;end of minor GC&#34;</span>,cause<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;Metadata GC Threshold&#34;</span>,} <span style="color:#2aa198">0.026</span> |
| </span></span><span style="display:flex;"><span>jvm_gc_pause_seconds_count{action<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;end of minor GC&#34;</span>,cause<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;G1 Evacuation Pause&#34;</span>,} <span style="color:#2aa198">37.0</span> |
| </span></span><span style="display:flex;"><span>jvm_gc_pause_seconds_sum{action<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;end of minor GC&#34;</span>,cause<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;G1 Evacuation Pause&#34;</span>,} <span style="color:#2aa198">0.156</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># HELP jvm_gc_pause_seconds_max Time spent in GC pause</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># TYPE jvm_gc_pause_seconds_max gauge</span> |
| </span></span><span style="display:flex;"><span>jvm_gc_pause_seconds_max{action<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;end of minor GC&#34;</span>,cause<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;Metadata GC Threshold&#34;</span>,} <span style="color:#2aa198">0.0</span> |
| </span></span><span style="display:flex;"><span>jvm_gc_pause_seconds_max{action<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;end of minor GC&#34;</span>,cause<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;G1 Evacuation Pause&#34;</span>,} <span style="color:#2aa198">0.0</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># HELP rt_p95 Response Time P95</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># TYPE rt_p95 gauge</span> |
| </span></span><span style="display:flex;"><span>rt_p95{application_name<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;metrics-provider&#34;</span>,group<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;&#34;</span>,hostname<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;iZ8lgm9icspkthZ&#34;</span>,interface<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;org.apache.dubbo.samples.metrics.prometheus.api.DemoService&#34;</span>,ip<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;172.28.236.104&#34;</span>,method<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;sayHello&#34;</span>,version<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;&#34;</span>,} <span style="color:#2aa198">0.0</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># HELP requests_total Total Requests</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># TYPE requests_total gauge</span> |
| </span></span><span style="display:flex;"><span>requests_total{application_name<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;metrics-provider&#34;</span>,group<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;&#34;</span>,hostname<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;iZ8lgm9icspkthZ&#34;</span>,interface<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;org.apache.dubbo.samples.metrics.prometheus.api.DemoService&#34;</span>,ip<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;172.28.236.104&#34;</span>,method<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;sayHello&#34;</span>,version<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;&#34;</span>,} <span style="color:#2aa198">27738.0</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># HELP process_cpu_usage The &#34;recent cpu usage&#34; for the Java Virtual Machine process</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># TYPE process_cpu_usage gauge</span> |
| </span></span><span style="display:flex;"><span>process_cpu_usage <span style="color:#2aa198">8.103727714748784E-4</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># HELP rt_max Max Response Time</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># TYPE rt_max gauge</span> |
| </span></span><span style="display:flex;"><span>rt_max{application_name<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;metrics-provider&#34;</span>,group<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;&#34;</span>,hostname<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;iZ8lgm9icspkthZ&#34;</span>,interface<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;org.apache.dubbo.samples.metrics.prometheus.api.DemoService&#34;</span>,ip<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;172.28.236.104&#34;</span>,method<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;sayHello&#34;</span>,version<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;&#34;</span>,} <span style="color:#2aa198">4.0</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># HELP jvm_gc_max_data_size_bytes Max size of long-lived heap memory pool</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># TYPE jvm_gc_max_data_size_bytes gauge</span> |
| </span></span><span style="display:flex;"><span>jvm_gc_max_data_size_bytes <span style="color:#2aa198">9.52107008E8</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># HELP jvm_threads_live_threads The current number of live threads including both daemon and non-daemon threads</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># TYPE jvm_threads_live_threads gauge</span> |
| </span></span><span style="display:flex;"><span>jvm_threads_live_threads <span style="color:#2aa198">39.0</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># HELP jvm_threads_daemon_threads The current number of live daemon threads</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># TYPE jvm_threads_daemon_threads gauge</span> |
| </span></span><span style="display:flex;"><span>jvm_threads_daemon_threads <span style="color:#2aa198">36.0</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># HELP jvm_classes_unloaded_classes_total The total number of classes unloaded since the Java virtual machine has started execution</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># TYPE jvm_classes_unloaded_classes_total counter</span> |
| </span></span><span style="display:flex;"><span>jvm_classes_unloaded_classes_total <span style="color:#2aa198">0.0</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># HELP jvm_memory_committed_bytes The amount of memory in bytes that is committed for the Java virtual machine to use</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># TYPE jvm_memory_committed_bytes gauge</span> |
| </span></span><span style="display:flex;"><span>jvm_memory_committed_bytes{area<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;nonheap&#34;</span>,id<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;CodeHeap &#39;profiled nmethods&#39;&#34;</span>,} <span style="color:#2aa198">1.4680064E7</span> |
| </span></span><span style="display:flex;"><span>jvm_memory_committed_bytes{area<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;heap&#34;</span>,id<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;G1 Survivor Space&#34;</span>,} <span style="color:#2aa198">1048576.0</span> |
| </span></span><span style="display:flex;"><span>jvm_memory_committed_bytes{area<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;heap&#34;</span>,id<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;G1 Old Gen&#34;</span>,} <span style="color:#2aa198">5.24288E7</span> |
| </span></span><span style="display:flex;"><span>jvm_memory_committed_bytes{area<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;nonheap&#34;</span>,id<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;Metaspace&#34;</span>,} <span style="color:#2aa198">4.1623552E7</span> |
| </span></span><span style="display:flex;"><span>jvm_memory_committed_bytes{area<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;heap&#34;</span>,id<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;G1 Eden Space&#34;</span>,} <span style="color:#2aa198">9.0177536E7</span> |
| </span></span><span style="display:flex;"><span>jvm_memory_committed_bytes{area<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;nonheap&#34;</span>,id<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;CodeHeap &#39;non-nmethods&#39;&#34;</span>,} <span style="color:#2aa198">2555904.0</span> |
| </span></span><span style="display:flex;"><span>jvm_memory_committed_bytes{area<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;nonheap&#34;</span>,id<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;Compressed Class Space&#34;</span>,} <span style="color:#2aa198">5111808.0</span> |
| </span></span><span style="display:flex;"><span>jvm_memory_committed_bytes{area<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;nonheap&#34;</span>,id<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;CodeHeap &#39;non-profiled nmethods&#39;&#34;</span>,} <span style="color:#2aa198">5701632.0</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># HELP requests_succeed Succeed Requests</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># TYPE requests_succeed gauge</span> |
| </span></span><span style="display:flex;"><span>requests_succeed{application_name<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;metrics-provider&#34;</span>,group<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;&#34;</span>,hostname<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;iZ8lgm9icspkthZ&#34;</span>,interface<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;org.apache.dubbo.samples.metrics.prometheus.api.DemoService&#34;</span>,ip<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;172.28.236.104&#34;</span>,method<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;sayHello&#34;</span>,version<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;&#34;</span>,} <span style="color:#2aa198">27738.0</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># HELP rt_avg Average Response Time</span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75"># TYPE rt_avg gauge</span> |
| </span></span><span style="display:flex;"><span>rt_avg{application_name<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;metrics-provider&#34;</span>,group<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;&#34;</span>,hostname<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;iZ8lgm9icspkthZ&#34;</span>,interface<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;org.apache.dubbo.samples.metrics.prometheus.api.DemoService&#34;</span>,ip<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;172.28.236.104&#34;</span>,method<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;sayHello&#34;</span>,version<span style="color:#719e07">=</span><span style="color:#2aa198">&#34;&#34;</span>,} <span style="color:#2aa198">0.0</span> |
| </span></span></code></pre></div><h2 id="聚合收集器">聚合收集器</h2> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#268bd2">public</span> <span style="color:#268bd2">class</span> <span style="color:#268bd2">AggregateMetricsCollector</span> <span style="color:#268bd2">implements</span> MetricsCollector, MetricsListener { |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> <span style="color:#dc322f">int</span> bucketNum; |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> <span style="color:#dc322f">int</span> timeWindowSeconds; |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> <span style="color:#268bd2">final</span> Map<span style="color:#719e07">&lt;</span>MethodMetric, TimeWindowCounter<span style="color:#719e07">&gt;</span> totalRequests <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> ConcurrentHashMap<span style="color:#719e07">&lt;&gt;</span>(); |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> <span style="color:#268bd2">final</span> Map<span style="color:#719e07">&lt;</span>MethodMetric, TimeWindowCounter<span style="color:#719e07">&gt;</span> succeedRequests <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> ConcurrentHashMap<span style="color:#719e07">&lt;&gt;</span>(); |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> <span style="color:#268bd2">final</span> Map<span style="color:#719e07">&lt;</span>MethodMetric, TimeWindowCounter<span style="color:#719e07">&gt;</span> failedRequests <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> ConcurrentHashMap<span style="color:#719e07">&lt;&gt;</span>(); |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> <span style="color:#268bd2">final</span> Map<span style="color:#719e07">&lt;</span>MethodMetric, TimeWindowCounter<span style="color:#719e07">&gt;</span> qps <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> ConcurrentHashMap<span style="color:#719e07">&lt;&gt;</span>(); |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> <span style="color:#268bd2">final</span> Map<span style="color:#719e07">&lt;</span>MethodMetric, TimeWindowQuantile<span style="color:#719e07">&gt;</span> rt <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> ConcurrentHashMap<span style="color:#719e07">&lt;&gt;</span>(); |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> <span style="color:#268bd2">final</span> ApplicationModel applicationModel; |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> <span style="color:#268bd2">static</span> <span style="color:#268bd2">final</span> Integer DEFAULT_COMPRESSION <span style="color:#719e07">=</span> 100; |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> <span style="color:#268bd2">static</span> <span style="color:#268bd2">final</span> Integer DEFAULT_BUCKET_NUM <span style="color:#719e07">=</span> 10; |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> <span style="color:#268bd2">static</span> <span style="color:#268bd2">final</span> Integer DEFAULT_TIME_WINDOW_SECONDS <span style="color:#719e07">=</span> 120; |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75">//在构造函数中解析配置信息</span> |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> <span style="color:#268bd2">AggregateMetricsCollector</span>(ApplicationModel applicationModel) { |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">this</span>.applicationModel <span style="color:#719e07">=</span> applicationModel; |
| </span></span><span style="display:flex;"><span> ConfigManager configManager <span style="color:#719e07">=</span> applicationModel.getApplicationConfigManager(); |
| </span></span><span style="display:flex;"><span> MetricsConfig config <span style="color:#719e07">=</span> configManager.getMetrics().orElse(<span style="color:#cb4b16">null</span>); |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">if</span> (config <span style="color:#719e07">!=</span> <span style="color:#cb4b16">null</span> <span style="color:#719e07">&amp;&amp;</span> config.getAggregation() <span style="color:#719e07">!=</span> <span style="color:#cb4b16">null</span> <span style="color:#719e07">&amp;&amp;</span> Boolean.TRUE.equals(config.getAggregation().getEnabled())) { |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">// only registered when aggregation is enabled.</span> |
| </span></span><span style="display:flex;"><span> registerListener(); |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> AggregationConfig aggregation <span style="color:#719e07">=</span> config.getAggregation(); |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">this</span>.bucketNum <span style="color:#719e07">=</span> aggregation.getBucketNum() <span style="color:#719e07">==</span> <span style="color:#cb4b16">null</span> <span style="color:#719e07">?</span> DEFAULT_BUCKET_NUM : aggregation.getBucketNum(); |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">this</span>.timeWindowSeconds <span style="color:#719e07">=</span> aggregation.getTimeWindowSeconds() <span style="color:#719e07">==</span> <span style="color:#cb4b16">null</span> <span style="color:#719e07">?</span> DEFAULT_TIME_WINDOW_SECONDS : aggregation.getTimeWindowSeconds(); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><p>如果开启了本地聚合，则通过 spring 的 BeanFactory 添加监听，将 AggregateMetricsCollector 与 DefaultMetricsCollector 绑定，实现一种生产者消费者的模式，DefaultMetricsCollector 中使用监听器列表，方便扩展</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#268bd2">private</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">registerListener</span>() { |
| </span></span><span style="display:flex;"><span> applicationModel.getBeanFactory().getBean(DefaultMetricsCollector.class).addListener(<span style="color:#719e07">this</span>); |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><h2 id="3-指标聚合">3. 指标聚合</h2> |
| <p>滑动窗口 |
| 假设我们初始有6个bucket，每个窗口时间设置为2分钟 |
| 每次写入指标数据时，会将数据分别写入6个bucket内，每隔两分钟移动一个bucket并且清除原来bucket内的数据 |
| 读取指标时，读取当前current指向的bucket，以达到滑动窗口的效果 |
| 具体如下图所示，实现了当前 bucket 内存储了配置中设置的 bucket 生命周期内的数据，即近期数据 |
| <img src="https://dubbo.apache.org/imgs/docs3-v2/java-sdk/observability/aggre.png" alt="img_1.png"></p> |
| <p>在每个bucket内，使用<strong>TDigest 算法</strong>计算分位数指标</p> |
| <blockquote> |
| <p><strong>TDigest 算法</strong>（极端分位精确度高，如p1 p99，中间分位精确度低，如p50），相关资料如下</p> |
| <ul> |
| <li><a href="https://op8867555.github.io/posts/2018-04-09-tdigest.html">https://op8867555.github.io/posts/2018-04-09-tdigest.html</a></li> |
| <li><a href="https://blog.csdn.net/csdnnews/article/details/116246540">https://blog.csdn.net/csdnnews/article/details/116246540</a></li> |
| <li>开源实现：https://github.com/tdunning/t-digest</li> |
| </ul> |
| </blockquote> |
| <p>代码实现如下，除了 TimeWindowQuantile 用来计算分位数指标外，另外提供了 TimeWindowCounter 来收集时间区间内的指标数量</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#268bd2">public</span> <span style="color:#268bd2">class</span> <span style="color:#268bd2">TimeWindowQuantile</span> { |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> <span style="color:#268bd2">final</span> <span style="color:#dc322f">double</span> compression; |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> <span style="color:#268bd2">final</span> TDigest<span style="color:#719e07">[]</span> ringBuffer; |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> <span style="color:#dc322f">int</span> currentBucket; |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> <span style="color:#dc322f">long</span> lastRotateTimestampMillis; |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> <span style="color:#268bd2">final</span> <span style="color:#dc322f">long</span> durationBetweenRotatesMillis; |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> <span style="color:#268bd2">TimeWindowQuantile</span>(<span style="color:#dc322f">double</span> compression, <span style="color:#dc322f">int</span> bucketNum, <span style="color:#dc322f">int</span> timeWindowSeconds) { |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">this</span>.compression <span style="color:#719e07">=</span> compression; |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">this</span>.ringBuffer <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> TDigest<span style="color:#719e07">[</span>bucketNum<span style="color:#719e07">]</span>; |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">for</span> (<span style="color:#dc322f">int</span> i <span style="color:#719e07">=</span> 0; i <span style="color:#719e07">&lt;</span> bucketNum; i<span style="color:#719e07">++</span>) { |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">this</span>.ringBuffer<span style="color:#719e07">[</span>i<span style="color:#719e07">]</span> <span style="color:#719e07">=</span> TDigest.createDigest(compression); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">this</span>.currentBucket <span style="color:#719e07">=</span> 0; |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">this</span>.lastRotateTimestampMillis <span style="color:#719e07">=</span> System.currentTimeMillis(); |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">this</span>.durationBetweenRotatesMillis <span style="color:#719e07">=</span> TimeUnit.SECONDS.toMillis(timeWindowSeconds) <span style="color:#719e07">/</span> bucketNum; |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> <span style="color:#268bd2">synchronized</span> <span style="color:#dc322f">double</span> <span style="color:#268bd2">quantile</span>(<span style="color:#dc322f">double</span> q) { |
| </span></span><span style="display:flex;"><span> TDigest currentBucket <span style="color:#719e07">=</span> rotate(); |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">return</span> currentBucket.quantile(q); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> <span style="color:#268bd2">synchronized</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">add</span>(<span style="color:#dc322f">double</span> value) { |
| </span></span><span style="display:flex;"><span> rotate(); |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">for</span> (TDigest bucket : ringBuffer) { |
| </span></span><span style="display:flex;"><span> bucket.add(value); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">private</span> TDigest <span style="color:#268bd2">rotate</span>() { |
| </span></span><span style="display:flex;"><span> <span style="color:#dc322f">long</span> timeSinceLastRotateMillis <span style="color:#719e07">=</span> System.currentTimeMillis() <span style="color:#719e07">-</span> lastRotateTimestampMillis; |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">while</span> (timeSinceLastRotateMillis <span style="color:#719e07">&gt;</span> durationBetweenRotatesMillis) { |
| </span></span><span style="display:flex;"><span> ringBuffer<span style="color:#719e07">[</span>currentBucket<span style="color:#719e07">]</span> <span style="color:#719e07">=</span> TDigest.createDigest(compression); |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">if</span> (<span style="color:#719e07">++</span>currentBucket <span style="color:#719e07">&gt;=</span> ringBuffer.length) { |
| </span></span><span style="display:flex;"><span> currentBucket <span style="color:#719e07">=</span> 0; |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> timeSinceLastRotateMillis <span style="color:#719e07">-=</span> durationBetweenRotatesMillis; |
| </span></span><span style="display:flex;"><span> lastRotateTimestampMillis <span style="color:#719e07">+=</span> durationBetweenRotatesMillis; |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">return</span> ringBuffer<span style="color:#719e07">[</span>currentBucket<span style="color:#719e07">]</span>; |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><h1 id="指标推送">指标推送</h1> |
| <p>指标推送只有用户在设置了&lt;dubbo:metrics /&gt;配置且配置protocol参数后才开启，若只开启指标聚合，则默认不推送指标。</p> |
| <h2 id="1-promehteus-pull-servicediscovery">1. Promehteus Pull ServiceDiscovery</h2> |
| <p>使用dubbo-admin等类似的中间层，启动时根据配置将本机 IP、Port、MetricsURL 推送地址信息至dubbo-admin（或任意中间层）的方式，暴露HTTP ServiceDiscovery供prometheus读取，配置方式如&lt;dubbo:metrics protocol=&ldquo;prometheus&rdquo; mode=&ldquo;pull&rdquo; address=&quot;${dubbo-admin.address}&quot; port=&ldquo;20888&rdquo; url=&quot;/metrics&quot;/&gt;，其中在pull模式下address为可选参数，若不填则需用户手动在Prometheus配置文件中配置地址</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#268bd2">private</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">exportHttpServer</span>() { |
| </span></span><span style="display:flex;"><span> <span style="color:#dc322f">boolean</span> exporterEnabled <span style="color:#719e07">=</span> url.getParameter(PROMETHEUS_EXPORTER_ENABLED_KEY, <span style="color:#cb4b16">false</span>); |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">if</span> (exporterEnabled) { |
| </span></span><span style="display:flex;"><span> <span style="color:#dc322f">int</span> port <span style="color:#719e07">=</span> url.getParameter(PROMETHEUS_EXPORTER_METRICS_PORT_KEY, PROMETHEUS_DEFAULT_METRICS_PORT); |
| </span></span><span style="display:flex;"><span> String path <span style="color:#719e07">=</span> url.getParameter(PROMETHEUS_EXPORTER_METRICS_PATH_KEY, PROMETHEUS_DEFAULT_METRICS_PATH); |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">if</span> (<span style="color:#719e07">!</span>path.startsWith(<span style="color:#2aa198">&#34;/&#34;</span>)) { |
| </span></span><span style="display:flex;"><span> path <span style="color:#719e07">=</span> <span style="color:#2aa198">&#34;/&#34;</span> <span style="color:#719e07">+</span> path; |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">try</span> { |
| </span></span><span style="display:flex;"><span> prometheusExporterHttpServer <span style="color:#719e07">=</span> HttpServer.create(<span style="color:#719e07">new</span> InetSocketAddress(port), 0); |
| </span></span><span style="display:flex;"><span> prometheusExporterHttpServer.createContext(path, httpExchange <span style="color:#719e07">-&gt;</span> { |
| </span></span><span style="display:flex;"><span> String response <span style="color:#719e07">=</span> prometheusRegistry.scrape(); |
| </span></span><span style="display:flex;"><span> httpExchange.sendResponseHeaders(200, response.getBytes().length); |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">try</span> (OutputStream os <span style="color:#719e07">=</span> httpExchange.getResponseBody()) { |
| </span></span><span style="display:flex;"><span> os.write(response.getBytes()); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> }); |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> httpServerThread <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> Thread(prometheusExporterHttpServer::start); |
| </span></span><span style="display:flex;"><span> httpServerThread.start(); |
| </span></span><span style="display:flex;"><span> } <span style="color:#719e07">catch</span> (IOException e) { |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">throw</span> <span style="color:#719e07">new</span> RuntimeException(e); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><h2 id="2-prometheus-push-pushgateway">2. Prometheus Push Pushgateway</h2> |
| <p>用户直接在Dubbo配置文件中配置Prometheus Pushgateway的地址即可，如&lt;dubbo:metrics protocol=&ldquo;prometheus&rdquo; mode=&ldquo;push&rdquo; address=&quot;${prometheus.pushgateway-url}&quot; interval=&ldquo;5&rdquo; /&gt;，其中interval代表推送间隔</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">private</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">schedulePushJob</span>() { |
| </span></span><span style="display:flex;"><span> <span style="color:#dc322f">boolean</span> pushEnabled <span style="color:#719e07">=</span> url.getParameter(PROMETHEUS_PUSHGATEWAY_ENABLED_KEY, <span style="color:#cb4b16">false</span>); |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">if</span> (pushEnabled) { |
| </span></span><span style="display:flex;"><span> String baseUrl <span style="color:#719e07">=</span> url.getParameter(PROMETHEUS_PUSHGATEWAY_BASE_URL_KEY); |
| </span></span><span style="display:flex;"><span> String job <span style="color:#719e07">=</span> url.getParameter(PROMETHEUS_PUSHGATEWAY_JOB_KEY, PROMETHEUS_DEFAULT_JOB_NAME); |
| </span></span><span style="display:flex;"><span> <span style="color:#dc322f">int</span> pushInterval <span style="color:#719e07">=</span> url.getParameter(PROMETHEUS_PUSHGATEWAY_PUSH_INTERVAL_KEY, PROMETHEUS_DEFAULT_PUSH_INTERVAL); |
| </span></span><span style="display:flex;"><span> String username <span style="color:#719e07">=</span> url.getParameter(PROMETHEUS_PUSHGATEWAY_USERNAME_KEY); |
| </span></span><span style="display:flex;"><span> String password <span style="color:#719e07">=</span> url.getParameter(PROMETHEUS_PUSHGATEWAY_PASSWORD_KEY); |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> NamedThreadFactory threadFactory <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> NamedThreadFactory(<span style="color:#2aa198">&#34;prometheus-push-job&#34;</span>, <span style="color:#cb4b16">true</span>); |
| </span></span><span style="display:flex;"><span> pushJobExecutor <span style="color:#719e07">=</span> Executors.newScheduledThreadPool(1, threadFactory); |
| </span></span><span style="display:flex;"><span> PushGateway pushGateway <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> PushGateway(baseUrl); |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">if</span> (<span style="color:#719e07">!</span>StringUtils.isBlank(username)) { |
| </span></span><span style="display:flex;"><span> pushGateway.setConnectionFactory(<span style="color:#719e07">new</span> BasicAuthHttpConnectionFactory(username, password)); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span> pushJobExecutor.scheduleWithFixedDelay(() <span style="color:#719e07">-&gt;</span> push(pushGateway, job), pushInterval, pushInterval, TimeUnit.SECONDS); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span>} |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">protected</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">push</span>(PushGateway pushGateway, String job) { |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">try</span> { |
| </span></span><span style="display:flex;"><span> pushGateway.pushAdd(prometheusRegistry.getPrometheusRegistry(), job); |
| </span></span><span style="display:flex;"><span> } <span style="color:#719e07">catch</span> (IOException e) { |
| </span></span><span style="display:flex;"><span> logger.error(<span style="color:#2aa198">&#34;Error occurred when pushing metrics to prometheus: &#34;</span>, e); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><h2 id="可视化展示">可视化展示</h2> |
| <p>目前推荐使用 Prometheus 来进行服务监控，Grafana 来展示指标数据。可以通过案例来快速入门 <a href="https://dubbo.apache.org/zh-cn/overview/tasks/observability/grafana/">Dubbo 可视化监控</a>。</p></description></item><item><title>Blog: Dubbo 在 Proxyless Mesh 模式下的探索与改进</title><link>https://dubbo.apache.org/zh-cn/blog/2023/02/02/dubbo-%E5%9C%A8-proxyless-mesh-%E6%A8%A1%E5%BC%8F%E4%B8%8B%E7%9A%84%E6%8E%A2%E7%B4%A2%E4%B8%8E%E6%94%B9%E8%BF%9B/</link><pubDate>Thu, 02 Feb 2023 00:00:00 +0000</pubDate><guid>https://dubbo.apache.org/zh-cn/blog/2023/02/02/dubbo-%E5%9C%A8-proxyless-mesh-%E6%A8%A1%E5%BC%8F%E4%B8%8B%E7%9A%84%E6%8E%A2%E7%B4%A2%E4%B8%8E%E6%94%B9%E8%BF%9B/</guid><description> |
| <h2 id="一背景">一、背景</h2> |
| <p>随着 Docker 和 Kubernetes 的出现，一个庞大的单体应用可以被拆分成多个独立部署的微服务，并被打包运行于对应的容器中。不同应用之间相互通信，以共同完成某一功能模块。微服务架构与容器化部署带来的好处是显而易见的，它降低了服务间的耦合性，利于开发和维护，能更有效地利用计算资源。当然，微服务架构也存在相应的缺点：</p> |
| <ul> |
| <li>强依赖于 SDK，业务模块与治理模块耦合较为严重。 除了相关依赖，往往还需要在业务代码中嵌入SDK代码或配置。</li> |
| <li>统一治理难。每次框架升级都需要修改 SDK 版本，并重新进行回归测试，确认功能正常后再对每一台机器重新部署上线。不同服务引用的 SDK 版本不统一、能力参差不齐，增大了统一治理的难度。</li> |
| <li>缺少一套统一解决方案。目前市场不存在一整套功能完善、无死角的微服务治理与解决方案。在实际生产环境往往还需要引入多个治理组件来完成像灰度发布、故障注入等功能。</li> |
| </ul> |
| <p>为解决这些痛点，Service Mesh诞生了。以经典的 Sidecar 模式为例，它通过在业务 Pod 中注入 Sidecar 容器，对代理流量实施治理和管控，将框架的治理能力下层到 Sidecar 容器中，与业务系统解耦，从而轻松实现多语言、多协议的统一流量管控、监控等需求。通过剥离SDK能力并拆解为独立进程，从而解决了强依赖于SDK的问题，从而使开发人员可以更加专注于业务本身，实现了基础框架能力的下沉，如下图所示（源自dubbo官网）： |
| <img src="https://dubbo.apache.org/imgs/blog/2023/2/2/1.png" alt="image.png"></p> |
| <p>经典的 Sidecar Mesh 部署架构有很多优势，如减少SDK耦合、业务侵入小等，但增加了一层代理，也带来了一些额外的问题，比如:</p> |
| <ul> |
| <li>Sidecar 代理会损耗一部分性能，当网络结构层级比较复杂时尤其明显，对性能要求很高的业务造成了一定的困扰。</li> |
| <li>架构更加复杂，对运维人员要求高。</li> |
| <li>对部署环境有一定的要求，需要其能支持 Sidecar 代理的运行。</li> |
| </ul> |
| <p>为解决这些痛点，Proxyless Service Mesh 模式诞生了。传统服务网格通过代理的方式拦截所有的业务网络流量，代理需要感知到控制平面下发的配置资源，从而按照要求控制网络流量的走向。以istio为例，Proxyless 模式是指应用直接与负责控制平面的 istiod 进程通信，istiod 进程通过监听并获取 Kubernetes 的资源，例如 Service、Endpoint 等，并将这些资源统一通过 xDS 协议下发到不同的 RPC 框架，由 RPC 框架进行请求转发，从而实现服务发现和服务治理等能力。 |
| Dubbo 社区是国内最早开始对 Proxyless Service Mesh 模式进行探索的社区，这是由于相比于 Service Mesh，Proxyless 模式落地成本较低，对于中小企业来说是一个较好的选择。Dubbo 在 3.1 版本中通过对 xDS 协议进行解析，新增了对 Proxyless 的支持。xDS 是一类发现服务的总称，应用通过 xDS API 可以动态获取 Listener(监听器)、Route(路由)、Cluster(集群)、Endpoint(集群成员) 以及 Secret(证书)配置。</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/2/2/2.jpeg" alt="image.png"></p> |
| <p>通过 Proxyless 模式，Dubbo 与 Control Plane 直接建立通信，进而实现控制面对流量管控、服务治理、可观测性、安全等的统一管控，从而规避 Sidecar 模式带来的性能损耗与部署架构复杂性。</p> |
| <h2 id="二dubbo-xds-推送机制详解">二、Dubbo xDS 推送机制详解</h2> |
| <p>从整体上看，istio control plane 和 dubbo 的交互时序图如上。Dubbo 里 xDS 处理的主要逻辑在 PilotExchanger 和各个 DS (LDS、RDS、CDS、EDS) 的对应协议的具体实现里。PilotExchanger 统一负责串联逻辑，主要有三大逻辑：</p> |
| <ul> |
| <li>获取授信证书。</li> |
| <li>调用不同 protocol 的 getResource 获取资源。</li> |
| <li>调用不同 protocol 得 observeResource 方法监听资源变更。</li> |
| </ul> |
| <p>例如对于 lds 和 rds，PilotExchanger 会调用 lds 的 getResource 方法与 istio 建立通信连接，发送数据并解析来自 istio 的响应，解析完成后的 resource 资源会作 为rds 调用 getResource 方法的入参，并由 rds 发送数据给 istio。当 lds 发生变更时，则由 lds 的 observeResource 方法去触发自身与 rds 的变更。上述关系对于 rds 和 eds 同样如此。现有交互如下，上述过程对应图里红线的流程：</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/2/2/3.jpeg" alt="image.png"></p> |
| <p>在第一次成功获取资源之后，各个DS会通过定时任务去不断发送请求给 istio，并解析响应结果和保持与 istio 之间的交互，进而实现控制面对流量管控、服务治理、可观测性方面的管控，其流程对应上图蓝线部分。</p> |
| <h2 id="三当前dubbo-proxyless实现存在的不足">三、当前Dubbo Proxyless实现存在的不足</h2> |
| <p>Dubbo Proxyless 模式经过验证之后，已经证明了其可靠性。现有 Dubbo proxyless 的实现方案存在以下问题：</p> |
| <ul> |
| <li>目前与 istio 交互的逻辑是推送模式。getResource 和 observeResource 是两条不同的 stream 流，每次发送新请求都需要重新建立连接。但我们建立的 stream 流是双向流动的，istio 在监听到资源变化后由主动推送即可，LDS、RDS、EDS 分别只需要维护一条 stream 流。</li> |
| <li>Stream 流模式改为建立持久化连接之后，需要设计一个本地的缓存池，去存储已经存在的资源。当 istio 主动推送更新后，需要去刷新缓存池的数据。</li> |
| <li>现有observeResource 逻辑是通过定时任务去轮询istio。现在 observeResource 不再需要定时去轮询，只需要将需要监听的资源加入到缓存池，等 istio 自动推送即可，且 istio 推送回来的数据需要按照 app 切分好，实现多点监听，后续 dubbo 支持其他 DS 模式，也可复用相应的逻辑。</li> |
| <li>目前由 istio 托管的 dubbo 应用在 istio 掉线后会抛出异常，断线后无法重新连接，只能重新部署应用，增加了运维和管理的复杂度。我们需增加断线重连的功能，等 istio 恢复正常后无需重新部署即可重连。</li> |
| </ul> |
| <p>改造完成后的交互逻辑：</p> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/2/2/4.jpeg" alt="image.png"></p> |
| <h2 id="四xds-监听模式实现方案">四、Xds 监听模式实现方案</h2> |
| <h3 id="41-资源缓存池">4.1 资源缓存池</h3> |
| <p>目前 Dubbo 的资源类型有LDS，RDS，EDS。对于同一个进程，三种资源监听的所有资源都与 istio 对该进程所缓存的资源监听列表一一对应。因此针对这三种资源，我们应该设计分别对应的本地的资源缓存池，dubbo 尝试资源的时候先去缓存池查询，若有结果则直接返回；否则将本地缓存池的资源列表与想要发送的资源聚合后，发送给 istio 让其更新自身的监听列表。缓存池如下，其中 key 代表单个资源，T 为不同 DS 的返回结果：</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span> <span style="color:#268bd2">protected</span> Map<span style="color:#719e07">&lt;</span>String, T<span style="color:#719e07">&gt;</span> resourcesMap <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> ConcurrentHashMap<span style="color:#719e07">&lt;&gt;</span>(); |
| </span></span></code></pre></div><p>有了缓存池我们必须有一个监听缓存池的结构或者容器，在这里我们设计为 Map 的形式，如下：</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#268bd2">protected</span> Map<span style="color:#719e07">&lt;</span>Set<span style="color:#719e07">&lt;</span>String<span style="color:#719e07">&gt;</span>, List<span style="color:#719e07">&lt;</span>Consumer<span style="color:#719e07">&lt;</span>Map<span style="color:#719e07">&lt;</span>String, T<span style="color:#719e07">&gt;&gt;&gt;&gt;</span> consumerObserveMap <span style="color:#719e07">=</span> <span style="color:#719e07">new</span> ConcurrentHashMap<span style="color:#719e07">&lt;&gt;</span>(); |
| </span></span></code></pre></div><p>其中key为想要监听的资源，value 为一个 List, 之所以设计为 List 是为了可以支持重复订阅。 List 存储的 item 为 jdk8 中的 Consumer 类型，它可以用于传递一个函数或者行为，其入参为 Map&lt;String, T&gt;，其 key 对应所要监听的单个资源，便于从缓存池中获取。如上文所述，PilotExchanger 负责串联整个流程，不同 DS 之间的更新关系可以用 Consumer 进行传递。以监听 LDS observeResource 为例, 大致代码如下：</p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#586e75">// 监听</span> |
| </span></span><span style="display:flex;"><span><span style="color:#dc322f">void</span> <span style="color:#268bd2">observeResource</span>(Set<span style="color:#719e07">&lt;</span>String<span style="color:#719e07">&gt;</span> resourceNames, Consumer<span style="color:#719e07">&lt;</span>Map<span style="color:#719e07">&lt;</span>String, T<span style="color:#719e07">&gt;&gt;</span> consumer, <span style="color:#dc322f">boolean</span> isReConnect); |
| </span></span><span style="display:flex;"><span> |
| </span></span><span style="display:flex;"><span><span style="color:#586e75">// Observe LDS updated</span> |
| </span></span><span style="display:flex;"><span>ldsProtocol.observeResource(ldsResourcesName, (newListener) <span style="color:#719e07">-&gt;</span> { |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">// LDS数据不一致</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">if</span> (<span style="color:#719e07">!</span>newListener.equals(listenerResult)) { |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">//更新LDS数据</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">this</span>.listenerResult <span style="color:#719e07">=</span> newListener; |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">// 触发RDS监听</span> |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">if</span> (isRdsObserve.get()) { |
| </span></span><span style="display:flex;"><span> createRouteObserve(); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span>}, <span style="color:#cb4b16">false</span>); |
| </span></span></code></pre></div><p>Stream流模式改为建立持久化连接之后，我们也需要把这个 Consumer 的行为存储在本地的缓存池中。Istio 收到来自 dubbo 的推送请求后，刷新自身缓存的资源列表并返回响应。此时 istio 返回的响应内容是聚合后的结果，Dubbo 收到响应后，将响应资源拆分为更小的资源粒度，再推送给对应的 Dubbo应用通知其进行变更。</p> |
| <p>踩坑点：</p> |
| <ul> |
| <li>istio推送的数据可能为空字符串，此时缓存池子无需存储，直接跳过即可。否则dubbo会绕过缓冲池，不断向istio发送请求。</li> |
| <li>考虑以下场景，dubbo应用同时订阅了两个接口，分别由app1和app2提供。为避免监听之间的相互覆盖，因此向istio发送数据时，需要聚合所有监听的资源名一次性发起。</li> |
| </ul> |
| <h3 id="42-多点独立监听">4.2 多点独立监听</h3> |
| <p>在第一次向istio发送请求时会调用getResource方法先去cache查询，缺失了再聚合数据去istio请求数据，istio再返回相应的结果给dubbo。我们处理istio的响应有两种实现方案：</p> |
| <ol> |
| <li>由用户在getResource方案中new 一个completeFuture，由cache分析是否是需要的数据，若确认是新数据则由该future回调传递结果。</li> |
| <li>getResource建立资源的监听器consumerObserveMap，定义一个consumer并把取到的数据同步到原来的线程，cache 收到来自istio的推送后会做两件事：将数据推送所有监听器和将数据发送给该资源的监听器。 |
| 以上两种方案都能实现，但最大的区别就是用户调用onNext发送数据给istio的时候需不需要感知getResource 的存在。综上，最终选择方案2进行实现。具体实现逻辑是让dubbo与istio建立连接后，istio会推送自身监听到资源列表给dubbo，dubbo解析响应，并根据监听的不同app切分数据，并刷新本地缓存池的数据，并发送ACK响应给istio，大致流程如下：</li> |
| </ol> |
| <p><img src="https://dubbo.apache.org/imgs/blog/2023/2/2/5.svg" alt="image.png"></p> |
| <div class="highlight"><pre tabindex="0" style="color:#93a1a1;background-color:#002b36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-java" data-lang="java"><span style="display:flex;"><span><span style="color:#268bd2">public</span> <span style="color:#268bd2">class</span> <span style="color:#268bd2">ResponseObserver</span> <span style="color:#268bd2">implements</span> XXX { |
| </span></span><span style="display:flex;"><span> ... |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">onNext</span>(DiscoveryResponse value) { |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">//接受来自istio的数据并切分</span> |
| </span></span><span style="display:flex;"><span> Map<span style="color:#719e07">&lt;</span>String, T<span style="color:#719e07">&gt;</span> newResult <span style="color:#719e07">=</span> decodeDiscoveryResponse(value); |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">//本地缓存池数据</span> |
| </span></span><span style="display:flex;"><span> Map<span style="color:#719e07">&lt;</span>String, T<span style="color:#719e07">&gt;</span> oldResource <span style="color:#719e07">=</span> resourcesMap; |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">//刷新缓存池数据</span> |
| </span></span><span style="display:flex;"><span> discoveryResponseListener(oldResource, newResult); |
| </span></span><span style="display:flex;"><span> resourcesMap <span style="color:#719e07">=</span> newResult; |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">// for ACK</span> |
| </span></span><span style="display:flex;"><span> requestObserver.onNext(buildDiscoveryRequest(Collections.emptySet(), value)); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span> ... |
| </span></span><span style="display:flex;"><span> <span style="color:#268bd2">public</span> <span style="color:#dc322f">void</span> <span style="color:#268bd2">discoveryResponseListener</span>(Map<span style="color:#719e07">&lt;</span>String, T<span style="color:#719e07">&gt;</span> oldResult, |
| </span></span><span style="display:flex;"><span> Map<span style="color:#719e07">&lt;</span>String, T<span style="color:#719e07">&gt;</span> newResult) { |
| </span></span><span style="display:flex;"><span> .... |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span>} |
| </span></span><span style="display:flex;"><span><span style="color:#586e75">//具体实现交由LDS、RDS、EDS自身</span> |
| </span></span><span style="display:flex;"><span><span style="color:#268bd2">protected</span> <span style="color:#268bd2">abstract</span> Map<span style="color:#719e07">&lt;</span>String, T<span style="color:#719e07">&gt;</span> <span style="color:#268bd2">decodeDiscoveryResponse</span>(DiscoveryResponse response){ |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">//比对新数据和缓存池的资源，并将不同时存在于两种池子的资源取出</span> |
| </span></span><span style="display:flex;"><span> ... |
| </span></span><span style="display:flex;"><span> <span style="color:#719e07">for</span> (Map.Entry<span style="color:#719e07">&lt;</span>Set<span style="color:#719e07">&lt;</span>String<span style="color:#719e07">&gt;</span>, List<span style="color:#719e07">&lt;</span>Consumer<span style="color:#719e07">&lt;</span>Map<span style="color:#719e07">&lt;</span>String, T<span style="color:#719e07">&gt;&gt;&gt;&gt;</span> entry : consumerObserveMap.entrySet()) { |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">// 本地缓存池不存在则跳过</span> |
| </span></span><span style="display:flex;"><span> ... |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">//聚合资源</span> |
| </span></span><span style="display:flex;"><span> Map<span style="color:#719e07">&lt;</span>String, T<span style="color:#719e07">&gt;</span> dsResultMap <span style="color:#719e07">=</span> entry.getKey() |
| </span></span><span style="display:flex;"><span> .stream() |
| </span></span><span style="display:flex;"><span> .collect(Collectors.toMap(k <span style="color:#719e07">-&gt;</span> k, v <span style="color:#719e07">-&gt;</span> newResult.get(v))); |
| </span></span><span style="display:flex;"><span> <span style="color:#586e75">//刷新缓存池数据</span> |
| </span></span><span style="display:flex;"><span> entry.getValue().forEach(o <span style="color:#719e07">-&gt;</span> o.accept(dsResultMap)); |
| </span></span><span style="display:flex;"><span> } |
| </span></span><span style="display:flex;"><span>} |
| </span></span></code></pre></div><p>踩坑点：</p> |
| <ul> |
| <li>原本多个stream流的情况下，会用递增的requestId来复用stream流，改成持久化连接之后，一种resource会有多个requestid，可能会相互覆盖，因此必须去掉这个机制。</li> |
| <li>初始实现方案并没有对资源进行切分，而是一把梭，考虑到后续对其他DS的支持，对istio返回的数据进行切分，也导致consumerObserveMap有点奇形怪状。</li> |
| <li>三种DS在发送数据时可以共享同一channel，但监听所用到的必须是同一channel，否则数据变更时istio不会进行推送。</li> |
| <li>建立双向stream流之后，初始方案future为全局共享。但可能有这样的场景：相同的ds两次相邻时间的onNext事件，记为A事件和B事件，可能是A事件先发送，B随后；但可能是B事件的结果先返回，不确定istio推送的时间，因此future必须是局部变量而不是全局共享。</li> |
| </ul> |
| <h3 id="43-采用读写锁避免并发冲突">4.3 采用读写锁避免并发冲突</h3> |
| <p>监听器consumerObserveMap和缓存池resourcesMap均可能产生并发冲突。对于resourcemap，由于put操作都集中在getResource方法，因此可以采用悲观锁就能锁住相应的资源，避免资源的并发监听。对于consumerObserveMap，同时存在put、remove和遍历操作，从时序上，采用读写锁可规避冲突，对于遍历操作加读锁，对于put和remove操作加写锁，即可避免并发冲突。综上，resourcesMap加悲观锁即可，consumerObserveMap涉及的操作场景如下：</p> |
| <ul> |
| <li>远程请求istio时候会往consumerObserveMap 新增数据，加写锁。</li> |
| <li>CompleteFuture跨线程返回数据后，去掉监听future，加写锁。</li> |
| <li>监听缓存池时会往consumerObserveMap新增监听，加写锁。</li> |
| <li>断线重连时会往consumerObserveMap新增监听，加写锁。</li> |
| <li>解析istio返回的数据，遍历缓存池并刷新数据，加读锁。</li> |
| </ul> |
| <p>踩坑点：</p> |
| <ul> |
| <li>由于dubbo和istio建立的是是双向stream流，相同的ds两次相邻时间的onNext事件，记为A事件和B事件，可能是A事件先发送，B随后；但可能是B事件的结果先返回，不确定istio推送的时间。因此需要加锁。</li> |
| </ul> |
| <h3 id="44-断线重连">4.4 断线重连</h3> |
| <p>断线重连只需要用定时任务去定时与istio交互，尝试获取授信证书，证书获取成功即可视为istio成功重新上线，dubbo会聚合本地的资源去istio请求数据，并解析响应和刷新本地缓存池数据，最后再关闭定时任务。 |
| 踩坑点：</p> |
| <ul> |
| <li>采用全局共享的定时任务池，不能进行关闭，否则会影响其他业务。</li> |
| <li></li> |
| </ul> |
| <h2 id="五感想与总结">五、感想与总结</h2> |
| <p>在这次功能的改造中，笔者着实掉了一波头发，怎么找bug也找不到的情形不在少数。除了上述提到的坑点之外，其他的坑点包括但不局限于：</p> |
| <ul> |
| <li> |
| <p>dubbo在某一次迭代里更改了获取k8s证书的方式，授权失败。</p> |
| </li> |
| <li> |
| <p>原本的功能没问题，merge了下master代码，grpc版本与envoy版本不兼容，各种报错，最后靠降低版本成功解决。</p> |
| </li> |
| <li> |
| <p>原本的功能没问题，merge了下master代码，最新分支代码里metadataservice发成了triple，然而在Proxyless模式下只支持dubbo协议，debug了三四天，最后发现需要增加配置。</p> |
| <p>&hellip;&hellip; |
| 但不得不承认，Proxyless Service Mesh确实有它自身的优势和广阔的市场前景。自dubbo3.1.0 release版本之后，dubbo已经实现了Proxyless Service Mesh能力，未来dubbo社区将深度联动业务，解决更多实际生产环境中的痛点，更好地完善service mesh能力。</p> |
| </li> |
| </ul></description></item><item><title>Blog: Dubbo 3.1.5、3.2.0-beta.4 正式发布</title><link>https://dubbo.apache.org/zh-cn/blog/2023/01/30/dubbo-3.1.53.2.0-beta.4-%E6%AD%A3%E5%BC%8F%E5%8F%91%E5%B8%83/</link><pubDate>Mon, 30 Jan 2023 00:00:00 +0000</pubDate><guid>https://dubbo.apache.org/zh-cn/blog/2023/01/30/dubbo-3.1.53.2.0-beta.4-%E6%AD%A3%E5%BC%8F%E5%8F%91%E5%B8%83/</guid><description> |
| <p>Dubbo 3.1.5 版本是目前 Dubbo 3 的最新稳定版本，我们建议所有的用户都升级到最新的稳定版本。Dubbo 3.2.0-beta.4 版本是目前 Dubbo 3 的最新特性版本，包括了如 Spring Boot 3、JDK 17、服务粒度的线程池隔离等新特性的支持，欢迎大家尝鲜使用。</p> |
| <h1 id="dubbo-315">Dubbo 3.1.5</h1> |
| <p><img src="https://dubbo.apache.org/imgs/blog/release/3-1-5.png" alt="image.png"></p> |
| <h3 id="新特性">新特性</h3> |
| <ul> |
| <li>Dubbo QoS 支持记录请求的记录，便于进行审计</li> |
| <li>支持在服务映射失败以后定时进行重试，降低由于元数据中心抖动带来的影响</li> |
| <li>支持在初始化 Nacos Client 的时候进行健康检查，如果失败则在一定次数限制下进行重试，降低由于 Nacos 性能问题带来的稳定性影响</li> |
| <li>支持序列化类检查机制，默认开启日志告警模式</li> |
| </ul> |
| <h3 id="bugfix">Bugfix</h3> |
| <ul> |
| <li>修复资源加载器的日志级别</li> |
| <li>修复 Dubbo 配置类对 Scope Model 进行懒加载，避免触发非预期的默认模块初始化</li> |
| <li>修复 ReferenceConfig 中获取 ClassLoader 的逻辑</li> |
| <li>修复 Metadata Service 在获取订阅服务列表时出现 NPE 的问题</li> |
| <li>修复对接 Spring Cloud Rest 模式的时候 Metadata 配置覆盖的问题</li> |
| <li>修复 Spring 懒加载时可能出现死锁的问题</li> |
| <li>修复端口重复的无效日志</li> |
| <li>修复 Active Limit Filter 不生效的问题</li> |
| <li>修复服务映射时 Nacos CAS 检查写入无效的问题</li> |
| <li>修复 Zookeeper 注册中心对接的应用级服务发现在服务发布的时候出现单节点服务找不到的问题</li> |
| <li>修复服务映射在冲突以后未等待导致的冲突率高的问题</li> |
| <li>修复应用级服务发现下节点更新失败的问题</li> |
| <li>修复应用级配置覆盖不生效的问题</li> |
| <li>修复在应用级地址刷新之后原 Revision 的元数据无法获取的问题</li> |
| <li>修复 Zookeeper 注册中心在应用级服务发现下退订阅后无法重订阅的问题</li> |
| <li>兼容 Nacos 在频繁刷新时最终一致性错误的问题</li> |
| <li>关闭 Nacos 本地缓存获取的开关</li> |
| <li>修复 Triple 传递大写 Attachment 无效的问题</li> |
| <li>修复 Triple 处理特定类反序列化错误的问题</li> |
| <li>修复 Protobuf 依赖不存在时抛出非预期异常的问题</li> |
| <li>修复 CountDown 功能无效的问题</li> |
| <li>修复 Triple 在反序列化时类加载器未切换的问题</li> |
| </ul> |
| <h3 id="faq">FAQ</h3> |
| <p>本次发布中有 5 个提交涉及异常日志 FAQ 的完善。关于错误码机制请参考官网<a href="https://dubbo.apache.org/zh-cn/overview/mannual/java-sdk/faq/intro/">错误码机制介绍</a>一文。</p> |
| <h3 id="代码优化">代码优化</h3> |
| <p>本次发布中有 4 个提交涉及代码质量的优化。</p> |
| <h3 id="依赖升级">依赖升级</h3> |
| <ul> |
| <li>升级 protobuf-java: 3.16.3 -&gt; 3.18.3</li> |
| <li>升级 fastjson2: 2.0.21 -&gt; 2.0.23</li> |
| </ul> |
| <h3 id="贡献者">贡献者</h3> |
| <p>Dubbo 感谢以下贡献者对本次发布的贡献：@win120a, @wuwen5, @AlbumenJ, @CrazyHZM, @EarthChen, @xieshouyu, @wxbty</p> |
| <h3 id="新贡献者">新贡献者</h3> |
| <ul> |
| <li>@xieshouyu 在 PR #11177 提交了第一个贡献</li> |
| </ul> |
| <h1 id="dubbo-320-beta4">Dubbo 3.2.0-beta.4</h1> |
| <p><img src="https://dubbo.apache.org/imgs/blog/release/3-2-0-beta-4.png" alt="image.png"></p> |
| <p><strong>注：Dubbo 3.2.0-beta.4 的代码基础和 Dubbo 3.1.5 完全一致，因此在 Dubbo 3.1.5 中包括的所有修改内容，在 Dubbo 3.2.0-beta.4 中也同样存在，后续说明中对于重复的内容讲不再赘述。</strong></p> |
| <h3 id="新特性-1">新特性</h3> |
| <ul> |
| <li>支持 bytebuddy 作为动态代理的生成平台</li> |
| <li>支持采集超时指标进行上报</li> |
| <li>完善 Metrics 上报应用名</li> |
| <li>完善 Metrics 上报指标的前缀</li> |
| <li>支持上报请求失败的指标</li> |
| <li>完善 xDS 的监听逻辑</li> |
| <li>完善 xDS 对接路由规则的能力</li> |
| </ul> |
| <h3 id="bugfix-1">Bugfix</h3> |
| <ul> |
| <li>修复 Token 请求在 Rest 协议下不生效的问题</li> |
| <li>修复 GraalVM Native Image 的配置</li> |
| <li>修复配置类无法进行序列化的问题</li> |
| <li>修复 IPv6 地址段检查无效的问题</li> |
| <li>修复路由链切换时地址可能存在异常的情况</li> |
| <li>修复缓存文件锁被异常删除的问题</li> |
| <li>修复 Deployer Listener 并发修改的问题</li> |
| </ul> |
| <h3 id="性能优化">性能优化</h3> |
| <ul> |
| <li>优化 ConcurrentHashMap 的使用方式，避免在 JDK 1.8 下出现性能衰减</li> |
| </ul> |
| <h3 id="代码优化-1">代码优化</h3> |
| <p>本次发布中有 8 个提交涉及代码质量的优化。</p> |
| <h3 id="依赖升级-1">依赖升级</h3> |
| <ul> |
| <li>升级 protobuf-java: 3.18.3 -&gt; 3.19.6</li> |
| <li>升级 cglib-nodep: 2.2 -&gt; 2.2.2</li> |
| <li>升级 byte-buddy: 1.12.19 -&gt; 1.12.22</li> |
| <li>升级 bouncycastle-bcprov_version: 1.69 -&gt; 1.70</li> |
| <li>升级 javax.ws.rs-api: 2.0 -&gt; 2.1.1</li> |
| <li>升级 curator_version: 4.2.0 -&gt; 4.3.0</li> |
| <li>升级 maven-plugin-plugin: 3.6.0 -&gt; 3.7.1</li> |
| <li>升级 javax.el: 3.0.1-b08 -&gt; 3.0.1-b12</li> |
| <li>升级 slf4j-api: 1.7.25 -&gt; 1.7.36</li> |
| <li>升级 spring-boot-dependencies: 2.3.1.RELEASE -&gt; 2.7.7</li> |
| <li>升级 maven-enforcer-plugin: 3.0.0-M3 -&gt; 3.1.0</li> |
| <li>升级 javassist: 3.28.0-GA -&gt; 3.29.2-GA</li> |
| <li>升级 spring-boot-maven-plugin: 2.1.4.RELEASE -&gt; 2.7.7</li> |
| <li>升级 javax.el-api: 2.2.4 -&gt; 2.2.5</li> |
| <li>升级 eureka.version: 1.9.12 -&gt; 1.10.18</li> |
| <li>升级 jetty-maven-plugin: 9.4.38.v20210224 -&gt; 9.4.50.v20221201</li> |
| <li>升级 jetty_version: 9.4.43.v20210629 -&gt; 9.4.50.v20221201</li> |
| <li>升级 resteasy_version: 3.0.20.Final -&gt; 3.15.3.Final</li> |
| </ul> |
| <h3 id="贡献者-1">贡献者</h3> |
| <p>Dubbo 感谢以下贡献者对本次发布的贡献：@aamingaa, @AlbumenJ, @CrazyHZM, @fomeiherz, @HHoflittlefish777, @icodening, @jojocodeX, @LXPWing, @MentosL, @mxsm, @schneiderlin, @sconvent, @ShenFeng312, @songxiaosheng, @TigerTurbo, @yuluo-yx, @zeusbee</p> |
| <h3 id="新贡献者-1">新贡献者</h3> |
| <ul> |
| <li>@LXPWing 在 PR #11258 提交了第一个贡献</li> |
| <li>@HHoflittlefish777 在 PR #11266 提交了第一个贡献</li> |
| <li>@sconvent 在 PR #11260 提交了第一个贡献</li> |
| <li>@yuluo-yx 在 PR #11291 提交了第一个贡献</li> |
| <li>@fomeiherz 在 PR #11295 提交了第一个贡献</li> |
| <li>@schneiderlin 在 PR #11324 提交了第一个贡献</li> |
| <li>@mxsm 在 PR #11326 提交了第一个贡献</li> |
| </ul> |
| <h1 id="未来版本规划">未来版本规划</h1> |
| <p><img src="https://dubbo.apache.org/imgs/blog/release/release-roadmap.png" alt="image.png"></p> |
| <p>Dubbo 版本的发布规划以及在《<a href="https://mp.weixin.qq.com/s?__biz=MzIwODYwNTA4MA==&amp;mid=2247484424&amp;idx=1&amp;sn=2f5ff4846f7dafad325f78fd8cf4d1fc&amp;chksm=9701deffa07657e9a46eb97bb859770b4856599566b992724013a848a730f394702938e72404&amp;token=1547029975&amp;lang=zh_CN#rd">聚焦稳定性，Dubbo 发版规划公布</a>》一文中正式发布，欢迎查看。</p></description></item></channel></rss> |
