commit | 3c50053192fb2524200552a9f145f30c80fba490 | [log] [tgz] |
---|---|---|
author | Gary Gao <garygaowork@gmail.com> | Wed Mar 20 09:32:36 2019 +0800 |
committer | GitHub <noreply@github.com> | Wed Mar 20 09:32:36 2019 +0800 |
tree | cf63b12fe1f501dac4aac676085c06b588d862a3 | |
parent | a5fcec229553f7b4fa1952af74f3dcb8fe9f5f6b [diff] | |
parent | 90e22e53369ea2590080c713b6ed94ed544e22e0 [diff] |
Merge pull request #270 from InterestingLab/rickyhuo.release.bump Bump version 1.2.4
Waterdrop 是一个非常易用
,高性能
,能够应对海量数据
的实时
数据处理产品,构建于Apache Spark之上。
请点击进入快速入门:https://interestinglab.github.io/waterdrop/#/zh-cn/quick-start
Waterdrop 提供可直接执行的软件包,没有必要自行编译源代码,下载地址:https://github.com/InterestingLab/waterdrop/releases
文档地址:https://interestinglab.github.io/waterdrop/
各种线上应用案例,请见: https://interestinglab.github.io/waterdrop/#/zh-cn/case_study/base
如果您遇到任何问题,请联系项目负责人 Gary(微信: garyelephant
) , RickyHuo(微信: chodomatte1994
),加微信备注“waterdrop”,我们为您提供全程免费服务。
Databricks 开源的 Apache Spark 对于分布式数据处理来说是一个伟大的进步。我们在使用 Spark 时发现了很多可圈可点之处,同时我们也发现了我们的机会 —— 通过我们的努力让Spark的使用更简单,更高效,并将业界和我们使用Spark的优质经验固化到Waterdrop这个产品中,明显减少学习成本,加快分布式数据处理能力在生产环境落地。
除了大大简化分布式数据处理难度外,Waterdrop尽所能为您解决可能遇到的问题:
“Waterdrop” 的中文是“水滴”,来自中国当代科幻小说作家刘慈欣的《三体》系列,它是三体人制造的宇宙探测器,会反射几乎全部的电磁波,表面绝对光滑,温度处于绝对零度,全部由被强互作用力紧密锁死的质子与中子构成,无坚不摧。在末日之战中,仅一个水滴就摧毁了人类太空武装力量近2千艘战舰。
Input[数据源输入] -> Filter[数据处理] -> Output[结果输出]
多个Filter构建了数据处理的Pipeline,满足各种各样的数据处理需求,如果您熟悉SQL,也可以直接通过SQL构建数据处理的Pipeline,简单高效。目前Waterdrop支持的Filter列表, 仍然在不断扩充中。您也可以开发自己的数据处理插件,整个系统是易于扩展的。
Fake, File, Hdfs, Kafka, S3, Socket, 自行开发的Input plugin
Add, Checksum, Convert, Date, Drop, Grok, Json, Kv, Lowercase, Remove, Rename, Repartition, Replace, Sample, Split, Sql, Table, Truncate, Uppercase, Uuid, 自行开发的Filter plugin
Elasticsearch, File, Hdfs, Jdbc, Kafka, Mysql, S3, Stdout, 自行开发的Output plugin
需要以下Spark集群环境的任意一种:
如果您的数据量较小或者只是做功能验证,也可以仅使用local模式启动,无需集群环境。
关于Waterdrop的详细文档
2018-09-08 Elasticsearch 社区分享 Waterdrop:构建在Spark之上的简单高效数据处理系统
2017-09-22 InterestingLab 内部分享 Waterdrop介绍PPT
Waterdrop 为永辉云创旗下新零售品牌永辉生活提供电商用户行为数据实时流式与离线SQL计算。
提交问题和建议:https://github.com/InterestingLab/waterdrop/issues
贡献代码:https://github.com/InterestingLab/waterdrop/pulls
感谢所有开发者
Garyelephant : garygaowork@gmail.com, 微信: garyelephant
RickyHuo : huochen1994@163.com, 微信: chodomatte1994