源码属性

授权 开源
大小 93.91MB
语言 Scala
运行环境 Scala

源码简介

PiFlow是一个简单易用,功能强大的大数据流水线系统。包含丰富的处理器组件,提供Shell、DSL、Web配置界面、任务调度、任务监控等功能。

特性:

1、简单易用可视化配置流水线。监控流水线。查看流水线日志。检查点功能。2、扩展性强:支持自定义开发数据处理组件。3、性能优越:基于分布式计算引擎Spark开发。4、功能强大:提供100+的数据处理组件。包括Hadoop 、Spark、MLlib、Hive、Solr、Redis、MemCache、ElasticSearch、JDBC、MongoDB、HTTP、FTP、XML、CSV、JSON等。集成了微生物领域的相关算法。

环境要求:

JDK 1.8Spark-2.11.8Apache Maven 3.1.0Spark-2.1.0 及以上版本Hadoop-2.6.0
PiFlow(大数据流水线系统) v1.6插图PiFlow(大数据流水线系统) v1.6插图1PiFlow(大数据流水线系统) v1.6插图2PiFlow(大数据流水线系统) v1.6插图3PiFlow(大数据流水线系统) v1.6插图4

云服务器推荐

发表回复

后才能评论

本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。更多说明请参考 VIP介绍。

最常见的情况是下载不完整: 可对比下载完压缩包的与网盘上的容量,若小于网盘提示的容量则是这个原因。这是浏览器下载的bug,建议用百度网盘软件或迅雷下载。 若排除这种情况,可在对应资源底部留言,或联络我们。

对于会员专享、整站源码、程序插件、网站模板、网页模版等类型的素材,文章内用于介绍的图片通常并不包含在对应可供下载素材包内。这些相关商业图片需另外购买,且本站不负责(也没有办法)找到出处。 同样地一些字体文件也是这种情况,但部分素材会在素材包内有一份字体下载链接清单。

如果您已经成功付款但是网站没有弹出成功提示,请联系站长提供付款信息为您处理

源码素材属于虚拟商品,具有可复制性,可传播性,一旦授予,不接受任何形式的退款、换货要求。请您在购买获取之前确认好 是您所需要的资源