星级评价:
日期:11-07
立即下载
PiFlow是一款非常强大的大数据流水线系统,混合型科学大数据流水线系统,这款系统将数据采集、储存的等环节封装成组件,软件简单使用容易,提供100+的数据处理组件,如果有需要朋友的可以来本站下载试试。

软件特色
简单易用。
可视化配置流水线。
监控流水线。
查看流水线日志。
检查点功能。
扩展性强:
支持自定义开发数据处理组件。
性能优越:
基于分布式计算引擎Spark开发。
功能强大:
提供100+的数据处理组件。
包括Hadoop 、Spark、MLlib、Hive、Solr、Redis、MemCache、ElasticSearch、JDBC、MongoDB、HTTP、FTP、XML、CSV、JSON等。
集成了微生物领域的相关算法。
使用方法
解压piflow-server-v0.9.tar.gz。
tar -zxvf piflow-server-v0.9.tar.gz。
编辑配置文件config.properties。
运行、停止、重启PiFlow Server。
start.sh、stop.sh、 restart.sh、 status.sh。
测试 PiFlow Server。
设置环境变量 PIFLOW_HOME。
vim /etc/profile。
export PIFLOW_HOME=/yourPiflowPath/bin。
export PATH=PATH:PIFLOW_HOME/bin。
运行如下命令。
piflow flow start example/mockDataFlow.json。
piflow flow stop appID。
piflow flow info appID。
piflow flow log appID。
piflow flowGroup start example/mockDataGroup.json。
piflow flowGroup stop groupId。
piflow flowGroup info groupId。
如何配置config.properties。
#spark and yarn config。
spark.master=yarn。
spark.deploy.mode=cluster。
#hdfs default file system。
fs.defaultFS=hdfs://10.0.86.191:9000。
#yarn resourcemanager.hostname。
yarn.resourcemanager.hostname=10.0.86.191。
#if you want to use hive, set hive metastore uris。
#hive.metastore.uris=thrift://10.0.88.71:9083。
#show data in log, set 0 if you do not want to show data in logs。
data.show=10。
#server port
server.port=8002
#h2db port
h2.port=50002
人气下载
星级评价:
日期:11-07
立即下载
星级评价:
日期:05-15
立即下载
星级评价:
日期:10-14
立即下载
星级评价:
日期:11-08
立即下载
星级评价:
日期:10-23
立即下载
星级评价:
日期:12-26
立即下载
本类下载排名 总 月
小新实用五金手册 V2020 官方版
软件大小:1.92 MB
更新日期:2024-06-13
胡波工具箱(HB MOULD)最新版 V6.8
软件大小:8.51 MB
更新日期:2024-10-23
鸿蒙OS系统模拟器PC版 V2.1.0 官方版
软件大小:890.80 MB
更新日期:2024-10-24
多多助手(拼多多商家辅助) V17.2.7 官方版
软件大小:85.5 MB
更新日期:2024-12-26
极域电子教室脱离控制工具箱2024官方版 V2.4.0.0
软件大小:466.86 KB
更新日期:2024-10-21
易媒助手 V2.1.0.7372 免费版
软件大小:15.16 MB
更新日期:2024-10-15
CIMCO Edit8 V9.1 官方版
软件大小:249 MB
更新日期:2024-10-30
DEV-C++ V5.11.4.9.2 官方最新版
软件大小:48.09 MB
更新日期:2021-12-06
高德地图PC版 V15.12.0.2055
软件大小:84.84 MB
更新日期:2025-04-16
Character Creator(3D人物设计软件) v4.31 中文免费版
软件大小:127 MB
更新日期:2024-10-21
MCChinese(我的世界编程一小时) V1.0 中文安装版
软件大小:95.44 MB
更新日期:2021-09-10
胡波工具箱(HB MOULD)最新版 V6.8
软件大小:8.51 MB
更新日期:2024-10-23
鸿蒙OS系统模拟器PC版 V2.1.0 官方版
软件大小:890.80 MB
更新日期:2024-10-24
多多助手(拼多多商家辅助) V17.2.7 官方版
软件大小:85.5 MB
更新日期:2024-12-26
MCChinese(我的世界编程一小时) V1.0 中文安装版
软件大小:95.44 MB
更新日期:2021-11-12
刻绘大师 V8.20.1 最新官方版
软件大小:491.26 MB
更新日期:2024-07-12
极域电子教室脱离控制工具箱官方正版 V2.4.0.0
软件大小:466.86 KB
更新日期:2024-07-04
CIMCO Edit8 V9.1 官方版
软件大小:249 MB
更新日期:2024-10-30
钉钉 V6.3.5 官方安装版
软件大小:2.14 MB
更新日期:2021-11-10
revit软件2018 修改版
软件大小:4.09 GB
更新日期:2021-11-26
装机必备
最新应用
热门软件推荐