Linux运维笔记|自动化运维攻城狮

大数据

A 11-post collection
8 年前

kafka-manager 部署安装

kafka-manager   大数据  

一、功能 1、管理多个kafka集群 2、便捷的检查kafka集群状态(topics,brokers,备份分布情况,分区分布情况) 3、选择你要运行的副本 4、基于当前分区状况进行 5、可以选择topic配置并创建topic(0.8.1.1和0.8.2的配置不同) 6、删除topic(只支持0.8.2以上的版本并且要在broker配置中设置delete.topic.enable…

8 年前

Azkaban 分布式multiple-executor模式部署

azkaban   大数据  

一、简介 Azkaban是LinkedIn开源的任务调度框架，类似于JavaEE中的JBPM和Activiti工作流框架。 如ETL的过程，Sqoop在凌晨1点从RDBMS中抽取数据(E)，在凌晨2点用Hadoop或Spark转换数据(T)，在凌晨3点用Sqoop再把结果数据加载(L)进RDBMS或NOSQL,假设没有Azkaban这样的调度框架，一般用crontab+shell,…

10 年前

kafka_2.10-0.10.0.1 集群安装配置使用独立zookeeper集群

zookeeper   kafka   topic   大数据  

一、集群环境 CentOS 6.6 X64 zookeeper集群配置 kafka_2.10-0.10.0.1.tgz 集群配置如下,之前已经部署过hadoop和zookeeper master.hdp.imdst.com zookeeper.0 kafka.0 1.slave.hdp.imdst.com zookeeper.1 kafka.1 2.slave.hdp.imdst.com…