Linux运维笔记|自动化运维攻城狮
-
3 年前
clickhouse 单机版部署
大数据
安装 rpm --import https://repo.clickhouse.tech/CLICKHOUSE-KEY.GPG yum install yum-utils yum-config-manager --add-repo https://repo.clickhouse.tech/rpm/stable/x86_64 yum install clickhouse-server c…
-
6 年前
Centos 7.5 离线安装CDH5.15
CDH 5.15.1 大数据
一、 服务器初始化 配置hosts和设置hostname(也可以直接通过DNS给每台主机解析一个域名,内网IP) hostname 001.cdh.imdst.com echo 001.cdh.imdst.com > /etc/hostname ###每台主机依次执行 /etc/hosts统一配置 001.cdh.imdst.com 10.0.1.1 002.cdh…
-
6 年前
Elasticsearch集群部署文档
elasticsearch 运维技术 大数据
一、部署节点原理 多机集群中的节点可以分为master nodes和data nodes,在配置文件中使用Zen发现(Zen discovery)机制来管理不同节点。Zen发现是ES自带的默认发现机制，使用多播发现其它节点。只要启动一个新的ES节点并设置和集群相同的名称这个节点就会被加入到集群中。（所以，同集群的集群名称一致，才能便于自动发现） Elasticsearch集群中有的节点一般有三种角…
-
6 年前
kafka-manager 部署安装
kafka-manager 大数据
一、功能 1、管理多个kafka集群 2、便捷的检查kafka集群状态(topics,brokers,备份分布情况,分区分布情况) 3、选择你要运行的副本 4、基于当前分区状况进行 5、可以选择topic配置并创建topic(0.8.1.1和0.8.2的配置不同) 6、删除topic(只支持0.8.2以上的版本并且要在broker配置中设置delete.topic.enable…
-
6 年前
Azkaban 分布式multiple-executor模式部署
azkaban 大数据
一、简介 Azkaban是LinkedIn开源的任务调度框架，类似于JavaEE中的JBPM和Activiti工作流框架。 如ETL的过程，Sqoop在凌晨1点从RDBMS中抽取数据(E)，在凌晨2点用Hadoop或Spark转换数据(T)，在凌晨3点用Sqoop再把结果数据加载(L)进RDBMS或NOSQL,假设没有Azkaban这样的调度框架，一般用crontab+shell,…