Linux运维笔记|自动化运维攻城狮
-
8 年前
kafka_2.10-0.10.0.1 集群安装配置使用独立zookeeper集群
zookeeper kafka topic 大数据
一、集群环境 CentOS 6.6 X64 zookeeper集群配置 kafka_2.10-0.10.0.1.tgz 集群配置如下,之前已经部署过hadoop和zookeeper master.hdp.imdst.com zookeeper.0 kafka.0 1.slave.hdp.imdst.com zookeeper.1 kafka.1 2.slave.hdp.imdst.com…
-
8 年前
hadoop 集群安装sqoop数据传输工具
sqoop工具 大数据
一、环境 sqoop是Apache顶级项目，主要用来在Hadoop和关系数据库中传递数据。通过sqoop，我们可以方便的将数据从关系数据库导入到HDFS，或者将数据从HDFS导出到关系数据库。 CentOS 6.6 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 安装 解压 tar zxf sqoop-1.4.6.bin__hadoop-2.0.4-alpha…
-
8 年前
hadoop + hbase + hive 集群搭建文档
大数据 hbase Hive
一、环境 hbase做数据库,但由于hbase没有类sql查询方式,所以操作和计算数据非常不方便,于是整合hive,让hive支撑在hbase数据库层面的hql查询也做数据仓库 CentOS 6.6 x64 hadoop 2.7.2 部署文档 hive-1.2.1 部署文档 hbase-1.2.2-bin.tar.gz zookeeper集群 master.hdp.imdst.com N…
-
8 年前
hadoop + zookeeper 集群
hadoop zookeeper 大数据
一、环境说明 zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等 CentOS 6.6 zookeeper-3.4.8.tar.gz 集群环境 master.hdp.imdst.com NameNode SecondaryNameNo…
-
8 年前
Hadoop + hive 整合文档
hadoop Hive 大数据
环境 CentOS 6.6 x64 hadoop 2.7.2 分布式部署文档 apache-hive-1.2.1-bin.tar.gz 部署 环境变量 su - hadoop echo "export HADOOP_HOME=/home/hadoop/src/hadoop-2.7.2 export HIVE_HOME=/home/hadoop/src/apache-hive-1.2.1-b…