10 年前

hadoop + zookeeper 集群

hadoop   zookeeper   大数据  

一、环境说明 zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等 CentOS 6.6 zookeeper-3.4.8.tar.gz 集群环境 master.hdp.imdst.com NameNode SecondaryNameNo…

10 年前

Hadoop + hive 整合文档

hadoop   Hive   大数据  

环境 CentOS 6.6 x64 hadoop 2.7.2 分布式部署文档 apache-hive-1.2.1-bin.tar.gz 部署 环境变量 su - hadoop echo "export HADOOP_HOME=/home/hadoop/src/hadoop-2.7.2 export HIVE_HOME=/home/hadoop/src/apache-hive-1.2.1-b…

10 年前

hadoop 常用命令收集

hadoop 常用命令   大数据  

1、查看指定目录下内容 hadoop dfs –ls [文件目录] eg: hadoop dfs –ls /test/ 2、打开某个已存在文件 hadoop dfs –cat [file_path] eg:hadoop dfs -cat /test/data.txt 3、将本地文件存储至hadoop hadoop fs –put [本地地址] [hadoop目录] hadoop f…