大数据

A 10-post collection
3 年前

hadoop 集群安装sqoop数据传输工具

sqoop工具   大数据  

一、环境 sqoop是Apache顶级项目,主要用来在Hadoop和关系数据库中传递数据。通过sqoop,我们可以方便的将数据从关系数据库导入到HDFS,或者将数据从HDFS导出到关系数据库。 CentOS 6.6 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 安装 解压 tar zxf sqoop-1.4.6.bin__hadoop-2.0.4-alpha…

3 年前

hadoop + hbase + hive 集群搭建文档

大数据   hbase   Hive  

一、环境 hbase做数据库,但由于hbase没有类sql查询方式,所以操作和计算数据非常不方便,于是整合hive,让hive支撑在hbase数据库层面的hql查询也做数据仓库 CentOS 6.6 x64 hadoop 2.7.2 部署文档 hive-1.2.1 部署文档 hbase-1.2.2-bin.tar.gz zookeeper集群 master.hdp.imdst.com N…

3 年前

hadoop + zookeeper 集群

hadoop   zookeeper   大数据  

一、环境说明 zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等 CentOS 6.6 zookeeper-3.4.8.tar.gz 集群环境 master.hdp.imdst.com NameNode SecondaryNameNo…

3 年前

Hadoop + hive 整合文档

hadoop   Hive   大数据  

环境 CentOS 6.6 x64 hadoop 2.7.2 分布式部署文档 apache-hive-1.2.1-bin.tar.gz 部署 环境变量 su - hadoop echo "export HADOOP_HOME=/home/hadoop/src/hadoop-2.7.2 export HIVE_HOME=/home/hadoop/src/apache-hive-1.2.1-b…

3 年前

hadoop 常用命令收集

hadoop 常用命令   大数据  

1、查看指定目录下内容 hadoop dfs –ls [文件目录] eg: hadoop dfs –ls /test/ 2、打开某个已存在文件 hadoop dfs –cat [file_path] eg:hadoop dfs -cat /test/data.txt 3、将本地文件存储至hadoop hadoop fs –put [本地地址] [hadoop目录] hadoop f…