Linux运维笔记|自动化运维攻城狮

hadoop

A 4-post collection
8 年前

hadoop + zookeeper 集群

hadoop   zookeeper   大数据  

一、环境说明 zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等 CentOS 6.6 zookeeper-3.4.8.tar.gz 集群环境 master.hdp.imdst.com NameNode SecondaryNameNo…

8 年前

Hadoop + hive 整合文档

hadoop   Hive   大数据  

环境 CentOS 6.6 x64 hadoop 2.7.2 分布式部署文档 apache-hive-1.2.1-bin.tar.gz 部署 环境变量 su - hadoop echo "export HADOOP_HOME=/home/hadoop/src/hadoop-2.7.2 export HIVE_HOME=/home/hadoop/src/apache-hive-1.2.1-b…

8 年前

Hadoop2.7.2 完全分布式集群部署

hadoop   完全分布式  

一、系统环境和软件环境 已整合hive+hbase+zookeeper用于线上环境，支撑大数据平台 CentOS 6.6 X64 hadoop-2.7.2.tar.gz jdk-7u79-linux-x64.rpm 主机3台 master.hdp.imdst.com NameNode SecondaryNameNode 1.slave.hdp.imdst.com Data…

9 年前

su: cannot set user id: Resource temporarily unavailable

疑难杂症   hadoop  

1. 一台CentOS 6.6 hadoop服务器su hadoop时出现以下错误 su: cannot set user id: Resource temporarily unavailable 2. 直接远程ssh hadoop@x.x.xx时出现 Write failed: Broken pipe 3. 原因是hadoop进程数过多，系统ulimit限制太小 查看/etc/security/…