7 个月前

Azkaban 分布式multiple-executor模式部署

azkaban   大数据  

一、简介 Azkaban是LinkedIn开源的任务调度框架,类似于JavaEE中的JBPM和Activiti工作流框架。 如ETL的过程,Sqoop在凌晨1点从RDBMS中抽取数据(E),在凌晨2点用Hadoop或Spark转换数据(T),在凌晨3点用Sqoop再把结果数据加载(L)进RDBMS或NOSQL,假设没有Azkaban这样的调度框架,一般用crontab+shell,…

9 个月前

2018 炎陵黄桃 开园了,欢迎订购尝鲜

炎陵黄桃   高山黄桃  

自家种植绿色无公害,从树尖到舌尖,只有一张订单的距离 加我时请备注 黄桃来自博客(微信见图一,亦可以搜:leoiceo) 10号清园了,错过明年继续 上一波图片…

9 个月前

Windows Socket 最大连接数

windows 连接数   运维技术  

Socket 编程时,单机最多可以建立多少个 TCP 连接,受到操作系统的影响。 Windows 下单机的TCP连接数受多个参数影响: 最大TCP连接数 [HKEY_LOCAL_MACHINE \System \CurrentControlSet \Services \Tcpip \Parameters] TcpNumConnections = 0x00fffffe (Default = 16,7…

9 个月前

高防+反向代理+带不同端口的Web站点如何获取真实URL?

真实url   运维技术  

反向代理自定义header proxy_set_header X-SourceUrl $scheme://$host$request_uri; $scheme #请求协议 $host #请求URL $request_uri #请求参数 后端获取方法 Request.Header["X-SourceUrl"]…

1 年前

Centos 7 部署Kafka集群

kafka   运维技术  

系统初始化 #安装依赖 yum -y install java-1.7.0-openjdk* vim telnet lrzsz rsync #磁盘格式化 mkfs.ext4 /dev/vdb mkdir /data/ && mount /dev/vdb /data && df -h #开机自动挂载 data_blkid=`blkid |grep vdb…