flume介绍及原理

1 .背景 flume是由cloudera软件公司产出的可分布式日志收集系统,后与2009年被捐赠了apache软件基金会,为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出,特别是flume-ng;同时flume内部的各种组件不断丰富,用户在开发的过程中使用的便利性得到很大的改善,现已成为apache top项目之一.   2 .概述 1.  什么是…

L/F领导者与跟随者模式、HS/HA半同步/半异步模式连接池比较

线程池模式一般分为两种:L/F领导者与跟随者模式、HS/HA半同步/半异步模式。 HS/HA 半同步/ 半异步模式 :分为三层,同步层、队列层、异步层,又称为生产者消费者模式,主线程处理I/O事件并解析然后再往队列丢数据,然后消费者读出数据进行应用逻辑处理; 优点:简化编程将低层的异步I/O和高层同步应用服务分离,且没有降低低层服务性能。集中层间通信。 缺点:需要线程间传输数据,因此而带来的动态内…

ZooKeeper源码学习笔记(3)–Cluster模式下的ZooKeeper(转)

Cluster集群模式 判断启动模式 前一篇文章 介绍了当配置文件中只有一个server地址时,Standalone模式的启动流程以及ZooKeeper的节点模型和运行逻辑。在本节中,我会针对Cluster的运行模式进行详细讲解。 启动流程

QuorumPeerMain::runFromConfig会构造一个QuorumPeer对象…

ZooKeeper源码学习笔记(2)–Standalone模式下的ZooKeeper(转)

前言 ZooKeeper是一个相对简单的分布式协调服务,通过阅读源码我们能够更进一步的清楚分布式的原理。 环境 ZooKeeper 3.4.9 入口函数 在bin/zkCli.sh中,我们看到client端的真实入口其实是一个org.apache.zookeeper.ZooKeeperMain的Java类

通过源码走读,看到在Zoo…

ZooKeeper源码学习笔记(1)–client端解析(转)

前言 ZooKeeper是一个相对简单的分布式协调服务,通过阅读源码我们能够更进一步的清楚分布式的原理。 环境 ZooKeeper 3.4.9 入口函数 在bin/zkCli.sh中,我们看到client端的真实入口其实是一个org.apache.zookeeper.ZooKeeperMain的Java类

通过源码走读,看到在Zoo…

flume 参数配置说明

如图1所示,一个flume-ng agent主要包括source,channel和sink三部分,三部分运行在java JVM中,JVM一般运行在linux’操作系统上,因此,这些因素都可能影响最终的性能。flume-ng性能优化与架构设计,简单来讲,也主要包括以上部分。 1, 主键的参数设计 1.1 source的配置 有时候不需要每台主机均安装flume agent,可以和sshp…

maven镜像,快速资源,Apache-maven-Repositories

阿里云maven镜像

本地使用mvn 创建项目总是很慢,最后上网找了一下阿里云maven镜像。 测试过,下载文件速度达到我的宽带上线 400K/s 左右。 修改本地 apache-maven-3.3.9 配置文件。 下载地址:官网下载地址 http://219.239.26.11/files/30470000072F2481/mir…