kafka-配置优化

配置优化都是修改server.properties文件中参数值 1.网络和io操作线程配置优化 # broker处理消息的最大线程数 num.network.threads=xxx # broker处理磁盘IO的线程数 num.io.threads=xxx 建议配置: 一般num.network.threads主要处理网络io,读写缓冲区数据,基本没有io等待,配置线程数量为cpu核数加1. nu…

Nginx_Lua

1.1. 介绍 ngx_lua – 把lua语言嵌入nginx中,使其支持lua来快速开发基于nginx下的业务逻辑 该模块不在nginx源码包中,需自行下载编译安装。使用lua 5.1(目前不支持lua 5.2) 或 luajit 2.0 。 添加lua支持后,开发复杂的模块,周期快,依然是100%异步非阻塞。 ngx_lua 哪些人在用: 淘宝、腾讯财经、网易财经、360、去哪儿网等 Clou…

基于Lua+Kafka+Heka的Nginx Log实时监控系统

背景 在我们的系统架构中,Nginx作为所有HTTP请求的入口,是非常重要的一层。每天产生大量的Nginx Access Log,闲置在硬盘上实在是太浪费资源了。所以,能不能把Nginx日志利用起来,实时监控每个业务的访问趋势、用户行为、请求质量和后端异常呢,这就是本文要探讨的主题。 目的 错误码告警(499、500、502和504); upstream_response_time超时告警; re…

PHP-log插件SeasLog

什么是SeasLog SeasLog是一个C语言编写的PHP扩展,提供一组规范标准的功能函数,在PHP项目中方便、规范、高效地写日志,以及快速地读取和查询日志。 为什么使用SeasLog 无 论在什么应用中,log日志都是架构中不可缺少的一个重要组成部分,它通常是系统或软件、应用的运行记录。通过log的分析,可以方便用户了解系统或软 件、应用的运行情况;如果你的应用log足够丰富,也可以分析以往用…

zookeeper整体介绍。部分观点来自网络

官方的说法:“Zookeeper是一个高性能,分布式的,开源分布式应用协调服务。它提供了简单原始的功能,分布式应用可以基于它实现更高级 的服务,比如同步,配置管理,集群管理,名空间。它被设计为易于编程,使用文件系统目录树作为数据模型。服务端跑在java上,提供java和C的客户端 API”。   Zookeeper 要求服务半数以上可用,才能正常提供服务。 Zookeeper服务自身组成…

mysql常用命令完全总结

MySQL常用操作基本操作,以下都是MySQL5.0下测试通过首先说明下,记住在每个命令结束时加上;(分号) 1.导出整个数据库 mysqldump -u 用户名 -p –default-character-set=latin1 数据库名 > 导出的文件名(数据库默认编码是latin1) mysqldump -u wcnc -p smgp_apps_wcnc > wcnc.…

mysql字段中的float精度问题

要得到1位或2位精确小数的话,整数不能高于 32767 即:f<32767.99 因为 2E15=32768 所以最多只能正确处理0~32767的整数, 要得到3位 精确 小数的话,整数不能高于16383 即:f< 16383 .999 因为 2E14=16384 要得到4位 精确 小数,整数不能高于2047 即:f< 2047 .9999 而 2E11=2048   …

聚簇索引和非聚簇索引

都知道mysql  InnoDb和MyISAM 索引的最大区别是在存储上。一个是主键对应数据行,一个是索引指向数据指针地址。 聚簇索引是一种数据存储方式,它实际上是在同一个结构中保存了B+树索引和数据行,InnoDB表是按照聚簇索引组织的(类似于Oracle的索引组织表)。 InnoDB通过主键聚簇数据,如果没有定义主键,会选择一个唯一的非空索引代替,如果没有这样的索引,会隐式定义个主键作为聚簇索…