kafka-开发实例

1.启动kafka。 //启动zookeeper server (用&是为了能退出命令行): bin/zookeeper-server-start.sh config/zookeeper.properties  & //启动kafka server: bin/kafka-server-start.sh config/server.properties  & 2.新建一个生产…

kafka-配置优化

配置优化都是修改server.properties文件中参数值 1.网络和io操作线程配置优化 # broker处理消息的最大线程数 num.network.threads=xxx # broker处理磁盘IO的线程数 num.io.threads=xxx 建议配置: 一般num.network.threads主要处理网络io,读写缓冲区数据,基本没有io等待,配置线程数量为cpu核数加1. nu…

基于Lua+Kafka+Heka的Nginx Log实时监控系统

背景 在我们的系统架构中,Nginx作为所有HTTP请求的入口,是非常重要的一层。每天产生大量的Nginx Access Log,闲置在硬盘上实在是太浪费资源了。所以,能不能把Nginx日志利用起来,实时监控每个业务的访问趋势、用户行为、请求质量和后端异常呢,这就是本文要探讨的主题。 目的 错误码告警(499、500、502和504); upstream_response_time超时告警; re…

mysql常用命令完全总结

MySQL常用操作基本操作,以下都是MySQL5.0下测试通过首先说明下,记住在每个命令结束时加上;(分号) 1.导出整个数据库 mysqldump -u 用户名 -p –default-character-set=latin1 数据库名 > 导出的文件名(数据库默认编码是latin1) mysqldump -u wcnc -p smgp_apps_wcnc > wcnc.…

mysql字段中的float精度问题

要得到1位或2位精确小数的话,整数不能高于 32767 即:f<32767.99 因为 2E15=32768 所以最多只能正确处理0~32767的整数, 要得到3位 精确 小数的话,整数不能高于16383 即:f< 16383 .999 因为 2E14=16384 要得到4位 精确 小数,整数不能高于2047 即:f< 2047 .9999 而 2E11=2048   …

聚簇索引和非聚簇索引

都知道mysql  InnoDb和MyISAM 索引的最大区别是在存储上。一个是主键对应数据行,一个是索引指向数据指针地址。 聚簇索引是一种数据存储方式,它实际上是在同一个结构中保存了B+树索引和数据行,InnoDB表是按照聚簇索引组织的(类似于Oracle的索引组织表)。 InnoDB通过主键聚簇数据,如果没有定义主键,会选择一个唯一的非空索引代替,如果没有这样的索引,会隐式定义个主键作为聚簇索…

pt-query-digest查询日志分析工具

1. 工具简介 pt-query-digest是用于分析mysql慢查询的一个工具,它可以分析binlog、General log、slowlog,也可以通过SHOWPROCESSLIST或者通过tcpdump抓取的MySQL协议数据来进行分析。可以把分析结果输出到文件中,分析过程是先对查询语句的条件进行参数化,然后对参数化以后的查询进行分组统计,统计出各查询的执行时间、次数、占比等,可以借助分析…

Redis集群方案,Codis安装测试

本文原文连接: http://blog.csdn.net/freewebsys/article/details/44100919 转载请注明出处! 1,关于豌豆荚开源的Codis Codis是豌豆荚使用Go和C语言开发、以代理的方式实现的一个Redis分布式集群解决方案,且完全兼容Twemproxy。 Twemproxy对于上一层的应用来说, 连接Codis Proxy(Redis代理服务)和连接…

用Kibana和logstash快速搭建实时日志查询、收集与分析系统

Logstash是一个完全开源的工具,他可以对你的日志进行收集、分析,并将其存储供以后使用(如,搜索),您可以使用它。说到搜索,logstash带有一个web界面,搜索和展示所有日志。 kibana 也是一个开源和免费的工具,他可以帮助您汇总、分析和搜索重要数据日志并提供友好的web界面。他可以为 Logstash 和 ElasticSearch 提供的日志分析的 Web 界面 说到这里,我们看看…

spark单机安装

本文介绍安装spark单机环境的方法,可用于测试及开发。主要分成以下4部分: (1)环境准备 (2)安装scala (3)安装spark (4)验证安装情况 1、环境准备 (1)配套软件版本要求:Spark runs on Java 6+ and Python 2.6+. For the Scala API, Spark 1.3.1 uses Scala 2.10. You will need t…