基于Lua+Kafka+Heka的Nginx Log实时监控系统

背景 在我们的系统架构中,Nginx作为所有HTTP请求的入口,是非常重要的一层。每天产生大量的Nginx Access Log,闲置在硬盘上实在是太浪费资源了。所以,能不能把Nginx日志利用起来,实时监控每个业务的访问趋势、用户行为、请求质量和后端异常呢,这就是本文要探讨的主题。 目的 错误码告警(499、500、502和504); upstream_response_time超时告警; re…

PHP-log插件SeasLog

什么是SeasLog SeasLog是一个C语言编写的PHP扩展,提供一组规范标准的功能函数,在PHP项目中方便、规范、高效地写日志,以及快速地读取和查询日志。 为什么使用SeasLog 无 论在什么应用中,log日志都是架构中不可缺少的一个重要组成部分,它通常是系统或软件、应用的运行记录。通过log的分析,可以方便用户了解系统或软 件、应用的运行情况;如果你的应用log足够丰富,也可以分析以往用…

zookeeper整体介绍。部分观点来自网络

官方的说法:“Zookeeper是一个高性能,分布式的,开源分布式应用协调服务。它提供了简单原始的功能,分布式应用可以基于它实现更高级 的服务,比如同步,配置管理,集群管理,名空间。它被设计为易于编程,使用文件系统目录树作为数据模型。服务端跑在java上,提供java和C的客户端 API”。   Zookeeper 要求服务半数以上可用,才能正常提供服务。 Zookeeper服务自身组成…

Linux Crontab 导出导入

基本概念 Crontab  类似于Windows 里的task schedule ,是一种定时执行工具 .能够在确定的时间执行确定的任务(脚本)。 Crontab 是linux系统里的一个守护进程 ,会随着系统的启动而启动。 基本操作 /sbin/service cron start        启动crontab /sbin/service cron stop        停止crontab…

nginx 配置参数详解

记录下Nginx服务器nginx.conf的配置文件说明, 部分注释收集与网络. #定义Nginx运行的用户和用户组 user www www; #nginx进程数,建议设置为等于CPU总核心数。 worker_processes 8; #全局错误日志定义类型,[ debug | info | notice | warn | error | crit ] error_log /var/log/ng…

liunx命令:sed 使用说明

1. Sed简介 sed 是 一种在线编辑器,它一次处理一行内容。处理时,把当前处理的行存储在临时缓冲区中,称为“模式空间”(pattern space),接着用sed命令处 理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。接着处理下一行,这样不断重复,直到文件末尾。文件内容并没有 改变,除非你使用重定向存储输 出。Sed主要用来自动编辑一个或多个文件;简化对文件的反复操作;编写转换程序等。…

svn命令简单介绍

1、检出 svn co  http://路径(目录或文件的全路径) [本地目录全路径]  –username 用户名 –password 密码svn  co  svn://路径(目录或文件的全路径) [本地目录全路径]  –username 用户名 –password 密码 svn  checkout  http://路径(目录或文件的全路径) [本…