[repost ]使用logstash+elasticsearch+kibana快速搭建日志平台

original:http://www.cnblogs.com/buzzlight/p/logstash_elasticsearch_kibana_log.html 日志的分析和监控在系统开发中占非常重要的地位，系统越复杂，日志的分析和监控就越重要，常见的需求有: 根据关键字查询日志详情 监控系统的运行状况 统计分析，比如接口的调用次数、执行时间、成功率等 异常数据自动触发消息通知 基于日志的数据挖掘 很多团队在日志方面可能遇到的一些问题有: 开发人员不能登录线上服务器查看详细日志，经过运维周转费时费力 日志数据分散在多个系统，难以查找 日志数据量大，查询速度慢 一个调用会涉及多个系统，难以在这些系统的日志中快速定位数据 数据不够实时 常见的一些重量级的开源Trace系统有 facebook scribe cloudera flume twitter zipkin storm 这些项目功能强大，但对于很多团队来说过于复杂，配置和部署比较麻烦，在系统规模大到一定程度前推荐轻量级下载即用的方案，比如logstash+elasticsearch+kibana(LEK)组合。 对于日志来说，最常见的需求就是收集、查询、显示，正对应logstash、elasticsearch、kibana的功能。 logstash logstash主页 logstash部署简单，下载一个jar就可以用了，对日志的处理逻辑也很简单，就是一个pipeline的过程 inputs >> codecs >> filters >> outputs 对应的插件有 从上面可以看到logstash支持常见的日志类型，与其他监控系统的整合也很方便，可以将数据输出到zabbix、nagios、email等。 推荐用redis作为输入缓冲队列。 你还可以把数据统计后输出到graphite，实现统计数据的可视化显示。 metrics demo statsd graphite 参考文档 cookbook doc demo elasticsearch elasticsearch主页 elasticsearch是基于lucene的开源搜索引擎，近年来发展比较快，主要的特点有 real time distributed high availability document oriented [...]



via WordPress http://blog.newitfarmer.com/devops/logging-devops/13497/repost-%e4%bd%bf%e7%94%a8logstashelasticsearchkibana%e5%bf%ab%e9%80%9f%e6%90%ad%e5%bb%ba%e6%97%a5%e5%bf%97%e5%b9%b3%e5%8f%b0#utm_source=rss&utm_medium=rss&utm_campaign=repost-%25e4%25bd%25bf%25e7%2594%25a8logstashelasticsearchkibana%25e5%25bf%25ab%25e9%2580%259f%25e6%2590%25ad%25e5%25bb%25ba%25e6%2597%25a5%25e5%25bf%2597%25e5%25b9%25b3%25e5%258f%25b0