Tag: logstash

因为我是从6.7.0升级到7.0的，同时经过x-pack升级助手的检查，升级前后均没问题。但在升级filebeat之后却出现大量错误日志，而在此之前，我QQ群内一位朋友也发现类似的问题，而他找出了报错的原因。

logstash是一款很重要的软件，担任着分析日志的重任，可配置的内容非常多，几乎与elasticsearch一样复杂，需要花点心思去学习。

elasticstack整体配置起来确实较为繁琐，尤其是logstash的部分，如果遇到多行日志则更加麻烦。如果需要处理上亿条的数据，建议建立elasticsearch集群，可加快检索速度。

在5.0的时候我试用过x-pack，功能非常强大，尤其是监控和告警的功能。可这个是收费的，而且费用非常昂贵，所以在这里我需要对一些文件进行修改。

最近家里的服务器出了状况，购置了新的DELL R720替换掉原来的HP DL380 G6。再重新配置ELK时却发现kibana一直无法显示数据。在无意中却找到原因并解决了问题。

如果服务器位于世界各地，但又需要通过filebeat传输日志到logstash分析，这时候为了保证数据的安全，在传输的时候使用加密是基本的要求。

最近在kibana中添加可视化视图时需要增加一个流量统计的图标，可是遇到了很严重的问题。字段的格式不对，需要重新索引所有数据！

它不但可以处理nginx日志，还可以处理WAF、IDS甚至防火墙的日志都没问题。只要日志有固定的格式，几乎没有它处理不了的。

在经过查找后，我发现一个叫Elastic Stack的技术栈。这是一款用于数据分析、搜索、图表生成的工具，不过我没有大数据可用，用在小数据倒是挺好的。

从filebeat输出到logstash进行处理后的数据在导入到elasticsearch时却出现WARN的log。在经过一天无尽的资料寻找后终于找到了解决办法。