Tag: elk5

 因为工作学习的关系，我家里的网络结构非常复杂，而且网线都没有标签。当有故障需要排查的时候也总是忘记网线的对端是哪里，所以今天我在这里把我的网络架构记录下来。

我使用ELK套件分析nginx日志，用kibana生成酷炫的可视化图表。作为站长的我们可能比较关心自己站点被搜索引擎爬行的数量，那么ELK可以达成你的愿望。

最近在kibana中添加可视化视图时需要增加一个流量统计的图标，可是遇到了很严重的问题。字段的格式不对，需要重新索引所有数据！

它不但可以处理nginx日志，还可以处理WAF、IDS甚至防火墙的日志都没问题。只要日志有固定的格式，几乎没有它处理不了的。

我使用x-pack主要是因为我为Elasticsearch配置了集群模式，所以需要使用一款软件来监控集群。在深入了解过后，发现一款名为Elasticsearch-head的插件正合适我的需要。

在经过查找后，我发现一个叫Elastic Stack的技术栈。这是一款用于数据分析、搜索、图表生成的工具，不过我没有大数据可用，用在小数据倒是挺好的。

从filebeat输出到logstash进行处理后的数据在导入到elasticsearch时却出现WARN的log。在经过一天无尽的资料寻找后终于找到了解决办法。