Gaoyufu 's blog
好好活就是有意义的事，有意义的事就是好好活
目 录CONTENT
ELK-Gaoyufu 's blog
以下是
ELK
相关的文章
-
ES常用插件及插件介绍 摘要总结： Elasticsearch 插件是扩展 Elasticsearch 核心功能的重要工具，允许用户根据需求定制和增强 Elasticsearch 的功能。插件提供了多样的功能，包括增强功能、优化性能、增加易用性、实现定制化、监控和管理、数据处理等。它们通常包括 JAR 文件，但也可能包含脚本和配置文件，并且需要在集群中的每个节点上安装并重启。 插件主要分为核心插件和第三方插件，前者与 Elasticsearch 同步发布并维护，后者由社区贡献。常见插件包括： 1. elasticsearch-head：Web 界面工具，用于管理和监控 Elasticsearch 集群。 2. analysis-icu：提供对 Unicode 文本的支持，尤其适用于亚洲语言。 3. analysis-ik：中文分词插件，支持两种分词模式。 4. analysis-kuromoji：日语文本分析插件。 5. analysis-phonetic：提供语音编码器的标记过滤器。 6. analysis-pinyin：将中文字符转换为拼音。 7. analysis-smartcn：基于隐马尔可夫模型的概率知识对中文文本进行最佳分词。 8. analysis-stconvert：中文简繁体转换插件。 9. mapper-murmur3：计算字段值的哈希值。 10. mapper-size：提供_size字段，用于索引和检索文档的大小。 11. elasticsearch-sql：允许使用 SQL 语法查询 Elasticsearch 数据。 12. ingest-attachment：从常见文件格式中提取文件附件。 13. elasticsearch-repository-oss：将 Elasticsearch 快照备份到阿里云 OSS。 14. repository-hdfs：将 Elasticsearch 快照备份到 Hadoop HDFS。 插件管理命令包括安装、列出、卸载和更新，还提供了通过 Docker 安装插件的方法。使用插件时，需要注意版本兼容性、安全性、性能影响等。 -
ELK日志分析系统 摘要总结： 本文介绍了如何使用ELK（Elasticsearch、Logstash、Kibana）和Filebeat构建日志处理系统，包括安装、配置、优化等步骤。首先介绍了Elasticsearch数据库用于存储数据，Logstash用于日志收集、过滤数据，Kibana用于分析、过滤、展示数据，以及Filebeat用于收集日志并传输到ES或Logstash。随后，详细描述了部署Elasticsearch集群的步骤，包括rpm安装和Docker Compose部署方式。接着，文章展示了如何安装和配置Elasticsearch-head插件，以及如何使用filebeat构建es+kibana+filebeat架构。此外，还介绍了如何收集tomcat、java多行匹配、docker日志、mysql慢日志等不同类型的日志，并实现了日志的多行合并功能。最后，文章提出了构建filebeat+redis+logstash+es+kibana架构（大型）的步骤，并解释了kibana的使用。整个流程涵盖了从安装软件、配置参数、收集日志到数据可视化分析的全过程。
