Posts

最近工作中遇到的一个问题，网络组把网络设备的“陈年”老日志传到 ELK，这样的问题就是日志的时间是过去的，但是 Logstash 在生成时间戳然后输入到 ES 时，默认的是当前的时间戳。于是需求就是将日志中的时间代替它生成的时间戳，开搞！ ...

我承认我可能是标题党了，因为每个人对“大”的理解肯定是不一样的，更何况我说的是超大。其实就是 10TB，对我一个没见过大世面的行业新人和 fdisk 来说，它确实算大的了，本文介绍对 parted 的学习和实际使用。 ...

转载自黑马程序员的Kubernetes(K8S) 入门进阶实战完整教程的笔记课程链接在哔站，共同学习进步。 ...

容器时代越来越多的传统应用将会逐渐容器化，而日志又是应用的一个关键环节，那么在应用容器化过程中，如何方便快捷高效地来自动发现和采集应用的日志，如何与日志存储系统协同来高效存储和搜索应用日志。本文将主要跟大家分享下如何通过Log-Pilot来采集容器的标准输出日志和容器内文件日志。 ...

今天同事请教我一个问题，说不想让别人看到脚本执行的内容，我一开始脸懵，后来才了解到，她是不想让用户看到脚本的内容（卸载软件的路径），以防软件的文件被人恶意破坏，导致不能正常运行等问题，于是便有了本文。 ...

MHA 是一种 MySQL 高可用解决方案，可用于 Position 或 GTID 模式下的主从复制架构，可以在主从故障时自动完成主从切换，并且最大程度地保持数据一致性。MHA 由管理节点（Manager）和数据节点（Node）组成，一套 MHA Manager 可以管理多套 MySQL 集群。当 Manager 发现 MySQL Master 出现故障时，自动将一个拥有最新数据的 Slave 提升为 Master，并让另外的 Slave 重新指向到新的 Master 上来。 ...

之前已经有 elastalert 的安装配置文档了，虽然经过了测试但是发现部分内置命令无法正常运行，并且不支持新版本 Kibana，代码仓库长时间没有更新，于是换用新版本的 elastalert2。 Requirements Elasticsearch 7.x 或 8.x，或 OpenSearch 1.x 或 2.x ISO8601 或 Unix timestamped 数据 Python 3.10，Require OpenSSL 1.1.1 或更新版本 pip 根据官方文档描述，需要升级 Python 环境到 3.10，OpenSSL 到 1.1.1。事实上在 Python 3.7 之后的版本，依赖的 OpenSSL 必须要是 1.1 或 1.0.2 之后的版本。 开始安装 Python 3.10 和 OpenSSL sudo yum -y groupinstall "Development tools" sudo yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel libffi-devel gdbm-devel db4-devel libpcap-devel xz-devel make sudo yum install zlib* -y sudo yum install -y gcc gcc-c++ python-devel wget sudo yum install -y zlib zlib-dev openssl-devel sqlite-devel bzip2-devel libffi libffi-devel gcc gcc-c++ wget https://www.openssl.org/source/openssl-1.1.1k.tar.gz ./config --prefix=/usr/local/openssl shared zlib sudo make && make install mv /usr/bin/openssl /usr/bin/openssl.bak mv /usr/include/openssl /usr/include/openssl.bak ln -s /usr/local/openssl/bin/openssl /usr/bin/openssl ln -s /usr/local/openssl/include/openssl /usr/include/openssl echo /usr/local/openssl/lib >> /etc/ld.so.conf ldconfig -v openssl version wget https://www.python.org/ftp/python/3.10.4/Python-3.10.4.tgz sudo ./configure --prefix=/usr/local/python3 --with-ssl=/usr/local/openssl sudo make && sudo make install && sudo make clean 安装完成可能会出现 WARNING: pip is configured with locations that require TLS/SSL, however the ssl module in Python is not available. Could not fetch URL https://pypi.org/simple/pip/: There was a problem confirming the ssl certificate: HTTPSConnectionPool(host='pypi.org', port=443): Max retries exceeded with url: /simple/pip/ (Caused by SSLError("Can't connect to HTTPS URL because the SSL module is not available.")) - skipping 修改完善 需要修改 vim /tmp/softwarebak/Python-3.10.4/Modules/Setup，在末尾加入以下内容： _socket socketmodule.c # Socket module helper for SSL support; you must comment out the other # socket line above, and possibly edit the SSL variable: SSL=/usr/local/openssl _ssl _ssl.c \ -DUSE_SSL -I$(SSL)/include -I$(SSL)/include/openssl \ -L$(SSL)/lib -lssl -lcrypto 重新编译安装 Python 安装 elastalert2 具体流程，请看官方文档

OpenResty 是一个基于 Nginx 的 Web 平台，可以使用其 LuaJIT 引擎执行 Lua 指令码。由章亦春建立。2011 年之前，它最初由 淘宝网 赞助，2012 年至 2016 年主要由 Cloudflare 支援。自 2017 年起，主要得到 OpenResty 软体基金会和 OpenResty 公司的支援。OpenResty 旨在构建可延伸的 Web 应用、Web 服务和动态 Web 闸道器。OpenResty 的架构是基于几个 nginx 模组，这些模组已经被扩充，以便将 nginx 扩充为一个 web 应用服务器，处理大量的请求。 ...

Loki 是 Grafana Labs 团队最新的开源项目，是一个水平可扩展、高可用性、多租户的日志聚合系统。它的设计非常经济高效且易于操作，因为它不会为日志内容编制索引，而是为每个日志流编制一组标签，为 Prometheus 和 Kubernetes 用户做了相关优化。项目受 Prometheus 启发，类似于 Prometheus 的日志系统。 ...

getopt 与 getopts 都是 Bash 中用来获取与分析命令行参数的工具，常用在 Shell 脚本中被用来分析脚本参数。 getopts 是 Shell 内建命令，getopt 是一个独立外部工具 getopts 使用语法简单，getopt 使用语法较复杂 getopts 不支持长参数（如：--option），getopt 支持长参数 getopts 出现的目的是为了在不太复杂的场景代替 getopt 较快捷地执行参数分析工作 getopts 负责参数解析，可以方便地提取参数值，getopt 只负责按规则重新对参数进行排列，进一步解析需要自行编写代码处理 ...