获取客户 Prometheus 监控数据
业务背景 在排查问题时，想通过Grafana看板查看用户的监控，只能靠拍照，效率低，质量一般，设计一个方案能够方便的将问题出现前24小时的监控数据拿到，在本地导入，就能够在本地Grafana方便的查看。Prometheus 本身只提供了API查询的功能并没有导出数据功能，自带的Promtool也只提供验证规则文件和配置文件，调试等。 参考文章 Analyzing Prometheus data with external tools Prometheus backfilling 方案一：使用API导出转换成CSV 使用API查询，将查询到的数据转换成CSV，刚好Grafana有插件能够将CSV作为数据源，经过实验后并不是特别顺利，能够读取到CSV，但没有成功绘制出图像。 总结 经过实验后并不是特别顺利，能够读取到CSV但没有成功绘制出图像，看板中部分查询语句中包含看板变量，CSV数据源无法实现看板变量。 方案二：拷贝Prometheus数据文件 Prometheus 按照两个小时为一个时间窗口，将两小时内产生的数据存储在一个块（Block）中。每个块都是一个单独的目录，里面含该时间窗口内的所有样本数据（chunks），元数据文件（meta.json）以及索引文件（index）。其中索引文件会将指标名称和标签索引到样板数据的时间序列中。此期间如果通过 API 删除时间序列，删除记录会保存在单独的逻辑文件 tombstone 当中。 Prometheus 为了防止丢失暂存在内存中的还未被写入磁盘的监控数据，引入了WAL机制。WAL被分割成默认大小为128M的文件段（segment），之前版本默认大小是256M，文件段以数字命名，长度为8位的整形。WAL的写入单位是页（page），每页的大小为32KB，所以每个段大小必须是页的大小的整数倍。如果WAL一次性写入的页数超过一个段的空闲页数，就会创建一个新的文件段来保存这些页，从而确保一次性写入的页不会跨段存储。这些数据暂时没有持久化，TSDB通过WAL将数据保存到磁盘上(保存的数据没有压缩，占用内存较大)，当出现宕机，启动多协程读取WAL...