继《最近的工作感悟》中提到的大部分问题都解决了之后，有一些错误还是无法避免的，就试图想办法从监控系统中忽略掉。尝试了很长时间，发现在 PromQL 中写 “exclude 特定 label 的 metrics” 这样的查询不是很方便，目前没有找到比较合适的方法，这里记录一下一些可行的，但不是特别优雅的方法。
问题可以简化成这样：有一个 metric 叫做 request_count, 有两个 label：
client: 客户端的名字，比如有: curl, chrome, safari, firefox, pythonerror_code: 400, 200, 403, 302 等
因为有一些错误无法避免，比如由爬虫（假设 client 是 python）引起的 404 问题，在 chrome 上发生的 403 问题，我们想从监控中忽略掉。
首先 request_count{client!="python", error_code="404"} 这样的查询是不行的，因为这样会忽略来自 python 的所有的请求，以及所有的 error_code=404。这样写实际上是一个 and 的关系，metric 的 label 满足所有的条件才会展示，否则不展示。
其实通过 Grafana 的 Transform 设置，我们可以取消展示一些单独的 Metric。选择 Transform tab，然后选择 “Filter by name”, 就可以勾选单独的 metric 取消展示。
这样可以解决展示的问题，但是查询结果实际还是包含这些 metric 的。如果基于这个查询来设置 alerting rules 的话，那么这些 metric 还是无法被忽略。我还是想从查询上来忽略这些 metric，这样无论展示和告警，都可以使用同一个 aggr rule.
通过查询来忽略的方法有些 tricky，因为涉及两个 lebel 的 and 条件查询，总体的思路是：
- 忽略 label A 的所有 metrics;
- 使用
or添加满足 label A 和 B 两个 label 的 metrics;
以上面的例子，查询的 PromQL 就是：
|
1 2 3 |
request_count{client!="python"} or request_count{client="python", code!="404"} |
因为 label 的写法只支持 and，但是我们可以使用 or 组合 metric 来实现查询。
or 也支持连续的写法，以及再需要提一下需要永远先 rate 再 sum，所以回到刚开始的例子，就需要写成：
|
1 2 3 4 5 |
rate(request_count{client!~"(python)|(chrome)"}[1m]) or rate(request_count{client="python", code!="404"}[1m]) or rate(request_count{client="chrome", code!="403"}[1m]) |
参考：How to filter by two labels in prometheus?