DNS 解析的原理

Posted on by Leave a comment

提起 DNS，大家都知道是将域名映射成 IP 的一种协议。但是我花了很长时间才真正理解这个“映射”的过程。网上有很多介绍 DNS 的资料，但是遗漏了很多细节，比如都跨过了哪一些缓存，谁去真正发出查询的 packet。我们电脑要配置 DNS 服务器，如果你有网站的话，你会发现你的网站也有一个配置项叫 DNS 解析服务器，这两种服务器是一样的吗？还有一些图和资料是错误的，比如有些图画的是根域名服务器指向权威域名服务器，给人造成一种错觉是根服务器去查询了权威服务器。

本文试图用简单并且准确的图片和文字解释 DNS 查询的过程，以及一些我曾经有的困惑。如果有何 RFC 冲突的地方那肯定是我错了，请指正。

首先介绍一个 DNS，说白了它就是一个名字到 IP 的映射，因为像 64.202.189.170 这样的 IP 太难记了，所以就有了 DNS 这样的东西，好比是一个电话本，我们打电话（访问网页）的时候，就查一下这个名字（网络地址）对应什么样的 IP，然后拨出去。

如果你有很多联系人的话，查号码的时候肯定不会一个一个看，一般会在手机上下拉到这个字母姓氏的地方，然后再定位到这个人的名字。DNS 也是一样，全球已经有上千万个域名了，并且还在实时的变动和更新，所以DNS就采取了一种“分层”的查询。要查询 www.kawabangga.com 这个域名对应的 IP，实际上查询的是 www.kawabangga.com. 最后这个 . 就是 root nameserver，平时我们都省略了，其实这个才是一切开始的地方。

Recursive resolver（下面会讲到这是啥）只知道 . 的地址（一共13个IP），这就够了。当它查询一个域名的时候，它就去 root nameserver 查询，大体的步骤如下：

  1. 向 . root nameserver 发出查询请求，root nameserver 说，“我也不知道 www.kawabangga.com. 这个域名的地址，但是我知道 .com nameserver 的地址。Root Name Server 是怎么知道所有顶级域名的地址呢？因为它就是干这个的，Root Name Server 维护了所有顶级域名对应的地址，这个文件可以在 https://www.internic.net/domain/root.zone 这里下载。现在是 2019 年3月，这个文件是 2万多行，一共2.15M 。
  2. .com Name Server 这种域名是最顶层的域名，所以叫做顶级域名，Top Level Domain Name Server，TLD Name Server。因为……它在最顶层。.com 域名服务商也就叫做顶级域名服务商，其他有名的顶级域名还有 .org .gov .cn 等。TLD nameserver 这里其实也不知道 www.kawabangga.com. 的 IP 地址，但是它知道 kawabangga.com. 的 nameserver 的地址。
  3. kawabangga.com. 的 Name Server 也叫做 Authoritative Name Server，通常翻译成“权威域名服务器”，但是我更喜欢叫他“被授权的域名服务器”，为什么呢？因为……它是被 .com 域名服务器授权的。上一步，TLDName Server 怎么知道 kawabnagga.com. 的Name Server 在哪里的呢？因为你注册一个域名的时候，本质上是花钱购买 xxx.com. 这个权威域名服务器的管理权益，你把钱给域名注册商，域名注册商告诉 .com. TLD Name Server 说，hey 以后把 xxx.com. 这个域名交给 xxx 域名服务器来解析就好啦！于是你就获得了这个域名的解析权利。kawabangga.com. 的 Authoritative Name Server 地址是 ns1.myhostadmin.net. 当 Recursive resolver 过来查询 www.kawabangga.com. 的地址的时候，ns1.myhostadmin.net. 会告诉它对应的IP。到这里，一次查询就宣告结束了。

这三种 Name Server 的职责都很明确：Root Name Server 负责维护全球顶级域名的地址；TLD Name Server 负责维护每一个购买了域名的人提交的他们的 Name Server 地址；Authoritative Name Server 由域名的持有人自己想怎么解析就怎么解析。但是一般的机构和个人都不会自己假设域名服务器，因为可能子域名的需求不多，比如本博客，就3个子域名而已，所以会选择使用一个公共的 DNS 解析服务，比如 DNSPod。域名注册商现在一般也都提供域名解析服务，CDN 像 CloudFlare 也会有域名解析的服务。像大型网站自己假设解析服务器，一般会使用 BIND 这个很流行的软件。当然也有自己研发 DNS 解析服务的。

下面我们再解释一下上面提到的 Recursive Resolver，有的地方叫 Resolving Name Server，意思就是解析 DNS 的 Server。以上的查询工作都由它来完成。

为什么呢？首先 DNS 设计的第一目的就是要快，这是非常基础的设施，所以必须要非常快。但是再快，全世界这么大的量也扛不住啊，并发高？加缓存！DNS 是层层缓存的。缓存有一个经典的问题就是，贵的缓存比较快。这里的贵不一定是价格贵。你在浏览器访问 www.kawabangga.com 的时候，至少经过了浏览器对 DNS 的缓存、电脑对 DNS 的缓存，路由器对 DNS 的缓存…… 浏览器的DNS缓存肯定最快，但是无法跟其他应用共享，如果每个应用都缓存的话，占用的空间就太大了。路由器上面的缓存可以给多台电脑共享，一般又是在本地，所以理所应当的做了最多的缓存。

如果在终端使用 dig 命令，会发现DNS的结果都是路由器给出的。

在这里，路由器就是开放了53端口，来提供DNS查询服务。它就是 Resolving Name Server，每次查询请求发过来，它检查自己的内存是否有答案，如果没有，就执行上述的查询过程。所以当我们执行 DNS 查询的时候，抓包会发现发出了一个包到路由器53端口，收到了一个回到，查询就结束了，还奇怪怎么和书上写的查询过程不一样呢？其实完整的查询过程是在 Resolving Name Server 上面做的。

当然，一个  Resolving Name Server 并不复杂。如果我们在执行 dig 命令的时候，带上 +trace 标志，dig 就会作为 Resolving Name Server 的角色从 . 开始查询直到查询到最后的答案。

CloudFlare 提供了一个很有名的 DNS 服务，1.1.1.1，这其实也是 Resolving Name Server，dig 命令可以使用 @1.1.1.1 的方式来指定。系统也可以设置 DNS 解析地址（现在你明白这个设置是什么意思了吧）。基本上需要网络的设备都可以设置这个DNS服务地址，比如 PS4，电视盒子。很多玩家知道设置成韩国的DNS服务地址玩游戏有时候会更快一些，原理就是这样，DNS是一个基础的服务，你离Resolving Name Server更近了，解析的也就更快了。Resolving Name Server 缓存的命中率高，也就更快，否则的话Resolving Name Server执行起来查询的过程也是耗费时间的。

 

 

参考资料

  1. How the Domain Name System (DNS) Works
  2. https://miek.nl/2013/november/10/why-13-dns-root-servers/
  3. DNS explained
 

我的线程池怎么没了？

Posted on by 5 Comments

事情的背景是这样的：我们有一个系统 A，通过 HTTP 请求到系统 B，系统 B 处理这个请求需要很长时间，并且请求频率也不同，有时候请求多，有时候请求少，所以会先返回给 A “HTTP 200 OK”, 然后再在一个线程池中继续处理这个请求。B 是一个 uWSGI app，线程池也是在 uWSGI 中开的线程池。

我们发现有一些请求处理到一般就没了，没有处理完成。但是即没有返回值，也没有 Exception 在日志里面。有问题的任务日志大体是这样子的（日志的格式是时间、module 名称、进程 ID、线程ID）：

这个问题蛋疼的地方在于，没有 Exception 日志，线程就这么罢工了，转而去处理下一个任务了。而且出现的频率大约是 5 分钟一次，我们有一个 staging 环境，一天大约四五次。俗话说如果一个 BUG 能重现，那么就约等于解决了。而这个问题，是我想了好几天都不知道该怎么复现的。出现的时候转瞬即逝，没有留下一丝痕迹……

我们先后尝试了加上更多的 log（但是没有什么用，task 停止的地方很随意，几乎没有什么规律），试图找出这些有问题的 task 的规律（也没有什么规律）。之前听一哥们讲过用 settrace 打印出来所有的调用和执行日志，我写好了 settrace 的代码，打算要用这个东西了，但是试了一下打出来这个日志是在是太慢了，3s 处理完成的任务，开了 settrace 要 40s 才能完成。所以就暂时没有尝试这个方法，打算实在没什么办法了再考虑开这个日志。

今天看 log 的时候，发现线程 ID 虽然一样，但是进程 ID 已经变了。这个进程是 uWSGI 的进程，于是我怀疑是 uWSGI 销毁了这个进程，并且一并销毁了进程里面的线程池。我的理由是：因为 uWSGI 是一个 HTTP 服务器，它只关心我的所有的 HTTP 请求是否处理完了。我们的模型是先返回 HTTP Response，然后再在线程池处理。对于 uWSGI 来说，它看到已经返回 Response 了，就认为这个请求已经处理完了，我就可以关闭这个进程了。

那么 uWSGI 什么情况下会销毁并重启进程呢？我去翻了文档，发现有几个让 uWSGI respawn 的参数，其中有一个是：

max-requests
argument: required_argument

shortcut: -R

parser: uwsgi_opt_set_64bit

help: reload workers after the specified amount of managed requests

uWSGI 在一个 process 处理的请求书达到了 max-reqeusts 就会 respawn 这个 process。

我在本地尝试了一个，开一个 uWSGI 设置 –max-requests=10，发现确实请求数在 10 左右（不是精确的10，比如说下面的日志就是 14）的时候，这个进程会被 respawn，日志如下：

这个时候也确实留下了没有处理完的任务。

OK，这个问题找到了，那么之前的现象也都解释通了，线程不是自己退出的，是父进程被杀掉了，所以没有留下 traceback。

解决的办法

虽然文档和 uWSGI 代码中将 max-reqeusts 作为了一个 required arg，但是从代码的实现上看，如果设置为 0 的话，这一行 if 是永远不会执行的，也就是说 worker process 就不会被重启。于是我在 uWSGI 的配置文件中将 max-requests 选项给删掉了。临时解决了这个问题。

其实这并不是最好的方案，uWSGI 作为一个 HTTP 服务器，应该只用来处理 HTTP 请求。文档里这样说：

During the life-cycle of your webapp you will reload it hundreds of times.

You need reloading for code updates, you need reloading for changes in the uWSGI configuration, you need reloading to reset the state of your app.

Basically, reloading is one of the most simple, frequent and dangerous operation you do every time.

禁用 max-requests 虽然能保证正常情况下 process 不会被 respawn ，但是在不正常的情况，还是有可能出现的。

像是这种耗时的任务，应该通过中间件发往一个专门的 worker 来处理的，通过任务执行的框架来保证每一个任务都被执行到了。

即使不用消息，也可以用 uWSGI 的 spooler 来处理耗时的任务。

被浪费掉的时间

其实如果我早一点去看一下 uWSGI 的日志，应该是可以发现规律的，每 5000 个请求进程被杀一次，而这也正好是未处理完的任务出现的时间。但是我觉得 uWSGI 日志没有什么有用的信息，有 Nginx + django 日志就够了，所以不久前将 uWSGI 的日志 disable 了。现在看来这部分日志还是有用的，毕竟运行的 Nginx 和 uWSGI，这两个进程的运行状态很重要。至于 Django 的日志，属于业务的日志。

另外从日志可以看到，任务被中断之后，Process ID 已经不一样了，但是 Thread ID 一样，我误以为是线程一直存在，只不过线程自己出了问题。试图在线下重现的时候，我也一直用的 Django 的 runserver 模式，而忽略了服务器上跑的进程其实是 uWSGI 的事实。两个进程都不一样，根本不可能重现。

但是这个 BUG 的根本原因，我归咎于我没有仔细看 uWSGI 的文档。文档和外面的 example 几乎都带上了 max-requests 这个参数，于是我也在自己的配置文件里面写上了。但是我误以为它的意思是：uWSGI 等待队列的最大长度，而不是处理过这么多 requests 就重启。

mrluanma 说：

抄东西过来不看是很不好的习惯。我是会把每个选项是否需要都想清楚的。

uWSGI 文档中的 The Art of Graceful Reloading 说：

Finally: Do not blindly copy & paste!

Please, turn on your brain and try to adapt shown configs to your needs, or invent new ones.

Each app and system is different from the others.

Experiment before making a choice.

记住了。

 

证书换至 Let’s Encrypt（手动模式）

Posted on by 2 Comments

今天小伙伴告诉我博客的证书过期了（我隐约想起来 Kaybase 发给过我一封邮件告诉我网站所有权验证失败，被我给忽略掉了）。早上开始 renew 证书。这个过程太乌龙了，记一下吧，顺便推广一下 Let’s Encrypt。

之前的证书是腾讯云的免费 1 年的 TrustAsia 证书，用了应该两年了，这次第一反应也是打开腾讯云续命。后来万万没有想到被腾讯云的这个登陆搞了半天。

没想到腾讯云登陆不上了…… 需要我提供手机验证码，但是我现在的手机号试了十几次都收不到腾讯云的验证码。打联通的客服，客服让我发短信到一个号码，那个号码一直说“系统繁忙，请稍后再试”，网上的诸如 “发送 11111 到 106xxx 的号码” 也不好使，还有网友说让朋友尝试登陆一下他的账号，然后你往朋友收到验证码的那个号码发送 11111，我试过了也不好使。

我决定换成 Let’s Encrypt 的证书。

Let’s Encrypt 的证书一般是由 Certbot 自动签发的。但是像我这种用古老的 PHP 空间提供商的，就只好使用手动模式了。

以下教程是使用 Mac 系统手动申请网站证书的教程。

首先在 Mac 上安装 Certbot：

然后用手动模式开始申请证书（默认的 log 位置需要 root 权限，我直接用 sudo 跑了）。

然后根据提示输入域名，这里可以输入多个。

同意记录申请机器的 IP。

接下来会出现 ACME 挑战，这个挑战的意义是让你证明的域名是你的（否则的话别人就可以申请一个你的域名的证书，用来做中间人攻击了）。ACME 挑战有两种： http 和 dns，http ACME 挑战就是在你网站的 .well-known/ 下面放一个文件，显示特定的文本。dns ACME 挑战是添加一条 TXT DNS 记录到你的 DNS 解析中。默认使用的是 http，如果要使用 dns 的话，最开始的命令要添加一个选项，如下：

这里准备好证明（http 的话就放好那个文件，dns 的话就准备好解析记录），然后自己试一下（一定要试一下，不然失败了要重来），再按下回车，Cerbot 会去验证。

验证过后证书就颁发好了，Certbot 会打印出证书和 key 的路径。有效期只有三个月，所以手动模式的话还是挺麻烦的。

 

推荐 Vim 进阶书籍：《Vim 实用技巧》

Posted on by 13 Comments

最近读了《Vim 实用技巧》这本书，也是读的第一本有关 Vim 的书。此书是一种 Cookbook 的形式，每一个章节给出一个 Vim 的技巧。但是又不同一般的 Cookbook 书籍那样草草的给出解决方案，然后告诉你为什么。这本书会告诉你如何以一种“Vim 的思想”来做事情，如何将操作变成肌肉记忆，对已经能够使用 Vim 的同学来说，是居家旅行良品。

但是此书不太适合刚刚接触 Vim 或者想要开始使用 Vim 的同学，Vim 的学习曲线是比价陡峭的，这本书适合急速上升的那个阶段。对于刚刚入门的人来说，我觉得最好的方法还是删掉电脑上的 IDE 和其他编辑器，强迫自己使用 Vim，大约一个星期，基本上就能够习惯 Vim 的几种模式和 hjkl 移动了。然后你可以翻看这本书，去了解一些 Vim 里面的概念和思想，甚至还能学编辑器历史。

这篇文章记一下我从这本书学到的东西。

:help 是一个好东西。这本书也在极力像你推荐这个工具。很多地方都是一句话带过，然后后面跟上一个括号鼓励你自己去看:help 文档。其实我也知道看到文档，尴尬的问题是，我经常遇到的问题不知道是啥，在 Vim 里面叫啥，该去查什么 help，甚至我连怎么 Google 都不知道。这就是因为不知道 Vim 里面的一些概念。比如我之前经常不小心进入命令行编辑界面（按 q: 跳进去的那个）不知所措，我是谁，我在哪……看了这本书我知道了这是可以用上 Vim 基本所有的 feature 来编辑命令的一个界面，用于编辑长命令或者查看历史。是命令模式的一个升级版。这样的东西还有很多，所以我对这本书是相见恨晚啊！

从这本书中，我觉得最有用的一个思想是：编辑、重复、撤销。这个技巧的一个核心思想是：不要思考。比如要删掉 7 个单词，你可以选择 d7w ，一下子删掉 7 个，也可以选择 dw 然后按 . 重复 7 次。第一个选择你需要在心里算一下一共有多少个单词，需要按几下，这样就会打断你的思路。但是如果无脑的按 7 下就不需要思考了。那万一按错了怎么办？另一个重要的技巧是：所有的操作都成对出现。比如重复操作 . 对应 u 撤销操作；向前搜索 ; 对应退回 , ；回到上一个位置 Ctrl-o 对应 Ctrl-i。重复的时候无脑按就可以，发现按多了的话立即按撤销操作，可以形成肌肉记忆。另外一半“重复”操作都是使用的 . ，. 表示重复上一次的修改，这个“一次”很重要。需要注意一下尽量将操作合成一次，如果一次修改是由两次操作构成的，就不可重复了。

另一个我觉得比较好的思想是“重做比修复更快”，虽然这本书很少提，我忘记在哪看到的。举个例子，比如你打了 “bsah”，想改成“bash”，那么最快、最不用动脑的做法就是 ciw 然后重新打一次。无论对 vim 再熟练，这个做法一定是最快的（虽然可能别的路子可以让你少按几个键，但是不用思考才是王道，将脑子用在你要写的程序上面）。书中技巧 62 提到的是将 “fish and chips” 替换成 “chips and fish”，最少的替换方法也要按将近 20 个键，不如重新打一次呢。

Vim 的技巧很多，比如自动设置的标记，各种 text object 组合，快速移动等。而这些技巧的来源除了权威的文档，还有各种论坛，各种书籍，偷窥你同事的屏幕等等可以学习。这些都是比较零散的，还比较难记。但是 Vim 的学习就是这样的，各种各样的技巧，学的越多，用的就越熟练。对于这种零散的技巧，我的一个方法是：将平时学到的技巧用便利贴记下来，写代码的时候不时瞄一眼，渐渐就学会了。不必死记硬背，多用几次，感受到它的存在，渐渐的就记住了。建议你在读本书的时候就这样做。

另外很多概念、命令记起来非常复杂。比如 w 是快速移动一个单词，W 是快速移动一个“字”，那什么才是字呢？ 空格隔开的算啥？ "';: 这些符号隔开的算啥？我的经验是，这些都不必去记，如果一个操作你需要思考的话，速度就已经慢下来了，还影响你的思路。你的脑子应该用在考虑代码逻辑上，而不是用在怎么把代码打出来。拿刚刚这个例子来说吧，就简单的理解成“W 是更快的 w ”就好啦！如果移动多了怎么办？再用 w 或者 h 移动回来就好了呗。无脑的重复、撤销要比思考快的多。但是注意，无脑的重复也有高效的和低效的，如果你连 w 和 W 都不知道，那么就只能用 l 来移动了，这是无论你思考还是不思考都快不起来的。

这本书的第六部分和前面一些章节介绍了一些 Vim 插件，有一些已经过时了。比如现在文件浏览大家一般都用 NerdTree，还有好用的 CtrlP 这种模糊匹配的工具等。但是也建议看一下吧，了解一下各种插件的角色，看看他们的设计思想。说不定哪一天你也要写一个插件才能解决自己的问题呢。

 

最后再推荐几个我觉得可以快速提升 Vim 的技巧：

  1. 不要觉得修改自己已经熟悉的快捷键是多困难的事情，记住快捷键是很快的。一开始设置的快捷键可能不是很合理的，勇敢地去修改吧！合理的快捷键更加好记！
  2. 将自己平时操作觉得很烦的地方都记下来，有时间相办法去优化，写命令，或者找插件。解决自己的痛点。不要就这么忍着，你忍一次就会忍无数次。你怎么度过今天，就会怎么度过这一生。
  3. 去观摩其他 Vim 用户写代码（当然要在人家允许的情况下），从其他人的屏幕上能学到的技巧更多，因为你看到的都是人家日常用的，如果不好用人家也不会用。有时候还能发掘出跟多好用的软件呢。
  4. 逛逛 Github 的 Vim 插件，Follow 一些 Vim 插件的作者，有时候会发现一些有用的插件（虽然大多数时候发现并不是自己需要的）。
 

记一个 Python logging 多进程 rotate 问题

Posted on by 1 Comment

线下环境的日志轮转一直工作的很奇怪，今天必须要解决一下了。

我们 Django 的 settings 里面 LOGGING 配置了日志轮转，满了 100M 就开新的文件。奇怪的是我每次去看日志，发现都有很多 log 才几 M，根本没到 100M 就“轮转”了。实际的配置简化如下。

这个配置基本上是没有问题的。我把 maxBytes 改成 30M，然后观察文件的大小。发现刚开始是正常的，/var/log/django.log 一直在打，逐渐到了 30M。这个时候神奇的事情发生了，到了轮转的时刻，旧日志被 rename 成了 django.log.1 ，然后又被 rename 成了 django.log.2 ，突然，十几个文件都开始写入了，这些文件 last_modify 时间一直在更新，也一直在变大。

思考片刻，我觉得问题出在 Python 的 logging 模块并没有去处理多进程的问题。我的 Django 应用是用 uwsgi 跑的，开了 16 个进程。当日志快要超过 maxBytes 的时候，第一个进程执行了 rename、新开文件 A 的操作（这个具体的流程，看一下文档里对 rotate 的流程描述就明白了），开始朝新开的文件 A 写入；这时候第二个进程将第一个进程打开的新文件给 rename 了，然后自己又新开一个文件 B 写入。但是第一个进程依然持有文件 A 的句柄的，所以依然可以往 A 里面写入。以此类推，就导致 16 个进程大家都持有了一个文件句柄，大家同时向不同的文件写入。（这段流程是我根据现象推测的，如果不正确请指正）。

Python 自身的 logging 模块不关心多进程写文件的问题，我觉得是可以接受的。一个 Python 程序就是一个进程实例，无须关心所在的环境是什么样子。我考虑开始通过其他的方案解决这个问题。

尝试了 uwsgi 的 daemonize，遇到了两个问题：1）uwsgi 的日志和 django 的日志混在一起了 2）原本 uwsgi 的 log 是可以 rotate 的，结果我加上 daemonize 之后，日志里面出现一下错误提示，竟然直接不转了。

考虑到引入 syslog 这种第三方 log 进程或者 rotate，会增加运维的复杂度。而且得重新考虑 rotate、删除、写入不同文件等的方案，所以也没有去考虑用第三方进程的方式。

这个问题实际上是 rotate 操作执行的时候，导致了竞争条件，被执行了多次的问题。所以自然而然就想到，如果在执行这个操作的时候，能加一个锁就好了。只有一次 rotate 会被执行。找到了一个实现了这个功能 mrfh 的库。代码只有几百行，里面继承了 BaseRotatingHandler 实现了自己的一个 Handler，做的事情很简单，就是在 rotate 的时候增加一个基于文件的锁（基于 fcntl），保证 rotate 能只做一次就好了。

引入也很简单，只是安装好依赖，然后将 logging 配置的 handler 改成此库里面的 handler 就好了。

现在打出来的日志都是整整齐齐的 100M 了，另外他会在日志目录下生成一个 .filename.log.lock 作为锁，无伤大雅。