Vim:快速复制和替换

用Vim写代码经常遇到的一个操作是:复制一个单词(或其他text object),然后到下一个(多个)地方用复制的单词替换某个单词。我以前在这个简单的操作上浪费了很多时间……因为yyank之后,用d+p来粘贴,会粘贴出来d删除的内容……好吧,今天学到两种更快速的方法,记一下,以及原理。

第1种:选中文本并替换

操作步骤如下:

  1. 使用yiwyank(复制的意思)要复制的文本
  2. 移动到要替换的文本
  3. viwp使用yank的文本替换选中的文本
  4. 移动到下一个需要替换的文本
  5. viw"0p使用步骤1yank的文本再次替换

首先要了解的是Vim中的寄存器概念。Vim有很多寄存器,顾名思义,其实和CPU的寄存器差不多意思,你可以将内容临时存放在寄存器里面。在命令行模式下输入:reg可以看到寄存器的名字以及目前保存的内容。例如:使用"ayy将会把当前行yank(复制)到a寄存器。"ap可以粘贴出a寄存器的内容。

"寄存器是默认使用的寄存器。所以说,无论是用y命令复制,还是用d删除,还是我们使用viw”0p命令覆盖选中内容,内容都会保存到”寄存器。p粘贴默认也是粘贴的”寄存器的内容。1-9寄存器保存了删除的行,使用dd删除行就会保存到1寄存器,然后再删除一行,1寄存器就会被更新,之前1寄存器的内容就会移动到2,以此类推。0表示最近yank或删除的,也就是说,无论是y命令还是d命令都会将“最近”的文本保存到0寄存器。这就是第5步要使用"0p的原因,因为"寄存器的内容在第3部已经被覆盖了,所以我们要使用“最近yank的内容”就要指定0寄存器。关于所有寄存器的种类和解释,可以参考这篇文章,解释的很好。也可以看Vim的文档: :help reg

另外一个细节是使用了yiw来yank一个单词。这是用了Vim的文本对象,这样光标无论在单词首,还是在单词里面,都可以快速复制整个单词,而不用选中再复制。文本对象是Vim很强大的一个地方,这篇博客对文本对象介绍的很好

第2种:使用.重复操作

步骤如下:

  1. 使用yiwyank要复制的单词
  2. 移动到要替换的位置
  3. ciw CTRL-R 0 ESC 进入编辑模式,使用CTRL-R快捷键在插入模式中粘贴出寄存器0的内容并退回到Normal模式
  4. 移动到下一个要替换的位置
  5. 使用.重复步骤3的操作

这个用到了CTRL-R,这个组合键在Normal模式下是Redo的意思(重做,和Undo是对立的,说白点就是和CTRL-Z对立),但是在插入模式(其实在命令模式同样有效)下就变成了强大的“粘贴寄存器内容到当前光标处”的意思。这里有个不错的、简短的解释

另外使用了.进行重复操作。这个点表示“重复上次在Normal模式下的操作”,也就是步骤3的全部。

最后,如果对整行进行替换的话,可以对方法1进行改良,使用V来选中整行。

替换整行的步骤如下:

  1. yyyank要复制的一行
  2. 移动到要替换的行
  3. 使用Vp选中当前行并进行替换
  4. 移动到下一个要替换的行
  5. 使用V"0p替换一行。
 

pytest插件开发笔记

上一篇博客解决了写爬虫测试时候的一个痛点:复制粘贴太多的重复代码。可还有一个比较烦人的地方,即使test的代码可以自动生成,但还是需要人工去找到底什么地方出现了外部请求,如果 检查外部请求->下载对应的资源并生成mock的代码这部分能够自动完成就好了。今天下手搞了下。

我们的CI是通过pytest的conftest强制必须mock掉HTTP请求的。所以我想这个也可以通过pytest的插件机制来解决。于是就写了一个pytest插件来搞。

Github地址:https://github.com/laixintao/pytest-mock-helper

Pypi: https://pypi.org/project/pytest-mock-helper/

写这个插件花了大约两个小时,原理非常简单。在pytest启动的时候将requests库的requests.adapters.Adapter.send方法替换掉,加入我们要做的逻辑。这么做的灵感来自于另外一个pytest插件:pytest-blockage。这个插件的作用是让pytest强制block掉HTTP请求。和我们在conftest中做的事情一样,但是插件更合理一些,因为我们在不同的项目中就要复制conftest中的代码。不过要注意的是这个插件很久不更新了,不支持Python3。所以如果有类似的需求(在CI中强制Mock HTTP请求)建议使用我的插件。

能如此快速写出一个插件要得益于pytest超赞的文档啊。writing_plugins这一页写的很详细。有一些需要注意的地方,在这篇博客中我记一下:

插件载入的顺序:

  1. 内置的_pytest文件夹中的插件
  2. 外部安装的插件。通过搜索setuptools提供的entry_points查找pytest11,这个很有意思的,不知道为什么会是pytest11,看起来像是开发者随手写的。如果我们自己写插件,就要在setup.py中提供一个pytest11的entry_points
  3. 载入conftest.py

快速参考一些插件:

  1. 文档提供了一个非常简单的Yaml文件测试的插件代码,源代码一看就能懂
  2. 默认插件的源代码
  3. 这里有一个搭建在Heroku上面的pytest兼容性列表,列出了第三方写的插件。这个我猜是监控的pypi,因为我自己写的插件昨天上传到了pypi,今天就在这个列表看见了。不过它判断是否兼容应该是判断的setup.py中的classifiers。我啥也没写就被无情地判断成了不兼容Pyhton27也不兼容Python3。
  4. 一个工具cookiecutter-pytest-plugin,用来生成一个插件的模板。(我不是很推荐这种东西,刚开始用个最小的能跑起来的东西就可以了)

另外发现往pypi.python.org上传东西已经过时了,Api会返回Upload failed (410) Gone。现在正处于迁移的过程,新的包应该向pypi.org提交。而且应该用twine上传。

新的pypi酷炫多了,Python社区在迭代方面真是勇敢啊。都是好事儿。

 

Vim补全代码块神器Ultisnips

爬虫项目中的testcase有很多重复的代码,一般情况都是:mock掉发向服务器的请求 -> 初始化数据库 -> 模拟抓取过程 -> 检查副作用,比如对比存进来的数据等。这些代码不被调用,只是保证之前的代码正常工作,所以我觉得这种“复制、粘贴”编程是可以接受的。而且这种复制粘贴让每一个testcase更直观,抽象度不高。当CI炸了的时候可以很快定位到问题。

以前的做法是复制之前的一个testcase然后修改。这样很不爽。

后来写了一个代码生成器,每次运行命令都自动生成一段代码,然后去修改它。这样的好处是可以在代码生成器做一些事情,比如下载要处理的网页,自动生成运行目标测试的命令等。缺点是每次运行这个生成器都需要一些参数,而且没有和编辑器结合。

所以我觉得解决这个问题最好的办法还是编辑器原生的功能,Vim(一般的代码编辑器都会有这个功能)有Snippet代码片段的功能。自动插入一段代码,然后你可以在placeholder之间跳转修改,非常方便。

SirVer/ultisnips 效果

我根据参考[1]的推荐选择了Ultisnips。安装过程如下:

这是Github上官方的安装。我没有安装vim-snippets,这个插件是一些常用的片段,由网友贡献的。大体看了一下Python的,大都比较实用。不过我觉得用这些玩意儿很容易把Python写的跟Java似的,所以没弄这些。我只要自定义的想补全的片段就够了,其余的可以手写,毕竟写了这么长时间Python了没用这个也没感觉不适。

第三部分是对快捷键的设置。这三个let分别对应:触发展开片段的键、跳到下一个占位符的键,跳到上一个占位符的键。由于tab和YCM补全插件冲突,以及我认为Linux所有的编辑器和命令行都默认F是向前,B是向后的默契,所以我的设置这样的:

读取Ultisnips的路径是~/.vim/UltiSnips。但是也可以自定义。

写UltiSnips很简单,可以参考vim-snippets中的一个:

可以看到,大致的语法是:

这样在编辑器中打出<name>的时候,可选的snippets就会展开,然后用<tab>选择到该名字上(<shift> + <tab>可以向上选择),按你定义的“触发”快捷键就可以将<body>替换到编辑器中。

其中,placeholder在<body>中可以这样规定: ${2:var}。数字用来标志placeholder的id,用于跳转。另外很好用的一点多光标编辑:如果在一个 $2上面编辑,那么会改动所有的$2。

更高级的功能可以仔细阅读:help

对了,在编辑器外也要经常用一些片段,比如mongo查询等,推荐一个剪切板管理工具:Clipmenu,可以将常用的Snippet放到里面,随时取出来粘贴。

参考:

  1. http://mednoter.com/UltiSnips.html
 

Twitter机器人:今年还要工作多少天?

今天突然想,去年Twitter将字数限制放开到了280,那么就可以模仿YearProgress做一个工作日的进度条了。每天用一个字符表示,一年的工作日有250天,可以放得下。于是就写了一个脚本,用cron每天发出一条twitter提醒工作日还剩下多少天。

Github: https://github.com/laixintao/workdays-bot

Twitter: https://twitter.com/workdays_bot

脚本很简单,就是计算一下一年工作日的天数。然后用tweepy调用一个接口就行了。但是脚本中我用了namedtuple list存放所有天数和类型,后来发现不是很好,应该用OrderedDict,会方便很多。但是这个脚本每天只跑一次,效率不是什么问题,就没去优化。

twitter,github,telegram这些公司接口设计的真好啊!要是国内微信淘宝这些公司的接口,半个小时写出来个能work的东西,我觉得是肯定不可能的……(Telegram和微信的比较

还发现了两个好玩的网站:

http://china.workingdays.org 这个网站可以计算每个国家的工作天数。可以发现不看公司政策,每个国家一年的工作时间都是250±2的,惊人的一致…… 还以为基督教国家有复活节和圣诞节会多很多呢……而且神奇的是,这个网站有N个域名……每个国家都是一个域名后缀。如果不好买(比如我猜.cn就不好买)才会用二级域名。

 

谈谈Python for循环的作用域

对于从其他语言转到Python的人来说,下面这段代码显得很诡异:

你期望的是i变量不存在报错,而实际上打印结果是:

这是因为,在Pyhton中,是没有block这个概念的。

Python中的作用域只有四种,即LEGB规则:

L, local – 在lambda函数内或者def函数内部的变量

E, Enclosing-function – 闭包的作用域(了解Python的闭包可以看《闭包初探》)

G,Global – 全局作用域

B, Build-in – 内建作用域

举个例子:

由此看来,for循环的作用域会污染局部作用域,Python2的列表生成式也会有这个副作用,但是已经在Python3中得到了修复。

曾经Python邮件列表中有人想“如果在for-loop中有函数引用变量,就将此变量变成for-loop局部变量”,但是造成这个的问题并不是for循环的问题,而是闭包的迟绑定