R·ex / Zeng


音游狗、安全狗、攻城狮、业余设计师、段子手、苦学日语的少年。

从 DFS 的角度看 NFA 正则与优化技巧

前言今年七月初 CloudFlare 由于一条正则表达式宕机的事情大家应该都听说过了,究其原因,是因为正则表达式匹配时产生了大量的回溯,从而耗尽了 CPU 资源。具体的技术分析网上都有,这儿就不赘述了。从小到大我都被教育:正则表达式可以高效的匹配字符串,正则会先被转换成 NFA,再被确定化为 DFA(这算法我现在还是能记住的),然后就可以用一个“与输入长度相关的线性时间复杂度”的算法来匹配了。CloudFlare 这件事情让我对正则表达式的效率十分失望,因此我花了一段时间了解了一下正则表达...

为 GORM Logger 添加 Trace ID 的过程和一点思考

起因后端程序的运行时日志,一直是出现线上问题时帮忙调试的有利工具。我现在负责的运营平台,由于是给内部人员用的,而且大多数功能都是数据库的增删改查,于是对于日志就没有打的那么详细。直到有一天出了一次线上事故,我们足足花了三天才找到原因(其中有两天我甚至一直以为跟我们的平台没有关系)。经过那次之后,我彻底明白了日志的重要性,于是开始丰富我们的运行时日志。在这个平台刚搭起来没多久的时候,另一个开发就做了一些基本的工作:写了 Gin 的中间件,可以为每个请求的 Context 添加一个 Reque...

Webpack 打包体积优化:没有银弹

关于 Webpack 打包体积优化的问题,网上的文章已经有很多了,大概的方法有:webpack-bundle-analyzer(source-map-explorer)、CommonsChunkPlugin(v4.x 之后变成了 splitChunks 选项)、按需引入用到的库、Tree Shaking、CDN 等。之前我用这些方法对自己负责的某个项目做了一次优化,使得总体积不到 600 KB(after gzip),由于包含了 antd 和 react,外加有几十个页面(有的页面相当复杂...

利用 Trie 树的变种优化带参数路由的匹配

背景我目前负责的平台需要做一个转发功能,大概的需求如下:把前端发过来的某些 URL 直接转发到第三方系统;需要在转发过程中添加带有用户和国家信息的 JWT header 以供第三方系统使用;需要在我的平台上为不同 URL 做鉴权,例如 URL a 需要 rule 的读权限,URL b 需要 rate 的写权限;第三方系统的管理员可以在我的平台上自由配置转发规则,例如把 /admin 转发到他们的 /user/admin;URL 需要支持带参数,例如 /admin/:email 可以转发到 ...

一次对 Chromium 源码分析的经历

问题起因前几天,我们组的 Leader 在准备内部技术分享的 PPT,是关于 Chrome 底层的一些内容。然而在准备的过程中,发现了 Chrome 在某些情况下会重复请求服务器资源。这是明显不合理的设计,因为 Chrome 并不知道每个请求是否符合幂等性,代替开发者自动重新请求可能会导致不可预知的问题,于是 Leader 便开始寻找问题所在。刚好被我看到了,于是便过去帮一下忙(当了一个小时的小黄鸭),最终我们发现了问题所在。回家后,我觉得很有必要完全靠自己把这个问题仔细研究一下,毕竟我看...

对于地址库需求的优化

背景作为一个电商平台,我们需要有一个统一的地址库,对这个库的配置页面,就落到了我负责的运营平台中了。对于这个库来说,大概的几个需求如下:以 Entity 维度来区分,例如 Malaysia 和 Taiwan 的数据是不互通的;每个 Entity 中的数据都是一棵树,一共有四层,分别代表 State、City、District、Street;需要支持如下操作:给定一个点,需要能找到从它到根节点的所有点,例如粤海街道上面是南山区、深圳市、广东省;给定一个点,需要能找到它的所有子孙后代,例如广东...

Docker for Windows 无法共享磁盘的问题

TL;DR: 解决方案在 文章末尾。之前为了开发方便,我一直在用 Docker for Windows 作为我的开发环境。但突然有一天,Docker 突然无法在 Shared Drives 里面共享磁盘了,会报一句这样的提示:A firewall is blocking file Sharing between Windows and the containers. See documentation for more info.看起来是防火墙的问题。我知道 Docker for Wind...

搭建付费的 MXroute 并了解邮件相关的域名记录

本文并非为匿名人士所编写,第三方服务一般都会有审查机制,因此无法保证敏感数据的安全。背景之前我的域名邮箱 [email protected] 一直用的是国内的某个服务,最近觉得国内服务的限制比较多,于是打算将其迁移到国外服务。必要的要求有:不暴露自己服务器的真实 IP价格不要特别贵不会被常见邮箱识别为垃圾邮件界面尽量美观,需要支持 IMAP(或 POP3) 和 SMTP其它条件类似时,SaaS >= PaaS >= IaaS问了几个人,自己也搜了一圈,对比下来发现 MXroute ...

2018 回顾与展望

时间过得真快啊,回想起跨年的时候,仿佛就在前天。(……不管怎么说,2018 年已经过去了,还是要稍微总结一下的。技术作为一个程序员,看到自己去年的技术总结,如果觉得里面的内容特别水,说明这一年的长进还是很大的。今年除了学到了更多新知识,还对两个比较著名的开源项目做了一点微小的贡献。由于发现前端的内容基本是以抄 API 为主(只有听没听说过,没有会不会),于是我开始追求一些更深入的东西,例如 Babel、代码高亮、不可变数据结构、性能优化。前端方向首先要提的就是:把整个网站的样式重写了一遍,...

Go 如何优雅的验证前端请求体

背景从开始写 Go 到现在也过了两个月了。我现在负责的是两个新系统的后端项目,很多功能还没有搭起来,例如对 Request Body 的合法性检验。目前的校验规则都是手动写在业务代码中的,既复杂又不容易扩展。我觉得,在我用过的前端的框架中,Element UI 的验证规则是最优雅的,于是就想在后端也实现这么一套验证规则。调研Element UI 的表单验证使用了 async-validator,随便举几个例子:{ name: [ { required: true, ...

【多图预警】香港初见

“去香港”,这是让我落户深圳的最主要的理由。当我历经艰难险阻终于拿到了港澳通行证后,便开始跟朋友提早规划好了行动路线。然而朋友的公司似乎比较坑,周六突然临时加班……经过了一番思想斗争,我决定一个人去转一转。由于是一个人,所以我没打算去一些著名景点,只是想把香港的一小片地方走的熟一点,顺便感受一下资本主义的气息,23333。过境由于我比较晕车,于是决定走福田口岸。其实之前来过一次福田口岸,但当时并没有通行证,只能先出站,对着空中那个走廊拍几张照片。这次有证了,不虚!于是直接随大流上了二楼,不...

从排查 Go CAT Client 的错误中学到的

背景一个月前,我们仓库的操作人员感觉系统的响应太慢,点击一个按钮需要等待十几秒才能出结果,于是给我们加了个前端监控的需求,也就是监控 API 的响应时间。我跟同事借用了漫威宇宙中的观察者 Uatu 的名字,给项目的前后端分别命名为 uatu-lib 和 uatu-service。后来项目经过几次修改,已经可以在前端监控 DNS、TCP、响应时间,还有前端的一些未被捕获的报错(包括 Vue 的报错,这里借用了 sentry 的部分代码)。我们公司其实已经用上了一套监控平台,是美团开源的 CA...

这是我们共同度过的

第 1369 天