“全站HTTPs”俨然成了目前的热门话题,很多网站都在摩拳擦掌要实行全站HTTPs。凑巧,我们(沪江)也在推行这个计划。
一开始大家想得都很简单,把证书购买了、配好了,相应的路径改一改,就没有问题。事实也确实如此,单个独立站点的HTTPs改造是很容易的。一旦走向“全站”,才发现事情远远比想象的要复杂,全站意味着所有资源面对所有客户端,涉及的因素异常多,网络上又没有太多资料,只能自己摸索。下面我简单讲讲遇到的几个问题,提供一些经验给大家参考。
HSTS
如果一个网站既提供了HTTP服务,又提供了HTTPs服务(在过渡期通常如此),怎样引导用户访问HTTPs的站点呢?这就是HSTS(HTTP Strict Transport Security)的作用。通过Web服务器上的设置,在收到HTTP访问请求时,返回的header里带有Strict-Transport-Security字段,告知浏览器必须使用HTTPs进行访问。
但是,HSTS并不能避免首次跳转时遇到的劫持。要彻底解决这个问题,可以申请加入Preload List(预加载列表)。
Preload List是由Google Chrome维护的“HTTPs站点列表”,Chrome, Firefox, Safari, Edge, IE 11均在使用。一旦浏览器发现要访问的站点在Preload List上,默认就会发起HTTPs链接。这样,就避免了HSTS的首次跳转被劫持的隐患。
通常的方案里,HTTPs的加密传输只限于客户端出发的公网阶段,在内网的通讯流量仍然采用非加密的HTTP传输。这种“把加密流量转换为非加密流量”的过程,就是常说的SSL/TLS卸载(Offloading,以下简称“SSL卸载”)。
有一些公司会采用F5来做负载均衡,F5应付单纯的L4和L7的流量是没有问题的,但进行SSL卸载时性能往往会急剧降低,F5可以提供专门的加速卡来解决这个问题,但价格不便宜。所以,还需要专门环节来进行SSL卸载,常见的Nginx和HAProxy都可以执行这个任务。
2010年Intel出品的Westmere系列处理器之后,CPU支持AES-NI(Advanced Encryption Standard New Instructions)指令集,可以极大提高软件进行SSL加解密的速度(通常的数据是5倍左右)。但是,单纯采用CPU并不会直接享受这种好处,还需要对应的OpenSSL提供支持。想要知道自己的OpenSSL是否利用了AES-NI加速,可以用OpenSSL的命令行调试,加上-evp参数,测试速度是否有明显变化即可。
# without EVP API openssl speed aes-256-cbc Doing aes-256 cbc for 3s on 16 size blocks: 14388425 aes-256 cbc's in 3.00s # with EVP API openssl speed -evp AES256 Doing aes-256-cbc for 3s on 16 size blocks: 71299827 aes-256-cbc's in 3.00s
HTTP的服务是很好验证的。一般来说,无论客户端是浏览器,还是其它工具,还是程序代码,同样的行为,结果都是相同的。所以只要一种客户端验证通过,基本就可以认为这个服务是没有问题的。HTTPs的站点则不是如此。
与HTTP不同,HTTPs的连接建立是需要进行证书验证的,一定要从根证书开始形成完整的信任链条,连接才可以建立成功。然而,浏览器、普通工具、程序类库,它们所信任的根证书在管理上是互相独立的。比如,与浏览器不同的是,C#信任的根证书在local machine store或者current user store中,Java信任的根证书在JDK安装目录下的cacerts目录中,iOS和Android的证书管理又有不同。好在厂商一般都提供了非常详细的说明,仔细阅读即可。
因为浏览器的证书在使用中又可以持续更新,用户往往感知不到,如果“想当然”认为浏览器验证通过就万事大吉,很可能会出问题。比如国内有不少网站使用WoSign签发的证书,但老版本的JDK并不信任WoSign的根证书,用浏览器浏览没问题的网站,程序就会报错,除非手动导入证书。Android的信任列表是随固件更新而更新的,4.2以后才内置WoSign的信任。因为WoSign行为不端,前几天Firefox, Chrome, Safari等主流浏览器又取消了对它的信任,也就意味着WoSign证书有安全风险,所以已经内置WoSign根证书的程序也应当做对应的设置。
还是上面的现象:用浏览器验证没有问题的HTTPs站点,用程序访问就有问题。这是为什么?
在服务器上证书配置错误,只有最终证书,而缺少中级证书的情况,我见过几次了。通常,最终证书里包含了中级证书相关的信息,所以如果缺少中级证书,浏览器为了建立证书链,会做一次耗时的操作来获取中级证书,而且这一切都发生在HTTPs连接真正建立之前。更糟糕的是,不少浏览器为了“表现更好”,会想办法绕过这个问题。所以缺少中级证书的情况一直存在,一直不会被发现,而程序调用的速度总是上不去,甚至有一定几率报错(我就遇到过这个诡异的问题)。
如果把证书链配置完全,还要注意证书链的大小。有一些网站的完整证书异乎寻常地大,达到若干kb甚至几十kb,也就是说,在建立连接之前,就必须先传输这么多的数据。如果做单纯的PC网页浏览,或许不会有问题。但对于移动端和程序调用来说,这就是一场灾难。最好的办法,是用OpenSSL配合WireShark之类的工具,自己动手来测试。如果你熟悉TCP相关的知识,往往可以得到更好的优化方案。
OCSP和CRL也不可忽略。这两项技术用来保证撤回证书(让证书失效)的有效性。如果你仔细观察,会发现证书里都指定了对应的OCSP或者CRL的URL,用来检查证书是否失效。按道理说,在每次建立HTTPs连接时,都应当进行OCSP或CRL检查。返回结果通常在1k左右,如果请求非常频繁,这个因素也应当考虑。
大家都熟悉“虚拟主机”的概念,它可以让多个域名对应到同一个IP,让同一台服务器服务多个站点。在HTTP时代,可以在header中通过host来指定需要访问的域名,一切看起来都那么完美。
但是在HTTPs时代,却没有这样的好事,传统的HTTPs服务很难让多个域名对应到同一个IP。在进行到HTTP通讯之前,必须先建立验证证书建立连接。如果一个IP上绑定了多个域名,这个阶段服务器根本没法知道请求对应的是哪个域名,无疑会造成极大的不便。
为了解决这种问题,SNI(Server Name Identification)应运而生了。这种技术说起来复杂,大家可以把它简单理解为“建立SSL/TLS通讯时的host header”,这样就解决了一个IP只能配单张证书的问题。
然而SNI的诞生历史并不长,许多客户端的支持都存在奇怪的问题。比如JDK7支持SNI,但是JDK8的支持又有bug。而且这种支持往往需要调用原生的API才可以实现,Resteasy之类的类库并不支持。如果对SNI的支持有问题,即便配置正确也可能无法建立连接,因为服务端并不能识别此请求需要的证书。
CDN已经是业界流行的技术了,对稍微大一点的网站来说,没有CDN几乎是不可想象的。HTTP时代的CDN方案相当成熟,HTTPs的情况则不是如此。
要使用HTTPs的CDN服务,就要决定是否将证书交给CDN提供商。基于中国目前的商业信誉水平,把证书交给CDN提供商的风险不可不考虑。恶意揣测,别有用心的人一旦拿到证书,可以很方便地通过DNS劫持发起中间人攻击,而完全不被感知到。
另外,HTTP时代大家都喜欢将资源分散到多个不同的域名,因为建立连接的成本很低,而同一个域名的并发连接数有限。在HTTPs环境下,每次建立连接的成本高了很多,频繁下载和验证证书对移动设备和移动网络影响很大(尤其是证书很大的情况)。如果域名非常分散,影响就更加显著。所以在HTTPs时代,把域名收缩集中反而是更好的办法。
因为HTTPs的内容中无法引用HTTP的资源,所以应当保证网页中资源文件的链接都是HTTPs的。遗留的许多系统很可能并不注意这些事情,资源都采用绝对地址的形式,这样改起来工作量很大。如果要修改,最好一步到位,直接改成“协议相对URL”。
绝对地址URL:http://www.a.com/b.css 协议相对URL://www.a.com/b.css
这样浏览器就可以根据当前的协议,自动生成资源的绝对地址,无论是HTTP还是HTTPs,都可以自由切换。
如果资源都是自有的,切换HTTPs就相对容易。如果存在外部,尤其是UGC的资源,切换到HTTPs就很麻烦。如果是超链接,通常采用专门的跳转服务,也就是下面这样:
https://link.my.com/target=www.you.com
如果是图片这类资源,可以设定专门的程序将其抓取过来存放在自己的服务器上,再将地址替换掉即可。但是,这样做很可能要自己承担流量压力,同时还要承担恶意程序攻击的风险。
如果是视频、游戏等富文本、交互复杂的资源,如果源站没有提供HTTPs的服务,多半只能忍痛割爱,放弃内嵌展现的形式了。
最后再补充两点经验:
From Life Sailor, post 全站HTTPs的那些坑
一 很多人关心,我们父子给M写了道歉信之后,对方是否有回应。 答案是:到目前为止,还没有任何回应。不过比较特殊的是,写完信之后德国小学就开始放秋假,学生不用去学校,既然见不到,也就不可能收到任何回应。 老实说,我觉得对方父母是有点反应过度的。这些年我的一条深刻经验是,如果出现分歧、矛盾,越早、在越低的层面直接面对,就越容易解决。许多小的矛盾之所以越闹越大甚至无法收场,往往都是经过了很多演绎、传话,而没有在一开始就开诚布公地面对。 试想,如果自己的孩子收到写着“我要杀了你”的信件,哪怕一开始很惊慌甚至愤怒,但仔细想一想,毕竟还有很多信息是未知的——比如对方是谁,平时言行如何,为何要写这样的信…… 更好的办法或许是先去直接寻求这些问题的答案,而不是直接把信交给家长委员会,走“公事公办”的路子。 我当然承认,“公事公办”无可厚非,对方家长也有这样的权利——所谓权利,就是“有资格做对方不喜欢的事情,人家还拿你没办法”。既然有这样的权利,就需要尊重。 所以,“严于律己,宽于待人”的确是与人相处的重要法则:我不会选择这么做,但我能理解和尊重你这么做的权利。 也有人问,那将来你遇到M的父母,会不会紧张? 答案是:不会。 (more…)
一 收到S老师邮件的时候,我刚刚胆战心惊地做完第一次德语技术分享,还在享受着同事们的鼓励。猛然间就收到一封邮件:“您的孩子在学校参与了一起性质严重的事件,您必须来学校面谈,请从以下时间段中选择……” 什么?“性质严重的事件”?我揉了揉眼睛,确认自己没有看错。再把这段文字贴到谷歌翻译里,确认自己没有理解错。 我没有看错,也没有理解错,就是“性质严重的事件”。好吧,既然“性质严重”,那谈话肯定是越早越好,最早的日期是第三天。我紧赶慢赶,回信确认了最早可能的谈话时间,虽然德国人通常都不期待能这么快收到回复。 去接他回来的路上,我发现他一切正常,完全看不出任何异样。于是,我也没有表现出任何异样,只是依照惯例,问他当天发生了什么,在学校开心不开心。 得到肯定的答复之后,我心生疑惑,看起来和“性质严重”完全不搭边。那会是什么事情呢? 我又问他,有没有和同学吵架、打架,是不是被人欺负了不敢说。但是,答案全都是“没有”。 我满心怀疑,又按捺不住,直接问:“既然一切都挺好,为什么S老师给我发信,说让我来学校跟她谈话呢?”我担心“性质严重”会吓到他,故意隐去了这个词。 他的满面春风在那瞬间凝固了,喃喃低语道:“好吧,原来是那件事,我还以为她不会跟你说。” (more…)
在2024年之前,我从来没想过自己有一天还可以加入乐团,甚至参加音乐会演奏。我只是个普通中年人,在之前文章里说过,上世纪八十年代随大流弹了十年手风琴,考过六级(当时最高八级)之后就彻底放弃了。直到二十多年后,在上海工作时才重新开始弹琴,当时有幸跟夏老师学了两年,打开了感官,懂得了音乐的世界远远比考级要广阔和美妙。再往后,就是自己看Youtube学习了一些乐理知识。因为德国几乎每个城市都有很多音乐学校,2023年末,我给本市的音乐学校写信,询问是否可以参加手风琴课程。通过回信我才知道,原来不只是“每个城市都有很多音乐学校”,而且“每个城市都有很多乐团”,哪怕是手风琴乐团。就这样,阴差阳错的,2024年初,经过简单的试奏,我加入了本市的手风琴乐团。虽然我是乐团新人,仍然有很多要学习的,但是一年下来,确实有不少感受。如果读者朋友也对音乐感兴趣,或者想让孩子学习音乐,也许我的感受可以提供一些参考。 (more…)
中秋节,照例是本地的华人家庭聚会,大人在一起闲聊,小朋友在一起玩耍。 我注意到,某个孩子似乎最近有些变化,嘴里说着不干不净的词汇,脸上还挂着特别的笑意。这个孩子以前不是这样,起码在我记忆里,几个月前他还不是这样。现在,很明显是受到了某些外界的影响,而且他似乎是在有意识地模仿。 考虑到与他的妈妈比较熟悉,聚会结束之后,我给她发消息提醒说,“今天我注意到您的孩子在玩耍时说了XXXX这些脏词,我以为,无论是在中文或是德语里,这么说都不太礼貌。我印象里,他以前不是这样的。记得您提到最近孩子参加了某个中文课程,或许可以问一下,是不是有同学有这样的情况,以后家长可以留意。” 我明白这有点微妙,但在德国呆久了,也觉得应当神经大条一点。孩子一起玩的时候,家长见到危险或者不礼貌的状况,直接制止别人家的孩子尤其是熟人的孩子,告诉说“嘿,小朋友,不能这样”或者“注意,那样不对”,也是非常常见的事情,有好几次我甚至会感谢别的家长,因为几乎所有情况下对方都是就事论事,而且说得对。 (more…)
一 去年回国的时候,见到了教我手风琴的夏老师。夏老师已逾古稀之年,钢琴手风琴俱佳,奈何现在学手风琴的孩子太少,我算是“关门弟子”了。多年不见,交谈起来仍然很愉悦。 我问他:“听说现在学钢琴的小孩少了,是真的吗?为什么会这样呢?” 夏老师答:确实如此,来学琴的小孩少了很多。据我判断,主要有几个原因。 第一,经济不如之前景气,许多家庭的收入下降,无力负担钢琴的学费了;第二,弹钢琴现在不能给考试加分了,愿意让孩子学钢琴的家长少了很多;第三,其实大部分家长本来也没想好为什么要让小孩学钢琴,更多是攀比心态,“你的孩子学了这个,所以我的孩子也要去学”,“既然现在你家孩子不学了,我当然也就没有压力和动力了”;第四,许多家长并不考虑小孩的状态以及音乐本身,哪怕继续让孩子学,也只是维持“学”的动作而已,重要的是老师收费便宜,上课方便——能来家里上课最好,至于老师本身的水平,小孩是否有收获,那不是考虑的重点。 末了,夏老师叹了口气,“也好,现在坚持在我这学琴的,都是小孩真正有天赋,家长也懂得音乐的价值的。” 我又问:“我在德国,发现好像每个会乐器的人都能弹钢琴,这也有点超乎我的想象。” 夏老师答:其实很好理解。钢琴是个打击乐器,简单,没有管乐的换气的问题,同时钢琴也是个键盘乐,没有弦乐的音准问题,所以很适合入门,也容易理解乐理。如果家里经济条件容许,先学一段时间的钢琴,之后再学任何乐器,都很简单。 我接着问,我家里正好有一台钢琴,因为家里领导小时候就希望学钢琴但是家里负担不起,如今终于可以圆梦了。她跟老师学了两年,很是找到些自我陶醉的感觉。我看小朋友现在弹手风琴,驾驭起来还有点吃力,是不是让他先改学一段钢琴? 夏老师说:完全可以啊。我就是七岁学钢琴,九岁学手风琴。先把钢琴学好了,之后再学手风琴事半功倍。 回到家里,我和小朋友认真聊了聊,确认他的兴趣是“像爸爸一样弹手风琴”,但在这个阶段,“学钢琴也是为将来做很好的准备”,他同意了。 (more…)
以前我写过自己学手风琴的爱恨情仇,也写过我在上海的手风琴老师。没想到,几十年后,异国他乡,自己刚上小学的孩子仍然选择了学习手风琴。比较他的学琴经历和我的学琴体验,还是有不少感慨,既能重温孩子学琴的兴奋和厌倦,也能体会家长送孩子学琴的不易与纠结。 以下,记录了我的若干感慨。 (more…)