互联网上的日期和时间


time-zone-map

最近参加公司Hackthon，自己写的项目，同事写的项目，都踩了时间的坑。以前升级Celery到4.1.0之后定时任务同样出了时区的BUG。时间/时区这块，大家经常用，但是却没有系统的整理总结，遂写此文。

日期（Date）、时间（Time）和时间戳（Timestamp）

互联网这么大，覆盖了全球这么多时区。如果没有统一的标准来规定怎么表示时间，那么一定是混乱的，无法正常运行的。我们需要一个统一的标准，来规范统一不同语言、不同时区对同一个时刻的表示。

国际标准组织（ISO）制定了ISO 8601,我们的中华人民共和国国家标准GB/T 7408-2005《数据元和交换格式 信息交换 日期和时间表示法》与ISO 8601:2000等效采用。

上面两个标准，对开发者而言，太过于严肃。其实有一份更加简单易读的文件 RFC3339 Date and Time on the Internet: Timestamps。本文之后的讨论，都基于 RFC3339。

RFC3339 比 ISO 8601 有一个很一个明显的限制，这里提一下：ISO允许24点，而 RFC3339 为了减少混淆，限制小时必须在0至23之间。23:59过1分钟，是第二天的0:00。

阅读RFC3339，我主要明确下面三个定义：

  • 时间戳
  • 本地时间
  • 标准时间

时间戳

时间戳是一个数字，定义为格林威治时间1970年01月01日00时00分00秒(北京时间1970年01月01日08时00分00秒)起至现在的总秒数。注意，同一时刻，不同时区获得的时间戳是相同的。以前很多用来记录时间的字段，在数据库中往往不会存储为Datetime类型，而是直接存储为无符号整形，存放时间戳的值。

Python获取时间戳的代码为

1
2
import time
int(time.time())

本地时间

当前时区的本地时间

1
2
import datetime
datetime.datetime.now()

上面的输出值为

2017-12-08 11:50:03.537506

标准时间

本地时间只包括当前的时间，不包含任何时区信息。同一时刻，东八区的本地时间比零时区的本地时间快了8个小时。在不同时区之间交换时间数据，除了用纯数字的时间戳，还有一种更方便人类阅读的表示方式：标准时间的偏移量表示方法。

RFC3339详细定义了互联网上日期/时间的偏移量表示：

2017-12-08T00:00:00.00Z

这个代表了UTC时间的2017年12月08日零时

2017-12-08T08:00:00.00+08:00

这个代表了同一时刻的，东八区北京时间（CST）表示的方法

上面两个时间的时间戳是等价的。两个的区别，就是在本地时间后面增加了时区信息。Z表示零时区。+08:00表示UTC时间增加8小时。

这种表示方式容易让人疑惑的点是从标准时间换算UTC时间。以CST转换UTC为例，没有看文档的情况下，根据 +08:00 的结尾，很容易根据直觉在本地时间再加上8小时。正确的计算方法是本地时间减去多增加的8小时。+08:00减去8小时才是UTC时间，-08:00加上8小时才是UTC时间。

为什么我们会踩坑

了解了本地时间和标准时间之后，很容易想到为什么我们会在这里出问题。

很自然的，开发者编写代码处理用户输入的时间类型数据，处理的都是本地时间的格式。而计算机系统处理逻辑，依赖标准时间。从用户输入的本地时间，转化成系统能处理的标准时间，这个过程是系统隐式的自动转换。当系统的时区设置和用户所处的时区不一致的时候，时间经过一次输入，处理之后再输出，就有了差异。

为了避免在时间处理上出现问题，核心就是统一输入输出时间的转化。因此解决的思路也是两个：

  1. 强制用户输入的时间类型是标准的，使用时间戳/标准时间。如果你的系统是给全球用户使用的，应该采用这种功能方法。这是最准确，最不容易出错的。
  2. 系统的时区和用户的时区严格一致。项目规模小，全部都是一个时区的用户。采用这种方案，一旦用户跨时区了，还是会存在问题。不是很推荐。

时区的名称可以查维基百科，也可以查官方的数据库 Time Zone Database。

踩过的坑和解决方法

避免踩时间坑，总的改进方式：

  • 系统最好都配好NTP，保证时间准确。
  • 所有的输入数据，最好转换成标准时间，再交给业务逻辑处理。
  • 在天朝，还是把系统时区设置成北京时间比较好。

下面是一些踩过的坑：

Docker 设置时区

很多Docker镜像都是UTC时区，在上海使用镜像启用容器，容器里面获取的本地时间都会慢8个小时。可以在Dockerfile里面设置时区。参考这个问题的回答

1
2
ENV TZ=Asia/Shanghai
RUN ln -snf /usr/share/zoneinfo/$TZ /etc/localtime && echo $TZ > /etc/timezone

Ubuntu 设置时区

Docker里面大部分镜像是基于Debian的，Docker这么解决，Ubuntu上思路类似，直接执行命令就好了。

1
2
TZ=Asia/Shanghai
ln -snf /usr/share/zoneinfo/$TZ /etc/localtime && echo $TZ > /etc/timezone

可以执行date命令查看时间，CST是中国标准时间。

➜ ~ date
Fri Dec 8 14:12:46 CST 2017

Linux 和 Windows 双系统时间差

以前写过修复Ubuntu和Win10双系统时间差。

Celery 4.1.0 时区计算错误

这个PR Correct calculation of application current time with timezone 已经修复了，但是现在还没发布新版本。要么回退4.0.2，要么等下个版本。

Python 怎么从本地时间转换成标准时间

Python 里面的 datetime.datetime.now() 拿到的是本地时间。如果用这个保存时间，请务必确保系统的时区设置正确，统一。

Python中间的时间戳、datetime之间的转换，最好强制写清楚时区。这是个例子

1
2
3
# 时间戳转换到CST时间
timestamp = int(time.time())
datetime.datetime.fromtimestamp(timestamp, tz=datetime.timezone(datetime.timedelta(hours=8)))

展开全文 >>

聊一聊TOML


最近配置 Gitlab Runner，发现他的配置文件是.toml后缀。对toml类型一番了解之后，发现这是个非常值得使用的配置文件语言。

TOML的由来

TOML是Tom's Obvious, Minimal Language.的首字母缩写，是Tom的浅显的、极简的语言。
那么问题来了，Tom是谁？搜索之后得到答案，Tom是Tom Preston-Werner，全球最大的同性交友网站Github联合创始人。
还有小道消息，GitHub 新项目转用CoffeeScript 之后，CoffeeScript 比 JavaScript 要简洁优雅得多。同样地，GitHub 也觉得 YAML 不够简洁优雅，因此捣鼓出了一个 TOML。

TOML的目标

成为一个极简的配置文件格式。
关键词：极简、配置文件
TOML的语法足够简单，同时保证一个标准的TOML文件的所有配置项目都能被无歧义的转换成一个哈希表。TOML可以被各种语言解析使用。

TOML目前的版本还是0.4.0，官网还是提示在1.0以前，语言表现可能还是不稳定。这个只是个免责条款，在很多生产系统里面，TOML配置文件已经大规模使用了，比如友商GibLab。

简单样例

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
https://github.com/toml-lang/toml# This is a TOML document.

title = "TOML Example"

[owner]
name = "Tom Preston-Werner"
dob = 1979-05-27T07:32:00-08:00 https://github.com/toml-lang/toml# First class dates

[database]
server = "192.168.1.1"
ports = [ 8001, 8001, 8002 ]
connection_max = 5000
enabled = true

[servers]

  https://github.com/toml-lang/toml# Indentation (tabs and/or spaces) is allowed but not required
  [servers.alpha]
  ip = "10.0.0.1"
  dc = "eqdc10"

  [servers.beta]
  ip = "10.0.0.2"
  dc = "eqdc10"

[clients]
data = [ ["gamma", "delta"], [1, 2] ]

https://github.com/toml-lang/toml# Line breaks are OK when inside arrays
hosts = [
  "alpha",
  "omega"
]

上面的样例就展示了很多TOML的特点。

  • 主要通过键值对表达
  • 使用 # 作为注释
  • 支持数字、字符串、布尔量、日期等数据类型
  • 有块、列表等数据结构

还有一些特性，也列出来

  • TOML是大小写敏感的
  • TOML文件必须是UTF8编码的
  • 空白符可以是制表符(0x09)或空格(0x20)
  • 换行符可以是 LF (0x0A) 或 CRLF (0x0D0A)
  • 可以使用空字符串作为key 强烈不推荐这么用

看完样例，对TOML就能有基本的认识，参照文档就能快速写出合适的配置文件。

很棒的点

Offset Date-Time

TOML支持RFC 3339格式的时间，可以精准的描述一个地区时间。

多行字符串

1
2
3
4
5
6
7
8
9
str1 = """
Roses are red
Violets are blue"""

# On a Unix system, the above multi-line string will most likely be the same as:
str2 = "Roses are red\nViolets are blue"

# On a Windows system, it will most likely be equivalent to:
str3 = "Roses are red\r\nViolets are blue"

直接换行编写配置文件，在各个系统都能准确表达。

_分割z数字

数字，可以加入_作为标记，不影响数值。每三位加一个，快速区分量级。玩EVE再也不用担心多付ISK了。

1
2
3
num1 = 1_000  # 一千
num2 = 2_000_000  # 两百万
num3 = 3_000_000_000  # 三十亿

.表示层级

块可以用.表示层级。

参考资料

TOML Github 的目录

展开全文 >>

Nginx 与 Certbot


管理了很多内部系统，每个在内网部署好之后，需要在入口的 Nginx 配置。内部系统，安全性也很重要，出于习惯都会配置上HTTPS。以前数量少，手动申请再配置免费的DV证书。现在站点一多，这么整就太麻烦了。
很幸运，现在的Let’s Encrypt附带的Certbot已经比以前好多了，能自动的处理这些，稍加配置，就能轻松让全部域名实现。

Certbot是什么

Automatically enable HTTPS on your website with EFF’s Certbot, deploying Let’s Encrypt certificates.

怎么部署

官网首页就有文档，选择好Software和System就有具体的细节。Certbot在Ubuntu上有PPA，安装很方便。
Ubuntu Xenial上Nginx的自动化部署方式点这里，核心流程就是：

  1. 安装好Certbot
  2. $ sudo certbot --nginx，自动检测Nginx站点，自动配置HTTPS跳转
  3. sudo certbot renew --dry-run，检测更新是否正常工作
  4. 在crontab里面添加certbot renew任务
    0 0 * * 1 /usr/bin/certbot --nginx renew >> /var/log/certbot_renew.log

可能会出问题的点

  • 域名DNS解析不能是cname记录，得是a记录
  • Certbot的配置、证书都在/etc/letsencrypt目录，有时候可以去删除一些错误的配置
  • Let’s Encrypt证书有效时间3个月，注意自动更新证书的时间。certbot renew在快接近失效时间的时候才会更新，可以放心的重复调用。我的crontab设置的每周一更新一次。

期待明年一月放出的通配符证书，有了这个，几个环境也可以不用买证书啦。 *★,°*:.☆\(￣▽￣)/$:*.°★*

展开全文 >>

Python3 升级注意事项


面向开发同事的分享。
整个迁移过程可以看这里。

开发/服务器环境

服务器环境 Ubuntu 16.04 LTS x64， Python 3.5.2
开发环境以 Python3.5 为基准，Python文档请查询 Python3.5 版本

  • 新建 Python3 环境的 virtualenv，并且安装 requirements.txt

virtualenv -p /usr/bin/python3 <path/to/virtualenv>

  • PyCharm 设置新的虚拟环境，设置 Python3.5 的检测

  • Terminal 可以使用如下命令载入，可以自由在多个 virtualenv 之间切换

cd <path/to/virtualenv> && source bin/activate && cd -

Python3 需要注意的点

基础的 print

现在是函数了，不再是关键词

1
print('hello world!')

字符串与字节

没有 unicode 类型。所有的 str 就是 unicode 类型。Python3 严格区分字节和字符串，以前字符串和字节混用的地方都会出问题，需要注意。

常见的问题如下：

  • requests 的 response，text属性返回的是自动 decode 的字符串。content属性返回的是未处理的字节。
  • redis 所有获取到的返回值，都是字节。如果需要获取到字符串，需要 decode() 。
  • 加密相关的，需要二进制数据。原来的字符串需要 encode() 转换成 utf-8 编码的字节。
  • json.loads() 接收的是字符串。
  • StringIO.StringIO 字节数据替换成 io.BytesIO，字符串使用 io.StringIO。

列表与迭代器

  • map，filter，range 之类的返回都是 iterator。
  • dict 类型的 keys, values, items 返回 iterator，不再是 list。
  • iterator 不具有 len() 方法，使用 len(list(iterator))
  • iterator 和 list 大部分方法，基本一致，不需要特别注意。

异常

  • expect SomeException as e。
  • raise Exception(‘content’)
  • Exception 类不再默认含有 message 方法，通过 str 获取到字符串。

单元测试

  • 很多 2.6、2.7 新增加的不稳定的方法名称，在 3.0-3.5 版本逐渐移除或者重命名。
  • 现在单元测试已兼容 Python3，以后新的单元测试请依照 Python3.5 的文档函数编写。

其他

  • 一些内置库、内置函数的变更，用到了，按照 Python3.5 文档更新。
  • / 默认是除法。3/2=1.5。整除严格使用 //。
  • 统一 long 和 int。
  • 强制 absolute_import。
  • 可以使用 Type Hints 进行标记（只有标记作用，不影响实际运行）。
1
2
3
def hello(name: str) -> str:
    return None  # 也能运行，不会报错
    return 'hello {}'.format(name)

后续的一些改动

  • 全部切换到 Python3 之后，所有的 __future__ 引入会删除。
  • Python3 buildin 的库，会从 requirements.txt 移除，如 enum。
  • 以前的一些兼容代码，也会移除，如 unicode，urlencode。

展开全文 >>

重启搜狗输入法脚本


最近搜狗输入法老是卡死，o(╯□╰)o。整了个脚本，丢到/usr/local/bin下面，一卡重启，干净利落。

1
2
3
4
5
6
#!/bin/sh

pidof fcitx | xargs kill
pidof sogou-qimpanel | xargs kill
nohup fcitx  1>/dev/null 2>/dev/null &
nohup sogou-qimpanel  1>/dev/null 2>/dev/null &

展开全文 >>

v2ex.com 自动签到


拖了好久，今天终于动手把v2ex的自动签到给做了。

签到脚本在这里。

丢到服务器上，使用 chmod 增加可执行权限，建立一个 crontab 任务，每天这个小脚本就可以忠实的帮你签到了。

crontab -l 查看我建立的任务如下，每天早上八点定期签到：
0 8 * * * /path_to_script/v2ex_auto_sign.py <username> <password> >> /var/log/v2ex_sign.log

展开全文 >>

nginx 和 php-fpm 的 php7.0-fpm.sock Permission denied 错误


error.log 内容为：

2017/02/25 20:20:58 [crit] 10745#10745: *1 connect() to unix:/var/run/php/php7.0-fpm.sock failed (13: Permission denied) while connecting to upstream

这个是因为 nginx 和 php-fpm 分别使用了不同的用户权限。我的习惯是都统一成 www-data 用户。

  • nginx 的默认配置文件位于/etc/nginx/nginx.conf，将其中的user的值修改为目标的用户组。

  • php-fpm 的配置文件位于/etc/php/7.0/fpm/pool.d/www.conf，将其中的user的值修改为目标的用户组。

无论修改哪个，改好之后重启对应的服务应该就能解决这个问题。

展开全文 >>

公司全站部署HTTPS


2017年来了，新年新气象，公司网站也迎来了全站HTTPS。HTTPS的好处有很多，安全是第一位的（远离运营商劫持）。各个大厂商推广HTTPS也是不遗余力，Google优先收录此类链接，苹果和微信小程序接口都走HTTPS。

上一家公司因为前端CDN的问题，部署HTTPS一拖再拖。新公司网站还不大，现在部署成本低。感觉再拖延下去等以后复杂了，更加没人想干了，赶在新年前部署了。:-D

简单的Checklist:

  • 申请SSL证书
  • LB配置证书
  • CDN配置证书

按照以上的列表，一个一个来。

申请SSL证书

公司有个业务需要使用Apple Wallet，当时在RapidSSL申请了公司二级域名的通配符证书。这个我向以前的同事咨询，获取到了相关的数据。

LB配置证书

公司网站运行在AWS的云服务上，AWS的负载均衡器很方便的就可以部署证书，将证书上传到IAM(Identity and Access Management)之后，直接启用。配置好之后是HTTP和HTTPS都可以正常调用接口，过一阵子等移动端的客户端都更新之后，再强制全部跳转HTTPS。

CDN配置证书

公司CDN使用的网宿的，部署HTTPS需要上传私钥，我不太想把通配符证书上传到一个第三方的网站，好在现在腾讯云、阿里云、七牛等都联合赛门铁克，免费提供了明细域名一年时间的DV证书。免费申请了static和media这两个静态资源二级域名的证书，专门用于CDN。这个问题也顺利解决。

遇到的问题

安卓上证书不受信任（微信、浏览器等打不开）

macOS和iPhone上都没有问题，但是安卓手机上会出现证书不受信任的错误。看到了v2ex t183715这个帖子，判断是一样的问题，证书链不完整。通过SSL LABS检测网站，直接获得了网站带完整证书链的证书，重新部署完整证书链的证书，问题解决。

总共试了两次，第一次因为遇到上面的问题，回滚了。第二天仔细了解了一下证书链，完善之后再部署，这次成功，浏览器、微信、Android端调用都没有问题。这让我想到了以前搭建的一个内部系统出现的问题：A是使用Docker搭建的Jenkins，用于自动测试和部署；B是Gitlab仓库，用于代码管理。A、B网址均开启HSTS，A通过OAuth插件使用B的权限管理。刚开始A访问B，证书不受信。我是手动进到A的Container里面，在JVM导入了B的证书，临时解决了问题。因为内部系统，没多想，能用了之后就没关注。现在想来应该是一样的问题。一开始的通配符证书不带完整的证书链，中级证书不会自动下载，所以不受信。

展开全文 >>

修复Ubuntu和Win10双系统时间差


启动了电脑上另一块SSD上的Ubuntu，又注意到了时间差问题。Windows默认会将BIOS上的时间认为是本地时间（我们这里表现就是CST，东八区时间），Ubuntu默认是UTC标准时间，会在此基础上增加8小时，作为显示的时间。如果在Win系统下将时间调整对，在Ubuntu下则会快了8个小时，反之也是。为了让两者都能正确的显示时间，得让两个系统使用相同的计算方式。

调整时间一致，要么改Win设置，要么改Ubuntu。Windows要改注册表，还是Ubuntu改配置文件比较简单。现在网上搜出来的，很多都是那个以前的老方法：在/etc/default/rcS里面增加UTC=no，这个我在Ubuntu 16.04 LTS上尝试过，已经失效了。

ArchWiki给出过现在的解决方法，现在需要设置如下命令：

timedatectl set-local-rtc 1

如果要改回来，将 1 改回 0 即可。

timedatectl set-local-rtc 0

设置成功之后，在Win和Ubuntu上都可以正确显示时间。使用timedatectl命令显示的结果如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
➜  ✗ timedatectl
      Local time: Sun 2016-12-25 17:14:19 CST
  Universal time: Sun 2016-12-25 09:14:19 UTC
        RTC time: Sun 2016-12-25 17:14:19
       Time zone: Asia/Shanghai (CST, +0800)
 Network time on: yes
NTP synchronized: no
 RTC in local TZ: yes

Warning: The system is configured to read the RTC time in the local time zone.
         This mode can not be fully supported. It will create various problems
         with time zone changes and daylight saving time adjustments. The RTC
         time is never updated, it relies on external facilities to maintain it.
         If at all possible, use RTC in UTC by calling
         'timedatectl set-local-rtc 0'.

展开全文 >>

Let's Encrypt


Wosign 被封

以下是最近的三则新闻：

沃通作的死，自己得慢慢还。苹果、Chrome、Firefox都封杀之后，那些用了沃通证书的人（比如我），就得考虑更换了。Let’s Encrypt项目刚出来的时候我就有关注，但是当时这个项目还不稳定。
这次乘着这次机会，使用了一下。

Let's Encrypt官网还是很大气的，看着非常舒服。首页就直接有Get Started，利用Certbot工具很快就申请到了新的证书，再去Nginx更新配置就可以正常使用。

DigitalOcean上对于配置还有一篇很详细的介绍，可以点击这里。

使用 Let’s Encrypt

我有Shell权限，整个过程就三步：

  1. 执行 apt install letsencrypt 安装 Certbot。
  2. 执行 letsencrypt certonly --webroot -w /var/www/path/to/your/website -d yourdomian.com。执行完成之后会有以下输出：
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    IMPORTANT NOTES:
     - If you lose your account credentials, you can recover through
       e-mails sent to youremail@domian.com.
     - Congratulations! Your certificate and chain have been saved at
       /etc/letsencrypt/live/domian.com/fullchain.pem. Your cert will
       expire on 2017-01-30. To obtain a new version of the certificate in
       the future, simply run Let's Encrypt again.
     - Your account credentials have been saved in your Let's Encrypt
       configuration directory at /etc/letsencrypt. You should make a
       secure backup of this folder now. This configuration directory will
       also contain certificates and private keys obtained by Let's
       Encrypt so making regular backups of this folder is ideal.
     - If you like Let's Encrypt, please consider supporting our work by:

       Donating to ISRG / Let's Encrypt:   https://letsencrypt.org/donate
       Donating to EFF:                    https://eff.org/donate-le
  3. 去 Nginx 配置文件更新证书。ssl_certificate是fullchain.pem，ssl_certificate_key是privkey.pem。更新好配置重启/重载生效。

自动更新

Let's Encrypt的证书有效期是三个月，可以在服务器上配置自动更新证书。这个我现在还没用，下次折腾了再记。

另外，Let's Encrypt正在众筹资金，有意向的可以支持一下。** 捐赠 Let’s Encrypt，共建安全的互联网 **

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

一个人的命运啊，当然要靠自我奋斗，但是也要考虑到历史的行程。

很惭愧，就做了一点微小的工作，谢谢大家。