Nginx 与 Certbot


管理了很多内部系统，每个在内网部署好之后，需要在入口的 Nginx 配置。内部系统，安全性也很重要，出于习惯都会配置上HTTPS。以前数量少，手动申请再配置免费的DV证书。现在站点一多，这么整就太麻烦了。
很幸运，现在的Let’s Encrypt附带的Certbot已经比以前好多了，能自动的处理这些，稍加配置，就能轻松让全部域名实现。

Certbot是什么

Automatically enable HTTPS on your website with EFF’s Certbot, deploying Let’s Encrypt certificates.

怎么部署

官网首页就有文档，选择好Software和System就有具体的细节。Certbot在Ubuntu上有PPA，安装很方便。
Ubuntu Xenial上Nginx的自动化部署方式点这里，核心流程就是：

  1. 安装好Certbot
  2. $ sudo certbot --nginx，自动检测Nginx站点，自动配置HTTPS跳转
  3. sudo certbot renew --dry-run，检测更新是否正常工作
  4. 在crontab里面添加certbot renew任务
    0 0 * * 1 /usr/bin/certbot --nginx renew >> /var/log/certbot_renew.log

可能会出问题的点

  • 域名DNS解析不能是cname记录，得是a记录
  • Certbot的配置、证书都在/etc/letsencrypt目录，有时候可以去删除一些错误的配置
  • Let’s Encrypt证书有效时间3个月，注意自动更新证书的时间。certbot renew在快接近失效时间的时候才会更新，可以放心的重复调用。我的crontab设置的每周一更新一次。

期待明年一月放出的通配符证书，有了这个，几个环境也可以不用买证书啦。 *★,°*:.☆\(￣▽￣)/$:*.°★*

展开全文 >>

Python3 升级注意事项


面向开发同事的分享。
整个迁移过程可以看这里。

开发/服务器环境

服务器环境 Ubuntu 16.04 LTS x64， Python 3.5.2
开发环境以 Python3.5 为基准，Python文档请查询 Python3.5 版本

  • 新建 Python3 环境的 virtualenv，并且安装 requirements.txt

virtualenv -p /usr/bin/python3 <path/to/virtualenv>

  • PyCharm 设置新的虚拟环境，设置 Python3.5 的检测

  • Terminal 可以使用如下命令载入，可以自由在多个 virtualenv 之间切换

cd <path/to/virtualenv> && source bin/activate && cd -

Python3 需要注意的点

基础的 print

现在是函数了，不再是关键词

1
print('hello world!')

字符串与字节

没有 unicode 类型。所有的 str 就是 unicode 类型。Python3 严格区分字节和字符串，以前字符串和字节混用的地方都会出问题，需要注意。

常见的问题如下：

  • requests 的 response，text属性返回的是自动 decode 的字符串。content属性返回的是未处理的字节。
  • redis 所有获取到的返回值，都是字节。如果需要获取到字符串，需要 decode() 。
  • 加密相关的，需要二进制数据。原来的字符串需要 encode() 转换成 utf-8 编码的字节。
  • json.loads() 接收的是字符串。
  • StringIO.StringIO 字节数据替换成 io.BytesIO，字符串使用 io.StringIO。

列表与迭代器

  • map，filter，range 之类的返回都是 iterator。
  • dict 类型的 keys, values, items 返回 iterator，不再是 list。
  • iterator 不具有 len() 方法，使用 len(list(iterator))
  • iterator 和 list 大部分方法，基本一致，不需要特别注意。

异常

  • expect SomeException as e。
  • raise Exception(‘content’)
  • Exception 类不再默认含有 message 方法，通过 str 获取到字符串。

单元测试

  • 很多 2.6、2.7 新增加的不稳定的方法名称，在 3.0-3.5 版本逐渐移除或者重命名。
  • 现在单元测试已兼容 Python3，以后新的单元测试请依照 Python3.5 的文档函数编写。

其他

  • 一些内置库、内置函数的变更，用到了，按照 Python3.5 文档更新。
  • / 默认是除法。3/2=1.5。整除严格使用 //。
  • 统一 long 和 int。
  • 强制 absolute_import。
  • 可以使用 Type Hints 进行标记（只有标记作用，不影响实际运行）。
1
2
3
def hello(name: str) -> str:
    return None  # 也能运行，不会报错
    return 'hello {}'.format(name)

后续的一些改动

  • 全部切换到 Python3 之后，所有的 __future__ 引入会删除。
  • Python3 buildin 的库，会从 requirements.txt 移除，如 enum。
  • 以前的一些兼容代码，也会移除，如 unicode，urlencode。

展开全文 >>

重启搜狗输入法脚本


最近搜狗输入法老是卡死，o(╯□╰)o。整了个脚本，丢到/usr/local/bin下面，一卡重启，干净利落。

1
2
3
4
5
6
#!/bin/sh

pidof fcitx | xargs kill
pidof sogou-qimpanel | xargs kill
nohup fcitx  1>/dev/null 2>/dev/null &
nohup sogou-qimpanel  1>/dev/null 2>/dev/null &

展开全文 >>

v2ex.com 自动签到


拖了好久，今天终于动手把v2ex的自动签到给做了。

签到脚本在这里。

丢到服务器上，使用 chmod 增加可执行权限，建立一个 crontab 任务，每天这个小脚本就可以忠实的帮你签到了。

crontab -l 查看我建立的任务如下，每天早上八点定期签到：
0 8 * * * /path_to_script/v2ex_auto_sign.py <username> <password> >> /var/log/v2ex_sign.log

展开全文 >>

nginx 和 php-fpm 的 php7.0-fpm.sock Permission denied 错误


error.log 内容为：

2017/02/25 20:20:58 [crit] 10745#10745: *1 connect() to unix:/var/run/php/php7.0-fpm.sock failed (13: Permission denied) while connecting to upstream

这个是因为 nginx 和 php-fpm 分别使用了不同的用户权限。我的习惯是都统一成 www-data 用户。

  • nginx 的默认配置文件位于/etc/nginx/nginx.conf，将其中的user的值修改为目标的用户组。

  • php-fpm 的配置文件位于/etc/php/7.0/fpm/pool.d/www.conf，将其中的user的值修改为目标的用户组。

无论修改哪个，改好之后重启对应的服务应该就能解决这个问题。

展开全文 >>

公司全站部署HTTPS


2017年来了，新年新气象，公司网站也迎来了全站HTTPS。HTTPS的好处有很多，安全是第一位的（远离运营商劫持）。各个大厂商推广HTTPS也是不遗余力，Google优先收录此类链接，苹果和微信小程序接口都走HTTPS。

上一家公司因为前端CDN的问题，部署HTTPS一拖再拖。新公司网站还不大，现在部署成本低。感觉再拖延下去等以后复杂了，更加没人想干了，赶在新年前部署了。:-D

简单的Checklist:

  • 申请SSL证书
  • LB配置证书
  • CDN配置证书

按照以上的列表，一个一个来。

申请SSL证书

公司有个业务需要使用Apple Wallet，当时在RapidSSL申请了公司二级域名的通配符证书。这个我向以前的同事咨询，获取到了相关的数据。

LB配置证书

公司网站运行在AWS的云服务上，AWS的负载均衡器很方便的就可以部署证书，将证书上传到IAM(Identity and Access Management)之后，直接启用。配置好之后是HTTP和HTTPS都可以正常调用接口，过一阵子等移动端的客户端都更新之后，再强制全部跳转HTTPS。

CDN配置证书

公司CDN使用的网宿的，部署HTTPS需要上传私钥，我不太想把通配符证书上传到一个第三方的网站，好在现在腾讯云、阿里云、七牛等都联合赛门铁克，免费提供了明细域名一年时间的DV证书。免费申请了static和media这两个静态资源二级域名的证书，专门用于CDN。这个问题也顺利解决。

遇到的问题

安卓上证书不受信任（微信、浏览器等打不开）

macOS和iPhone上都没有问题，但是安卓手机上会出现证书不受信任的错误。看到了v2ex t183715这个帖子，判断是一样的问题，证书链不完整。通过SSL LABS检测网站，直接获得了网站带完整证书链的证书，重新部署完整证书链的证书，问题解决。

总共试了两次，第一次因为遇到上面的问题，回滚了。第二天仔细了解了一下证书链，完善之后再部署，这次成功，浏览器、微信、Android端调用都没有问题。这让我想到了以前搭建的一个内部系统出现的问题：A是使用Docker搭建的Jenkins，用于自动测试和部署；B是Gitlab仓库，用于代码管理。A、B网址均开启HSTS，A通过OAuth插件使用B的权限管理。刚开始A访问B，证书不受信。我是手动进到A的Container里面，在JVM导入了B的证书，临时解决了问题。因为内部系统，没多想，能用了之后就没关注。现在想来应该是一样的问题。一开始的通配符证书不带完整的证书链，中级证书不会自动下载，所以不受信。

展开全文 >>

修复Ubuntu和Win10双系统时间差


启动了电脑上另一块SSD上的Ubuntu，又注意到了时间差问题。Windows默认会将BIOS上的时间认为是本地时间（我们这里表现就是CST，东八区时间），Ubuntu默认是UTC标准时间，会在此基础上增加8小时，作为显示的时间。如果在Win系统下将时间调整对，在Ubuntu下则会快了8个小时，反之也是。为了让两者都能正确的显示时间，得让两个系统使用相同的计算方式。

调整时间一致，要么改Win设置，要么改Ubuntu。Windows要改注册表，还是Ubuntu改配置文件比较简单。现在网上搜出来的，很多都是那个以前的老方法：在/etc/default/rcS里面增加UTC=no，这个我在Ubuntu 16.04 LTS上尝试过，已经失效了。

ArchWiki给出过现在的解决方法，现在需要设置如下命令：

timedatectl set-local-rtc 1

如果要改回来，将 1 改回 0 即可。

timedatectl set-local-rtc 0

设置成功之后，在Win和Ubuntu上都可以正确显示时间。使用timedatectl命令显示的结果如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
➜  ✗ timedatectl
      Local time: Sun 2016-12-25 17:14:19 CST
  Universal time: Sun 2016-12-25 09:14:19 UTC
        RTC time: Sun 2016-12-25 17:14:19
       Time zone: Asia/Shanghai (CST, +0800)
 Network time on: yes
NTP synchronized: no
 RTC in local TZ: yes

Warning: The system is configured to read the RTC time in the local time zone.
         This mode can not be fully supported. It will create various problems
         with time zone changes and daylight saving time adjustments. The RTC
         time is never updated, it relies on external facilities to maintain it.
         If at all possible, use RTC in UTC by calling
         'timedatectl set-local-rtc 0'.

展开全文 >>

Let's Encrypt


Wosign 被封

以下是最近的三则新闻：

沃通作的死，自己得慢慢还。苹果、Chrome、Firefox都封杀之后，那些用了沃通证书的人（比如我），就得考虑更换了。Let’s Encrypt项目刚出来的时候我就有关注，但是当时这个项目还不稳定。
这次乘着这次机会，使用了一下。

Let's Encrypt官网还是很大气的，看着非常舒服。首页就直接有Get Started，利用Certbot工具很快就申请到了新的证书，再去Nginx更新配置就可以正常使用。

DigitalOcean上对于配置还有一篇很详细的介绍，可以点击这里。

使用 Let’s Encrypt

我有Shell权限，整个过程就三步：

  1. 执行 apt install letsencrypt 安装 Certbot。
  2. 执行 letsencrypt certonly --webroot -w /var/www/path/to/your/website -d yourdomian.com。执行完成之后会有以下输出：
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    IMPORTANT NOTES:
     - If you lose your account credentials, you can recover through
       e-mails sent to youremail@domian.com.
     - Congratulations! Your certificate and chain have been saved at
       /etc/letsencrypt/live/domian.com/fullchain.pem. Your cert will
       expire on 2017-01-30. To obtain a new version of the certificate in
       the future, simply run Let's Encrypt again.
     - Your account credentials have been saved in your Let's Encrypt
       configuration directory at /etc/letsencrypt. You should make a
       secure backup of this folder now. This configuration directory will
       also contain certificates and private keys obtained by Let's
       Encrypt so making regular backups of this folder is ideal.
     - If you like Let's Encrypt, please consider supporting our work by:

       Donating to ISRG / Let's Encrypt:   https://letsencrypt.org/donate
       Donating to EFF:                    https://eff.org/donate-le
  3. 去 Nginx 配置文件更新证书。ssl_certificate是fullchain.pem，ssl_certificate_key是privkey.pem。更新好配置重启/重载生效。

自动更新

Let's Encrypt的证书有效期是三个月，可以在服务器上配置自动更新证书。这个我现在还没用，下次折腾了再记。

另外，Let's Encrypt正在众筹资金，有意向的可以支持一下。** 捐赠 Let’s Encrypt，共建安全的互联网 **

展开全文 >>

使用 Docker 搭建 Sentry


项目之前使用的是Sentry官方提供的付费服务，但是因为我们在国内，访问比较慢，体验很糟糕。Sentry本身就是开源的，打算自己动手搭建一个，老板就把这个光荣的任务交给我，Fight～～～

配置环境一直是一个比较繁琐的事情，还好现在容器盛行，我计划就是直接使用 Docker 来启动 Sentry 的服务。

Docker 安装

不得不说现在 Docker 的生态链比2014年我刚了解这个工具的时候好太多了，现在安装 Docker 也很简单。

系统源里面可能有 Docker，但是我喜欢使用最新版软件，于是打算从官网下载安装。但是现在已经有了Get Docker，打开这个网页，复制一行命令，再终端执行，OK，Docker 安装完成。

如果服务器的用户权限不是 root 的话，每次调用 docker 的命令需要加 sudo，有些人可能觉得这个很烦。
可以添加一个 docker 组来解决这个问题。参见：https://docs.docker.com/engine/installation/linux/ubuntulinux/#/create-a-docker-group

Sentry 安装

Sentry 在 DockerHub 上有官方的镜像，这个就大大方便了我们。

Sentry Official https://hub.docker.com/_/sentry/

核心的流程如下：

启动Sentry需要的Redis实例

docker run -d --name sentry-redis redis

启动Sentry需要的PostgreSQL实例

docker run -d --name sentry-postgres -e POSTGRES_PASSWORD=secret -e POSTGRES_USER=sentry postgres

生成 SENTRY_SECRET_KEY

docker run --rm sentry config generate-secret-key

这个生成的 SENTRY_SECRET_KEY 需要记住，后面都要用到

初始化数据库

docker run -it --rm -e SENTRY_SECRET_KEY='<secret-key>' --link sentry-postgres:postgres --link sentry-redis:redis sentry upgrade

这里需要使用刚才生成的 SENTRY_SECRET_KEY。这个操作会在PostgresQL里面初始化表信息。

启动Sentry的Web服务

docker run -d -p 80:9000 --name my-sentry -e SENTRY_SECRET_KEY='<secret-key>' --link sentry-redis:redis --link sentry-postgres:postgres sentry

-p 参数设置实例暴露的端口号，我这台机器只跑这个就直接占了80端口。

启动Sentry的Worker

docker run -d --name sentry-cron -e SENTRY_SECRET_KEY='<secret-key>' --link sentry-postgres:postgres --link sentry-redis:redis sentry run cron

docker run -d --name sentry-worker-1 -e SENTRY_SECRET_KEY='<secret-key>' --link sentry-postgres:postgres --link sentry-redis:redis sentry run worker

worker 和 celery beat 根据实际情况添加，我这里就只加1个。

必要的配置

邮件设置

上面的步骤跑完，Sentry 就已经搭建好并且可以使用了，还有问题，你会发现没有邮件提醒，我们需要配置邮件服务。

官方的介绍了两种方法，一个是再 link 一个 SMTP 的 instance，一个是添加SMTP服务的配置。我两个都试了，前者发出的邮件很容易被当做垃圾邮件拦截，我现在采用的是后者。现在国内的免费邮件服务都提供了SMTP功能，一开始我直接使用了免费的QQ邮箱和163邮箱，一部分邮件可以发送成功，一部分会连接超时，这个让我很无语，这种不稳定不能用。Gmail估计不会有问题，但是可能被墙，就没试（其实是拿老板手机注册的时候没成功，没成功的原因的老板手机欠费停机，没收到验证短信。o(╯□╰)o）

考虑邮件推送服务。服务器在AWS中国上，AWS有邮件推送服务，但是这个AWS中国貌似还没开发这个功能；搜狐家有SendCloud,注册之后发现要获取免费的额度需要填太多东西，作罢；因为有阿里云的账号，阿里云家配置比较简单，暂时用的阿里云的邮件推送服务，地址：https://www.aliyun.com/product/directmail。实际使用中还是有发送失败的情况，没有说的那么好。

配好之后，我们需要将这些配置加到我们的Sentry实例中。我没有作为 instance 的启动参数，而是直接修改了 sentry.conf.py 文件，直接将配置文件 mount 到 instance 内。相关的部分如下

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
# email = env('SENTRY_EMAIL_HOST') or (env('SMTP_PORT_25_TCP_ADDR') and 'smtp')
# if email:
#     SENTRY_OPTIONS['mail.backend'] = 'smtp'
#     SENTRY_OPTIONS['mail.host'] = email
#     SENTRY_OPTIONS['mail.password'] = env('SENTRY_EMAIL_PASSWORD') or ''
#     SENTRY_OPTIONS['mail.username'] = env('SENTRY_EMAIL_USER') or ''
#     SENTRY_OPTIONS['mail.port'] = int(env('SENTRY_EMAIL_PORT') or 25)
#     SENTRY_OPTIONS['mail.use-tls'] = Bool(env('SENTRY_EMAIL_USE_TLS', False))
# else:
#     SENTRY_OPTIONS['mail.backend'] = 'dummy'

SENTRY_OPTIONS['mail.backend'] = 'smtp'
SENTRY_OPTIONS['mail.host'] = 'smtpdm.aliyun.com'
SENTRY_OPTIONS['mail.password'] = 'your password'
SENTRY_OPTIONS['mail.username'] = 'your email address'
SENTRY_OPTIONS['mail.port'] = 25
SENTRY_OPTIONS['mail.use-tls'] = False

启动命令如下:

docker run -d -p 80:9000 -v /path/to/sentry.conf.py:/etc/sentry/sentry.conf.py --link sentry-postgres:postgres --link sentry-redis:redis sentry

docker run -d -v /path/to/sentry.conf.py:/etc/sentry/sentry.conf.py --link sentry-postgres:postgres --link sentry-redis:redis sentry run worker

注意：如果只启动 Web，在 Sentry 内的测试发送邮件会成功，但是通知邮件依旧会失败。因为通知邮件是 Worker instance 发送的，不是 Web instance 发送的，邮件配置必须也传到 Worker instance 里面。

关闭注册功能

内部用的系统，不希望开放公开的注册。需要把这个功能 disable 掉。还是改sentry.conf.py文件，添加一行 SENTRY_FEATURES['auth:register'] = False

更多的参数写到 sentry.conf.py

很多参数都是可以直接写到 sentry.conf.py 内的。我把system.secret-key这个也写到文件内，这样 docker run 需要带的参数就大大减少。

Sentry 使用

这个就不多说了。用管理员账号登录之后，自己添加 Project 和 Member，再把 Sentry 的 Track 加到需要监测的项目里面就好。我们项目用的 Django，里面的 raven 配置加上新的链接就可用，非常方便。

展开全文 >>

Congratulations Wings!


天道勤酬，恭喜Wings获得TI6冠军！

1
2
3
4
5
6
7
8
一支曾因没有LOL分部而被DACE拒之门外的战队，
一支队服上连赞助商Logo都没有的战队，
一支全队没有一个人开直播的战队，
一支为了梦想坚持到底的战队，
一支创造了奇迹的战队，
一支无敌的战队！
Wings！
来自微信公众号 天辉夜魇

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

一个人的命运啊，当然要靠自我奋斗，但是也要考虑到历史的行程。

很惭愧，就做了一点微小的工作，谢谢大家。