使用 Docker 搭建 Sentry

Published on 2016 / 08 / 20 , Updated on 2016 / 09 / 11

项目之前使用的是Sentry官方提供的付费服务，但是因为我们在国内，访问比较慢，体验很糟糕。Sentry本身就是开源的，打算自己动手搭建一个，老板就把这个光荣的任务交给我，Fight～～～

配置环境一直是一个比较繁琐的事情，还好现在容器盛行，我计划就是直接使用 Docker 来启动 Sentry 的服务。

Docker 安装

不得不说现在 Docker 的生态链比2014年我刚了解这个工具的时候好太多了，现在安装 Docker 也很简单。

系统源里面可能有 Docker，但是我喜欢使用最新版软件，于是打算从官网下载安装。但是现在已经有了Get Docker，打开这个网页，复制一行命令，再终端执行，OK，Docker 安装完成。

如果服务器的用户权限不是 root 的话，每次调用 docker 的命令需要加 sudo，有些人可能觉得这个很烦。
可以添加一个 docker 组来解决这个问题。参见：https://docs.docker.com/engine/installation/linux/ubuntulinux/#/create-a-docker-group

Sentry 安装

Sentry 在 DockerHub 上有官方的镜像，这个就大大方便了我们。

Sentry Official https://hub.docker.com/_/sentry/

核心的流程如下：

启动Sentry需要的Redis实例

docker run -d --name sentry-redis redis

启动Sentry需要的PostgreSQL实例

docker run -d --name sentry-postgres -e POSTGRES_PASSWORD=secret -e POSTGRES_USER=sentry postgres

生成 SENTRY_SECRET_KEY

docker run --rm sentry config generate-secret-key

这个生成的 SENTRY_SECRET_KEY 需要记住，后面都要用到

初始化数据库

docker run -it --rm -e SENTRY_SECRET_KEY='<secret-key>' --link sentry-postgres:postgres --link sentry-redis:redis sentry upgrade

这里需要使用刚才生成的 SENTRY_SECRET_KEY。这个操作会在PostgresQL里面初始化表信息。

启动Sentry的Web服务

docker run -d -p 80:9000 --name my-sentry -e SENTRY_SECRET_KEY='<secret-key>' --link sentry-redis:redis --link sentry-postgres:postgres sentry

-p 参数设置实例暴露的端口号，我这台机器只跑这个就直接占了80端口。

启动Sentry的Worker

docker run -d --name sentry-cron -e SENTRY_SECRET_KEY='<secret-key>' --link sentry-postgres:postgres --link sentry-redis:redis sentry run cron

docker run -d --name sentry-worker-1 -e SENTRY_SECRET_KEY='<secret-key>' --link sentry-postgres:postgres --link sentry-redis:redis sentry run worker

worker 和 celery beat 根据实际情况添加，我这里就只加1个。

必要的配置

邮件设置

上面的步骤跑完，Sentry 就已经搭建好并且可以使用了，还有问题，你会发现没有邮件提醒，我们需要配置邮件服务。

官方的介绍了两种方法，一个是再 link 一个 SMTP 的 instance，一个是添加SMTP服务的配置。我两个都试了，前者发出的邮件很容易被当做垃圾邮件拦截，我现在采用的是后者。现在国内的免费邮件服务都提供了SMTP功能，一开始我直接使用了免费的QQ邮箱和163邮箱，一部分邮件可以发送成功，一部分会连接超时，这个让我很无语，这种不稳定不能用。Gmail估计不会有问题，但是可能被墙，就没试（其实是拿老板手机注册的时候没成功，没成功的原因的老板手机欠费停机，没收到验证短信。o(╯□╰)o）

考虑邮件推送服务。服务器在AWS中国上，AWS有邮件推送服务，但是这个AWS中国貌似还没开发这个功能；搜狐家有SendCloud,注册之后发现要获取免费的额度需要填太多东西，作罢；因为有阿里云的账号，阿里云家配置比较简单，暂时用的阿里云的邮件推送服务，地址：https://www.aliyun.com/product/directmail。实际使用中还是有发送失败的情况，没有说的那么好。

配好之后，我们需要将这些配置加到我们的Sentry实例中。我没有作为 instance 的启动参数，而是直接修改了 sentry.conf.py 文件，直接将配置文件 mount 到 instance 内。相关的部分如下

# email = env('SENTRY_EMAIL_HOST') or (env('SMTP_PORT_25_TCP_ADDR') and 'smtp')
# if email:
#     SENTRY_OPTIONS['mail.backend'] = 'smtp'
#     SENTRY_OPTIONS['mail.host'] = email
#     SENTRY_OPTIONS['mail.password'] = env('SENTRY_EMAIL_PASSWORD') or ''
#     SENTRY_OPTIONS['mail.username'] = env('SENTRY_EMAIL_USER') or ''
#     SENTRY_OPTIONS['mail.port'] = int(env('SENTRY_EMAIL_PORT') or 25)
#     SENTRY_OPTIONS['mail.use-tls'] = Bool(env('SENTRY_EMAIL_USE_TLS', False))
# else:
#     SENTRY_OPTIONS['mail.backend'] = 'dummy'

SENTRY_OPTIONS['mail.backend'] = 'smtp'
SENTRY_OPTIONS['mail.host'] = 'smtpdm.aliyun.com'
SENTRY_OPTIONS['mail.password'] = 'your password'
SENTRY_OPTIONS['mail.username'] = 'your email address'
SENTRY_OPTIONS['mail.port'] = 25
SENTRY_OPTIONS['mail.use-tls'] = False

启动命令如下:

docker run -d -p 80:9000 -v /path/to/sentry.conf.py:/etc/sentry/sentry.conf.py --link sentry-postgres:postgres --link sentry-redis:redis sentry

docker run -d -v /path/to/sentry.conf.py:/etc/sentry/sentry.conf.py --link sentry-postgres:postgres --link sentry-redis:redis sentry run worker

注意：如果只启动 Web，在 Sentry 内的测试发送邮件会成功，但是通知邮件依旧会失败。因为通知邮件是 Worker instance 发送的，不是 Web instance 发送的，邮件配置必须也传到 Worker instance 里面。

关闭注册功能

内部用的系统，不希望开放公开的注册。需要把这个功能 disable 掉。还是改sentry.conf.py文件，添加一行 SENTRY_FEATURES['auth:register'] = False

更多的参数写到 sentry.conf.py

很多参数都是可以直接写到 sentry.conf.py 内的。我把system.secret-key这个也写到文件内，这样 docker run 需要带的参数就大大减少。

Sentry 使用

这个就不多说了。用管理员账号登录之后，自己添加 Project 和 Member，再把 Sentry 的 Track 加到需要监测的项目里面就好。我们项目用的 Django，里面的 raven 配置加上新的链接就可用，非常方便。

展开全文 >>

Congratulations Wings!

Published on 2016 / 08 / 14

天道勤酬，恭喜Wings获得TI6冠军！

一支曾因没有LOL分部而被DACE拒之门外的战队，
一支队服上连赞助商Logo都没有的战队，
一支全队没有一个人开直播的战队，
一支为了梦想坚持到底的战队，
一支创造了奇迹的战队，
一支无敌的战队！
Wings！
来自微信公众号 天辉夜魇

展开全文 >>

CCG 2016

Published on 2016 / 07 / 09

入场

昨晚看小说三点多才睡，但是早上七点钟依旧爬了起来。展会是九点整入场，提前出发是希望入场的时候不要排那么长的队伍，结果到了才发现已经有很多人在排队……

排队的时候和小伙伴们聊天，慢慢的把人凑齐。我其实主要就是想看水濑祈，毕竟就是因为她会来才决定出门看这个展会的，腹黑的上神大人还是很萌的。Harmony Ribbon 绝赞发售中！

门票有两种，很早买的是邮寄的纸质票。近期买的是电子票。电子票得多排一个队兑换纸质票。

EXPO

进入之后领了本小册子，仔细看了下，其实有三个馆（EXPO，MAX和电竞），主要参观的应该是EXPO。

分布图

川原今天有签售，貌似买满200可以抽奖，中了去要签名。要排队这么麻烦的事情我是不会去的，主要还是看看手办。

万代的高达馆，一些模型挺好玩

FATE的痛车

11：30有心欲呐喊主创见面会，水濑祈来了。不让牌照，我很老实的遵守了。正面太多人，我们站在侧面，感觉距离反而进了。真人好可爱，(๑•ᴗ•๑)。

穹妹这个数量限定的手办，一开始没排队，后面想买的时候已经没了。(┬＿┬)

买了两本画册，走之前5个小伙伴买了小圆的5个人，凑成了五色战队。我的小圆明明很可爱，盒子也最大，为什么价格最便宜，不解。

MAX

这个貌似是同人馆，但是没啥好东西买。主要就是等水濑祈一点半的歌，听完就走。此时腿已经很疼了，果然家里最舒服。

这个馆COS挺多的，有个COS成Nico的在拍雷姆，感觉很好玩。话说这个Nico脸有点像空丸啊。

电竞馆

G联赛Dota2的决赛，同福打IG，没其他好玩的东西，拍了张图就走了。今年Ti6中国队加油！

归途

临走拍了一张，发现这个位置过一条街就是上次看Dota2春季特锦标赛的梅赛德斯-奔驰文化中心。

小圆

小圆的浴衣做的很精致啊，为什么这么便宜。(/ □ \)

展开全文 >>

统一社会信用代码

Published on 2016 / 05 / 25

什么是统一社会信用代码

很久很久以前，注册一家公司会有公司营业执照，上面会有营业执照注册号。公司赚钱了，要依法纳税，去税务局又会办理一个税务登记证，上面又有一个编号。
一个人只需要一个公民身份证号码就可以确定了，公司在不同的场合却需要多个证件编号。对企业而言，麻烦，办各种手续都不方便。对管理者而言，监管不便，管理成本高。

我们都知道，统一的标准可以减少成本，提高效率。GOV作为某种意义上的特大企业，也明白这个道理，于是有了三证合一，统一多个编号，使用唯一一个编号。

企业编号决定统一使用一个标准，个人编号已经是一个标准，于是GOV再加了一把劲。怀着为了更好的服务大众，构建信用社会的目标，在现在的基础上，GOV倒腾出了统一社会信用代码制度。

这个企业的身份证号码就是统一社会信用代码，用于替换之前企业各个证件上的编号。和公民身份证号码一样，统一社会信用代码也是18位。

统一社会信用代码的用处

以前，业务上标识一家企业通过公司名称或者营业执照注册号，这些都不稳定。名称可以变，注册编号长度不确定。
以后的新数据可以统一的通过统一社会信用代码标识，这个在稳定性和权威性上都好于以前。

统一社会信用代码编码规则

工商总局在官网上发布了标准文件：法人和其他组织统一社会信用代码编码规则。和身份证编号类似，根据编码规则可以进行一下判断并获取有用的一些信息。我们在审核的时候，可以通过检测编号来判断公司的真假。

下面是我用PHP实现的简单检测函数，管理部门、机构类别、登记地区这些信息还没有充分利用起来，只根据校验码检测。

// 法人和其他组织统一社会信用代码
// 编码规则：http://qyj.saic.gov.cn/wjfb/201509/t20150929_162430.html
public static function unifiedSocialCreditIdentifier($value) {
4// 统一代码由十八位的阿拉伯数字或者大写英文字母（不使用I、O、Z、S、V）组成
4if (!is_string($value)) return false;
4$value = strtoupper($value);
4if (strlen($value) !== 18 || !preg_match('/^[\dA-HJ-NP-RT-UW-Y]{18}$/', $value)) return false;

4// todo 第1位：登记管理部门代码检查
4// todo 第2位：机构类别代码检查
4// todo 第3位～第8位：登记机关行政区划码检查
4if (!is_numeric(substr($value, 2, 6))) return false; // 简单检查，这部分一定是阿拉伯数字
4// todo 第9位～第17位：主体标识码检查
4// 第18位：检验码检查
4$加权因子 = [
441 => 1, 2 => 3, 3 => 9, 4 => 27, 5 => 19, 6 => 26, 7 => 16, 8 => 17, 9 => 20,
4410 => 29, 11 => 25, 12 => 13, 13 => 8, 14 => 24, 15 => 10, 16 => 30, 17 => 28
4];
4$代码字符集 = [
440 => '0', 1 => '1', 2 => '2', 3 => '3', 4 => '4', 5 => '5', 6 => '6', 7 => '7', 8 => '8', 9 => '9',
4410 => 'A', 11 => 'B', 12 => 'C', 13 => 'D', 14 => 'E', 15 => 'F', 16 => 'G', 17 => 'H', 18 => 'J', 19 => 'K',
4420 => 'L', 21 => 'M', 22 => 'N', 23 => 'P', 24 => 'Q', 25 => 'R', 26 => 'T', 27 => 'U', 28 => 'W', 29 => 'X', 30 => 'Y'
4];
4$校验值 = 0;
4for ($i = 0; $i < 17; $i++) {
44foreach ($代码字符集 as $k => $v) {
444if ($value[$i] === $v) break;
44}
44$校验值 += $k * $加权因子[$i + 1];
4}
4$校验值 = 31 - ($校验值 % 31);
4$校验值 = ($校验值 === 31) ? 0 : $校验值; // 校验值为 31 的时候，校验码使用 0 表示
4return $代码字符集[$校验值] === $value[17];
}

展开全文 >>

Ubuntu 16.04 LTS 体验

Published on 2016 / 04 / 27

我的工作系统一直是Ubuntu LTS。21日最新的xenial发布之后，马上安装进行了一些体验。Ubuntu 16.04 LTS的一些主要更新可以看这里。

外观变化

整体外观和上一个LTS相比变化不大。
挂载硬盘的时候弹出标志会显示成一个突出的按钮，个人感觉没有之前好看。
中文字体有变化，感觉更圆润。

必要设置

关闭访客账户和之前介绍的差不多，Ubuntu自己在帮助中心也有说明。
不需要手动在隐私设置中关闭在线搜索，默认已经关闭。文件记录、
发送错误报告还是要自己动手关闭。

软件变化

推荐使用apt来管理软件，代替之前的apt-get。
感觉更新需要连接的源变少了，使用apt update只会出几条日志，比起之前滚屏清爽很多。
大量基础软甲包更新，我比较关心的有Kernel 4.4、Python 3.5、OpenSSH 7.2p2、PHP 7.0、MySQL 5.7、GCC 5.3，这些基础软件都升级到了最新的稳定版。看日志我一开始以为和Arch Linux一样只有默认的Python3了，实际使用发现只有服务器版是这样的，桌面版2和3都有，并且更新到了最新版。
1
2
3
4
➜ ~ python
Python 2.7.11+ (default, Apr 17 2016, 14:00:29)
[GCC 5.3.1 20160413] on linux2
Type "help", "copyright", "credits" or "license" for more information.

➜  ~ python3
Python 3.5.1+ (default, Mar 30 2016, 22:46:26)
[GCC 5.3.1 20160330] on linux
Type "help", "copyright", "credits" or "license" for more information.

依旧预装了Amazon等鸡肋应用。这些可以通过一条命令全部卸载 sudo apt remove unity-webapps-common。
去掉了Ubuntu软件中心，使用了Gnome软件改成的Ubuntu软件。我使用感觉响应很慢，还是习惯直接敲命令行。
支持snap包，最近新闻好像Firefox以后在Ubuntu上就用snap包发行了。这个功能暂时没用上，但感觉挺不错的。

第三方软件

Chrome 可以正常使用，但是他签名使用的是弱密钥，更新会有提示W: http://dl.google.com/linux/chrome/deb/dists/stable/Release.gpg: Signature by key 4CCA1EAF950CEE4AB83976DCA040830F7FAC5991 uses weak digest algorithm (SHA1)。另外，默认设置中文字体显示特别细，需要自己再设置一下。
Atom 我从PPA安装的，正常使用，很方便。
WPS 用的Alpha 20 Patch 2，文件名wps-office_10.1.0.5503-a20p2_amd64.deb，没有问题。
搜狗拼音用的最新的包sogoupinyin_2.0.0.0072_amd64.deb,dpkg -i安装之后还需要apt-get -f install才成功，使用起来没问题。安装包感觉还没做好，以后应该更方便才行。
快盘直接安装，文件可以同步。

其他

zsh、git、htop、tmux、keepass2、openvpn 等常用软件从源里安装都正常。
配置好Java环境之后，PhpStorm和PyCharm正常。
我用来干活的系统已经从14.04 LTS切换到16.04 LTS

展开全文 >>

Apache Kafka Notes

Published on 2016 / 03 / 10

Kafka简介

分布式日志分发系统，可用于消息队列
创建背景
- LinkedIn开发，2011年贡献给Apache基金会
- 使用 Scala 编写
设计目标
- 以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间复杂度的访问性能。
- 高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条以上消息的传输。
- 支持Kafka Server间的消息分区，及分布式消费，同时保证每个Partition内的消息顺序传输。
- 同时支持离线数据处理和实时数据处理。
- Scale out：支持在线水平扩展。
和常用MQ对比
- 吞吐快
与ZooKeeper配合使用

Performance Numbers

Kafka架构

Terminology

Broker
Kafka物理机器节点，一个Kafka集群包含多个Kafka Broker

Topic
消息的类别（逻辑上概念）

Partition
消息存储物理上的概念

Producer
消息生产者

Consumer
消息消费者

Consumer Group
每个Consumer属于一个特定的Consumer Group（可为每个Consumer指定group name，若不指定group name则属于默认的group）

拓扑结构

Topological graph

Kafka通过Zookeeper管理集群配置，选举leader，以及在Consumer Group发生变化时进行rebalance。
Producer使用push模式将消息发布到broker，Consumer使用pull模式从broker订阅并消费消息。

Topic & Partition

Topic在逻辑上可以被认为是一个queue，每条消费都必须指定它的Topic
物理上把Topic分成一个或多个Partition，每个Partition在物理上对应一个文件夹，该文件夹下存储这个Partition的所有消息和索引文件。
消息文件会分成多个segment，每个segment以该segment第一条消息的offset命名并以“.kafka”为后缀。
索引文件标明了每个segment下包含的消息的offset范围，如下图所示。

Segment offset

在一个Partition上，每条消息都是顺序写入，因此在一个Partition上是有时序的。

![Partition Order](https://static.ldsink.com/Apache Kafka Notes - Partition Order.png)

Producer消息路由

通过指定key将消息发送到某个Partition。

Consumer Group

同一Topic的一条消息只能被同一个Consumer Group内的一个Consumer消费，但多个Consumer Group可同时消费这一消息。

Queue

HA

Replica 分配策略

尽量将所有的Partition均匀分配到整个集群上。
Replica分配算法如下：

将所有Broker（假设共n个Broker）和待分配的Partition排序
将第i个Partition分配到第（i mod n）个Broker上
将第i个Partition的第j个Replica分配到第（(i + j) mode n）个Broker上

消息接受

Producer通过ZooKeeper找到Partition的Leader，只将消息发给Leader
Follower从Leader pull数据，在接收到数据后就立马向Leader发送ACK。（一个在性能和持久化上比较好的平衡）
一旦Leader收到了ISR中的所有Replica的ACK，就认为已经commit，Leader将增加HW并且向Producer发送ACK。

对于已经commit的消息，Kafka只能保证它被存于多个Replica的内存中，而不能保证它们被持久化到磁盘中，也就不能完全保证异常发生后该条消息一定能被Consumer消费。但这种场景非常少见

Leader会跟踪与其保持同步的Replica列表，该列表称为ISR（即in-sync Replica）。如果一个Follower宕机，或者落后太多，Leader将把它从ISR中移除。

Leader Election

ISR谁先连接到就是谁

展开全文 >>

MongoDB TTL 索引

Published on 2016 / 02 / 24

MongoDB提供了TTL索引自动从集合中删除过期文档，这个功能在存储日志等一些只需要在固定时间内存储数据的场景下使用起来非常方便。最近用了一下，发现这个功能没有想象中的那么好。

TTL索引的建立很简单，要求是只能在一个field上创建，并且这个field是一个Date类型数据或者是一个包含Date类型数据的Array。
在创建索引的时候只需要多增加一个expireAfterSeconds参数，在field加上这个expireAfterSeconds的时间大于当前时间后，这个文档就会被自动删除。

TTL索引相比一般索引还多了一些合理的限制，比如：

必须是单个字段（field），多字段不支持
_id字段不支持TTL索引
定长集合(Capped Collections)不支持
不能使用createIndex()来改变已有索引的expireAfterSeconds值。可以使用collMod尝试，失败则只能删除并重建索引
当目标字段（field）已有非TTL索引，必须先删除旧的，再重建新的TTL索引。不能建立一个只有这个参数（带有expireAfterSeconds）不同的索引

TTL索引有一般索引的功能，上面的限制大多数情况下能让人接受。但是因为TTL索引的删除机制，想要好好的用它，还需要斟酌。

首先说一下TTL索引的实现方式：
mongod每60s会启动一个后台线程来删除过期文档，这就意味这MongoDB的TTL不同于Redis，是一定有延迟的。
而且这个60s也不是硬性保证的，万一节点压力非常大，过期文档的删除时间会超过60s。
MongoDB只保证文档最后一定会删除，在没有删除之前，即使过了失效时间，文档依旧可以查询。

在副本集的情况下，TTL后台线程只会在主节点删除文档，然后通过主节点把删除操作同步到从节点。但是每个从节点自身也会执行自己的TTL后台线程。
当主节点压力很大，从节点压力小的时候，就会出现过期文档在主节点依旧可以查询，在从节点却已被TTL索引删除的情况。

索引的建立方式也会对这个造成影响。为了避免对读写造成堵塞，我一般会使用background后台建立索引。
当使用background方式建立索引，TTL线程可以在建立索引的过程中删除过期文档。而foreground则要等到索引建立完成才可以开始删除。

TTL Indexes和Capped Collections实现的功能其实有点类似，一个是是限定时间，一个是限定大小，但是TTL Indexes的不确定性大了很多。要使用他们肯定要根据具体的场景，我更倾向于使用确定的Capped Collections。

Reference:

展开全文 >>