Django collectstatic 改造

Published on 2018 / 04 / 14

Collect Static 执行的原理

Django默认使用staticfiles这个app来将整个项目下的静态文件收集到一个目录。主要用到了两个参数：

项目相关的静态文件，按照默认的配置会收集到STATIC_ROOT目录。
模板文件中，使用{% static "path/to/static/file "%}方式引入的项目静态资源，会根据STATIC_URL替换成目标值。

这一层需要注意的一个点是，全部独立APP下面的static都对应到STATIC_ROOT这一层。所以按照文档的建议，每个单独的APP下面的static目录最好也带上app名称。
直观的例子：

mysite/
    manage.py
    mysite/
        __init__.py
        settings.py
        urls.py
        wsgi.py
    appa/
        static/
            a.jpg
    appb/
        static/
            a.jpg

appa和appb下面有共同的a.jpg，都会收集到STATIC_ROOT下面。某一个项目的a.jpg会覆盖掉另一个项目的，造成问题。
正确的做法是：

mysite/
    manage.py
    mysite/
        __init__.py
        settings.py
        urls.py
        wsgi.py
    appa/
        static/
            appa/
                a.jpg
    appb/
        static/
            appb/
                a.jpg

在每个app下的static目录下，相关资源放到以当前app命名的文件夹，能避免碰到同名文件覆盖的问题。

Hash 和自动上传云存储兼得

默认的方式存在两个问题

修改文件内容，链接不会变更，CDN/浏览器等各层会有文件缓存，新内容不会生效。
需要手动/写脚本把STATIC_ROOT目录的资源上传到CDN。

这两个问题，都有单独的解决方案。使用STATICFILES_STORAGE。
默认的STATICFILES_STORAGE使用的系统的文件存储，会将文件放置到STATIC_ROOT目录，使用不同的STATICFILES_STORAGE可以实现更多丰富的功能。

Hash 静态文件

ManifestStaticFilesStorage是Django自带的hash静态资源的工具。
一个关联的静态资源，会由

1	@import url("../admin/css/base.css");

会变成

1	@import url("../admin/css/base.27e20196a850.css");

自动上传到CDN

自动上传到各种CDN的本质，就是将对象存储的Bucket作为静态文件的FileStorage。
Django框架下有django-storages和django-s3-storage。
这两个库做的事情都是将静态资源文件上传到对象存储的Bucket。现在国内的提供对象存储的云服务商的接口，大部分都兼容事实上的行业标准AWS S3的接口，修改endpoint_url之后都能使用。

Hash 和自动上传兼得

两种FileStorage各自只实现了一种功能，怎么同时实现两个需求呢。Hash这个功能比较麻烦，尽量复用现有的。那就需要将上传整合进现有的模块。
落到处理静态资源的命令collectstatic上。
处理完静态资源文件之后，会调用post_process。
查看ManifestStaticFilesStorage对应的函数，涉及到两个函数read_manifest和save_manifest。
问题就简单了，利用Django自带的ManifestStaticFilesStorage生成好带Hash的静态文件，再修改这个方法，自动根据文件列表上传到CDN。
Django 启动的时候会根据read_manifest读取manifest.json，根据他的结果渲染页面。这个函数使用到正确的manifest.json文件就能保证链接的是正确的静态文件。

自定义的FileStorage代码如下：

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
import logging
import mimetypes

import boto3
import requests
from django.conf import settings
from django.contrib.staticfiles.storage import ManifestStaticFilesStorage

logger = logging.getLogger(__name__)
logger.setLevel(logging.INFO)


class MyManifestStaticFilesStorage(ManifestStaticFilesStorage):
    def read_manifest(self):
        try:
            url = 'https://cdn.domain/staticfiles/staticfiles.{}.json'
            url = url.format(settings.STATICFILES_VERSION)
            response = requests.get(url)
            return response.text
        except Exception:
            return None

    def save_manifest(self):
        r = super(MyManifestStaticFilesStorage, self).save_manifest()

        # upload static file to S3
        s3 = boto3.client(
            's3',
            aws_access_key_id=settings.AWS_ACCESS_KEY_ID,
            aws_secret_access_key=settings.AWS_SECRET_ACCESS_KEY,
            endpoint_url=settings.AWS_S3_ENDPOINT_URL,
        )
        for hashed_file in self.hashed_files.values():
            with self._open(hashed_file) as file:
                mime_type, _ = mimetypes.guess_type(hashed_file)
                try:
                    s3.head_object(Bucket=settings.STATICFILES_BUCKET, Key=hashed_file)
                    logger.info('Skipped uploading \'{}\''.format(hashed_file))
                except Exception:
                    logger.info('Uploading \'{}\' to S3'.format(hashed_file))
                    extra_args = {
                        'ACL': 'public-read',
                    }
                    if mime_type:
                        extra_args['ContentType'] = mime_type
                    s3.upload_fileobj(file, settings.STATICFILES_BUCKET, hashed_file, ExtraArgs=extra_args)

        # upload manifest file to S3
        manifest_file_name = 'staticfiles.json'
        manifest_hashed_file_name = self.hashed_name(manifest_file_name)
        with self._open(manifest_file_name) as file:
            target = 'staticfiles/{}'.format(manifest_hashed_file_name)
            try:
                s3.head_object(Bucket=settings.STATICFILES_BUCKET, Key=target)
                logger.info('Skipped uploading \'{}\''.format(manifest_hashed_file_name))
            except Exception:
                s3.upload_fileobj(file, settings.STATICFILES_BUCKET, target, ExtraArgs={
                    'ACL': 'public-read', 'ContentType': 'application/json',
                })
                logger.info('Uploading manifest hashed file \'{}\' to S3'.format(manifest_hashed_file_name))
            logger.info('{}'.format(manifest_hashed_file_name.split('.')[1]))

        return r

我还是通过配置文件的STATICFILES_VERSION来决定使用的静态资源的版本。但是其他的一系列操作（Hash、Upload）都自动完成。

以后的改造计划

压缩 js、css 文件
压缩图片
自动使用最新版本的STATICFILES_VERSION（比如通过一个接口获取、使用当前 git head 之类)