降低 CDN 付费 HTTPS 流量消耗实践总结

2018-08-1811:14:11 36 3,684
摘要

至此, CDN 流量损耗终于算是“止损”成功了,再次压缩了 CDN 成本的支出!如果你跟明月一样碰到了 CDN 流量损耗过快的问题,建议根据今天明月分享的这个思路调整一下即可,当然明月这个是基于又拍云 CDN 的,如果是其它 CDN 的话只能是根据实际情况来想办法了,其实明月最后还是要给大家再次推荐一下又拍云 CDN ,虽然是付费的 CDN ,但是运用好了其实是花不了多少钱的,不要犹豫了,快来注册激活吧:又拍云 CDN 。

从明月下定决心开始使用又拍云 CDN 的时候,就有一个问题困扰着我,那就是 CDN 流量消耗是越来越大,最夸张的时候一天流量消耗达到了惊人的 2G 多了,这对于 HTTPS 付费流量来说成本不低呀!这样每天的流量就意味着白花花的银子在流出,而实际来看网站本身的 IP 和 PV 都没有啥大的波动变化,这也说明 CDN 流量存在比较严重的“损耗”。

通过分析 Nginx 的站点日志文件发现每天有很多稀奇古怪的蜘蛛爬虫来访,并且来访量都不小,动辄几百 MB,天天都来风雨无阻呀都是!为此还夸张的屏蔽了所有海外 IP 的访问,虽然流量是降下来了但是谷歌也无法抓取网站了,甚至谷歌 AdSense 广告都不能正常的投放了,最后只能是放弃了这个方法。还是果断在 CDN 的“User-Agent 防盗链”里屏蔽这些垃圾爬虫的抓取和访问:

降低 CDN 付费 HTTPS 流量消耗实践总结

现在每天的日志里来访的爬虫看起来顺眼了很多:

降低 CDN 付费 HTTPS 流量消耗实践总结

至少看着都“正常”了很多嘛!

可惜这样观察了一周多,流量的消耗依然没有多大的改观,看来垃圾爬虫不是主要的原因,继续排查中……。

为了降低 CDN 流量消耗,明月还在 CDN 里启用了“源站资源迁移”,这是又拍云 CDN 都有的,有点儿类似七牛云但又有一些区别,又拍云官方的介绍是“可将源站静态资源无缝迁移到又拍云存储,当客户端下次访问相同的资源时,无需回用户自主源。”,七牛云是通过水煮鱼的插件来实现这个功能的,又拍云是直接在 CDN 抓取的时候同步这些源站资源的,这点儿我感觉是本质上的一个区别,看来又拍云做的更加智能化,用户只需要创建好云存储空间启用这个功能即可,一切都是自动智能完成的。

降低 CDN 付费 HTTPS 流量消耗实践总结 降低 CDN 付费 HTTPS 流量消耗实践总结

目前 imydl.tech 和 imydl.com 的源站资源迁移都开启了

为了保险期间同样的在上述两个“云存储空间”里也配置了跟 CDN 一样的“User-Agent 防盗链”,这里要说明一下,“云存储空间”几乎提供了跟 CDN 一样的配置后台,基本上 CDN 需要配置的“云存储空间”里也可以配置,甚至给云存储空间绑定特有的域名都可以(明月不建议大家用这个,涉及到修改源站的静态资源链接,感觉是没有必要的)大家有空可以研究一下。

在又拍云 CDN 支持了“最低 TLS 版本功能”和“智能压缩功能”后(可参考【又拍云 CDN 又增添两大给力功能支持』一文),明月第一时间都开启了(又拍云 CDN 和“云存储空间”都开启了支持),在服务器端也对最低 TLS 版本限定到 TLSv1.2,至今也有 10 多天了,终于看到了一点儿效果:

降低 CDN 付费 HTTPS 流量消耗实践总结 降低 CDN 付费 HTTPS 流量消耗实践总结

上图分别是 imydl.com 和 imydl.tech 两个站点 Nginx 日志文件统计的流量(昨天)

降低 CDN 付费 HTTPS 流量消耗实践总结

又拍云 CDN 里统计的两个站点的流量消耗

可能大家看图有点儿懵圈,我给大家解析一下,以 imydl.com 为例:Nginx 里的流量消耗是1.52GB,又拍云 CDN 里流量消耗是862MB。而 imydl.tech:Nginx 里的流量消耗是864MB,又拍云 CDN 里流量消耗是615MB。也就是说 CDN 层面的流量消耗终于算是下降下来了,最高下降比高达 56%。

至此, CDN 流量损耗终于算是“止损”成功了,再次压缩了 CDN 成本的支出!如果你跟明月一样碰到了 CDN 流量损耗过快的问题,建议根据今天明月分享的这个思路调整一下即可,当然明月这个是基于又拍云 CDN 的,如果是其它 CDN 的话只能是根据实际情况来想办法了,其实明月最后还是要给大家再次推荐一下又拍云 CDN ,虽然是付费的 CDN ,但是运用好了其实是花不了多少钱的,不要犹豫了,快来注册激活吧:又拍云 CDN

历史文章推荐:

  • 本博客公众号
  • 扫一扫关注!
  • weinxin
  • 本博客小程序
  • 微信内浏览本博客
  • weinxin

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

目前评论:36   其中:访客  18   博主  18

    • sop sop 0

      博主,
      您好。
      之前看又拍云花瓣网的案例, 说使用了 WEBP 格式的图片, 节省了 40%的
      流量。 不过这个格式极少接触, 除了不好编辑, 不知道还有没有其他暗伤。

      Sop

        • 明月登楼 明月登楼 Admin

          @sop 暗伤?不明白啥意思!WEBP 格式是谷歌推出的一种图片压缩格式而已,主要就是为了提升网页端载入速度的优化,实在不明白所谓的“暗伤”能有啥?目前Chrome、Firefox等主流浏览器都已经完美的支持WEBP 格式图片了!反正我是没有发现有啥“伤”?

        • ets2mods ets2mods 1

          大哥,腾讯云不支持这样的防盗链设置吧

            • 明月登楼 明月登楼 Admin

              @ets2mods 大同小异而已,最多方式不同!肯定有防盗链设置支持的!

                • ets2mods ets2mods 1

                  @明月登楼 腾讯云的是http referer 这个好像只能设置网址,或者ip的,不能设置爬虫屏蔽之类的,我试了下不行的

                    • 明月登楼 明月登楼 Admin

                      @ets2mods 这个事儿问我没有用呀,给腾讯云客服提交工单!

                        • ets2mods ets2mods 1

                          @明月登楼 好吧(╯▽╰)

                  • 鱼小黑 鱼小黑 1

                    很赞!对于使用有拍云的用户来说很有用!
                    上个月我网站被人CC 攻击了,腾讯云1h1g1m 果然一打就死,不过还在流量没消耗多少,之前没有开启CC防护,现在开了也不知道有没有啥用,大佬有没有关于防CC/DD 的教程、经验?

                      • 明月登楼 明月登楼 Admin

                        @鱼小黑 呵呵,建议试试360网站卫士

                          • qq昵称 qq昵称 7

                            @明月登楼 360网站卫士已经不行了,DNS崩溃好多天了!

                              • 明月登楼 明月登楼 Admin

                                @qq昵称 哦,是嘛!

                                • 明月登楼 明月登楼 Admin

                                  @qq昵称 真实可惜了!360网站卫士是个不错的WAF外壳的!

                                    • qq昵称 qq昵称 7

                                      @明月登楼 大约1个月前,我用360网站卫士时就出问题了,网页空白显示360wz404,几天后无奈换成百度云加速。最近半个月以来,360DNS一直处以崩溃状态,官方群一直有人抱怨!!!!

                                      • 明月登楼 明月登楼 Admin

                                        @qq昵称 是的,我也发现了!很不稳定!

                                • 闲鱼 闲鱼 6

                                  又拍云确实不错,客服都很好,之前被又拍云的默认缓存坑了一下 :mrgreen:

                                    • 明月登楼 明月登楼 Admin

                                      @闲鱼 哈哈,又拍云需要很强的动手能力和思考能力的!

                                    • 缙哥哥 缙哥哥 5

                                      每天五六个G,也不管他,反正360免费。

                                      • 时光在路上 时光在路上 4

                                        我也遇到过类似的情况,不过我分析自己的博客发现了问题主要是因为一些ip或ip段在不断扫描网站所致,并不是正常蜘蛛抓取。这些不知道哪里来的ip每天抓取大量的后缀名为php、zip、gz、rar、md5、bak 、asp和文件夹为 /data/、/plus/、/uc_server/ 和一些带奇怪查询字符串的链接。由于这些链接都不存在,所以导致404的出现,404页面在 wordpress中大部分是由自带主题通过wordpress程序生成的动态页面,导致CDN不断回源到动态404页面,从而流量大增。后来我禁止了一些国外的ip,像是南美洲的、、东南亚和南亚、东欧的一些国家IP,禁止了一些与自己没任何关系的海外蜘蛛抓取。现在看来,流量已经减少了原来的一半多。

                                          • 明月登楼 明月登楼 Admin

                                            @时光在路上 你这种其实是一种要XSS注入扫描,一般带WAF的 CDN 就可以低于屏蔽掉了!屏蔽IP其实是个最后没办法的办法!

                                              • 时光在路上 时光在路上 4

                                                @明月登楼 其实可以这么想,想想正态分布,如果某些有用的IP集中在百分之九十多的置信区间,其他区间可以完全屏蔽了,因为它不仅鸡肋,还可能带来更多风险和麻烦。

                                              • 时光在路上 时光在路上 4

                                                @时光在路上 这些ip或是其他关键字、字符串的设置是从源站服务器上禁止的,因为毕竟动态页面要回源的,所以正好利用这一点,直接禁止, connection abort设置,让其连connect都进行不了,一点流量也不能走。

                                                另外禁止某些查询字符串(源站服务器端)、某些URL关键字(源站服务器端)和一些带特定特征字符串的UA(服务器端)—— 这些都要在源站服务器端设置,不要通过php设置,那样的话运行博客系统会走流量。

                                                  • 明月登楼 明月登楼 Admin

                                                    @时光在路上 我的源站服务器上也启用了lua_waf防火墙,最多是做了日志统计记录, CDN 是限制UA特别是PHP和python这类UA基本上就可以阻挡这些骚扰扫描了!

                                                • haha haha 2

                                                  明月大佬,你们的支持https的云加速多少钱一年啊,百度的是一千多啊,还有就是发现你的小程序不错,能不能教下我 ,我可以付费学习。

                                                    • 明月登楼 明月登楼 Admin

                                                      @haha 我用的是又拍云,不是按年收费的,是按照流量收费的!这个没法算,但肯定低于百度云加速的年费的!

                                                      • 明月登楼 明月登楼 Admin

                                                        @haha 小程序这个其实很简单,你到小程序官网上看看官方的教程在源代码里修改成自己的网站和名称这些就可以了!

                                                        • 神奇钥匙 神奇钥匙 6

                                                          @haha 百度的我是找的代理商 500元多一点

                                                        • 神奇钥匙 神奇钥匙 6

                                                          哎呦 相关广告不错呦

                                                          • boke112导航 boke112导航 9

                                                            我就在nginx和又拍云上分别禁止垃圾蜘蛛爬行,感觉还不错。不过我的静态资源都是直接用云盾,站点用又拍云,这样便宜很多很多。