百度云刘宁：CDN+ABC，赋能企业发展

ZD至顶网软件频道消息：2017年4月12-13日，2017亚太CDN峰会在北京隆重召开，在13日上午的视频云论坛上，百度系统副总监刘宁作了题为《云智时代的CDN平台》主题报告。

百度系统内部副总监刘宁

用户需求趋向对CDN提出新的需求
用户需求趋向的改变带给了整个CDN行业发展的动力，体现在通信社交、消费需求、个性化以及kill time等已经变成了用户的需求，同时还包括泛信息、泛娱乐。这些用户需求的典型特点是富媒体化，对于视频点播、视频直播包括短视频行业对这些方面有了更多的需求，也给CDN行业提出了很多的要求。

越来越多的用户无论是内部用户还是外部用户，在用户体验方面都提出了非常高的要求，不光是可用性、质量还有更低的成本、技术上更快更好的研发和对接，用户还对云厂商人工智能、大数据的能力提出了相应的要求。

ABC+CDN：云+智+数+CDN合力为企业发展赋能
百度云的CDN平台实际上在推出产品之前也在百度内部打磨了七年多的时间，百度云内部从各个层面上有非常多的经验和技术积累，比如说网络层，在多级CDN的覆盖、多线的源站、BGP的源站及非常多的小运营商peer等等;在软件层面比如流量的调度、GSLB、4 7层负载均衡以及热点的负载均衡、缓存系统的优化、AI、黄反识别、视频标签等都有非常丰富的经验。通过监控平台可以实时发现百度云上出现了什么问题，及时做调度。百度云的配置管理方便用户快速做配置变更，在基础服务层面包括文件上传、内容刷新、推流、转码以及数据的分析；同时在解决方案上，百度云给用户提供了相对比较全面的解决方案，比如存储的分发、大文件的分发、小文件分发、视频的解决方案等等。

百度的CDN平台以及百度云通过借助百度的AI和BIG DATA可以给用户提供更高的价值。
     
精细打磨CDN产品能力，提供高品质CDN服务
高品质的CDN平台通常要满足三点要素：首先是可用性，再者要求更高的性能，并且要求更好的用户体验。百度的CDN平台在内部一直承载着搜索业务、图片业务以及网盘类型的业务，即能满足搜索类型业务极其严格的可以性和质量要求，也能满足网盘对存储容量和承载能力的严格要求。

在稳定性方面，百度在做CDN节点选择的时候会做非常严格的节点准入。实际上在运营商不同层级的节点上CDN质量差别非常大，而且即便是一个层级上的节点，还是有很大差别。百度还建立了全国质量感知网络，通过建设全国监控网，通过不同的维度监控业务问题，比如服务端、客户端、第三方监测等等。每天通过千亿级PV在服务器后端发现问题，也可以通过百度做业务打点进行错误检测。通过这样的方式可以比较实时发现问题在哪儿然后做及时的调度切换。

CDN是一个重度依赖硬盘和SSD的服务，对硬盘健康性的把握直接影响CDN的服务质量和可用性。一个CDN节点，当服务器越少的时候，一块硬盘出现质量问题如果没有及时发现，所导致影响就越大，很可能造成一个节点百分之零点几的可用性影响，这对一个超过4个9可用性的cdn平台是不可接受的。百度云刘宁总监介绍道：百度采用监控故障扇区、磁头马达等硬件错误、设备报错、设备文件不可访问、进程D状态、盘符缺失、SmartFail等数据，运用GBDT(Gradient Boosting Decision Tree)、SVM等算法 + 神经网络构建故障预测模型，不仅可以做到故障不漏发现，还可提前48小时预测故障，准确率>90%，一旦预测到磁盘故障将要发生，会提前迁移盘上的热点数据，同时提前剔除故障磁盘，并自动报修。

在性能方面，一方面从网络以及节点的布局设计上考虑，在运营商骨干节点上建立了大量的超级节点，单个节点存储超级结点可以达到3个P的存储，有助于缓存持久化。同时单个节点带宽达到160G或者更高的级别的时候就可以应对云时代业务中很多突发、攻击，应对较为复杂的情况。这样的结构超级节点加上更广泛覆盖的边缘节点，可以提升命中率。另外还在自研的负载均衡、DNS、自研交换机上做了大量的优化工作，百度在负载均衡上基于DBDK开发了40G单机能力的负载均衡，它可以帮助百度很容易设计建设一些超级节点。

在速度优化方面，百度云做了非常多调优。一方面是通过节点的覆盖，通过精准的CDN角度302调度，同时在算法上做了大量工作。尤其在协议栈的优化上，在去年一年就线上迭代了近100个版本，使得协议栈的拥塞算法的性能大幅超过标准cubic以及google BBR在internet上的表现。

百度云的独特优势在于以下几点：1、质量感知：百度用户基数大、使用密集、质量数据实时、细腻，基于访问质量的自动实时调度。2、大数据：服务器故障大数据，硬盘故障预测并自动踢出，杜绝带病运行。3、骨干节点：运营商骨干节点数100+，边缘节点200+，三级节点缓存，4、BGP接入：BGP接入超过30家运营商。5、节点测试：严格的节点准入测试。

百度云在做各方面技术的打磨、产品的打磨的时候，更多是希望给用户提供更好的产品和解决方案以及更好的性能。

百度云的解决方案
1、安全解决方案

演讲中，刘宁跟大家分享了几个百度的解决方案。整个中国的互联网劫持非常严重，通常业务可以达到1%以上的劫持率，所以搜索业务前几年就开始做全站的切换，百度在很早就开始做全站的HTTPS的切换。在这个过程中，一方面SRE团队做了SSL接入层面优化，另一方面百度也开发了SSL offload异步集群，通过硬件加速的集群降低性能开销，最终达到了理想的效果。百度能够提供证书托管服务业、Keyless的https服务，同时也提供客户httpDNS服务解决在DNS请求方面的劫持。

2、存储分发方案

百度在提供CDN分发的同时也提供了很完整的存储分发解决方案。百度的存储分发解决方案是基于网盘近些年产品的积累和技术的打磨，百度网盘实际上是为解决过亿用户千PB的存储问题。百度云的存储方案给用户提供数据的上传、备份、存储和处理的工作，用户可以简单的开启其数据分发同时进行智能数据分级，大规模降低用户存储的成本。

3、P2P加速解决方案

P2P加速解决方案能够节约30%带宽费用，降低企业成本。体验：用户体验好，卡顿比小于5%，首画面时间小于1s;SDK：支持多平台的SDK，资源占用少，丰富的控制接口;分享率：全天分享率大于35%，热门文件的分享率达到80%以上;成本：降低30%以上。

4、视频解决方案

百度的视频云解决方案既提供基础视频云服务，也提供基于百度深度学习算法、百度大脑AI的能力，同时提供百度大数据支撑也帮助客户建设视频索引系统、视频搜索系统。百度的视频基础云是基于百度自研的视频点播VOD及视频直播系统研发的，百度在视频点播、直播上做了大量优化工作，从推流、拖流到源站，整个链路上没有采用开源的方案，而是采取百度自己的私有协议做了大量的优化工作。百度视频直播云在1-3毫秒延时的情况下可以提供3%以内的卡顿率。百度的视频点播云一方面为客户提供视频播放、视频分发网络、转码以及存储，另一方面直播平台也给用户提供单向的LSS直播以及双向的互动直播，还可以做直播录制。

百度的视频基础云背靠百度AI和大数据，致力于给用户提供精准的内容理解。百度在内容审核方面可以给用户提供非常高准召率的色恐的审核，包括人物的审核，政治敏感度人物的审核，版权审核、播控审核、智能缩略图、字幕的生成等等。，利用视频AI提供的视频结构化标签，结合百度视频大数据的能力可以帮助用户快速构建起视频推荐系统以及视频内容的索引系统。如果用户没有很好的用户画像，百度大数据也会为其提供用户画像的冷启动，从而快速构建他的视频推荐系统，建设用户视频模型及视频特征模型。

关于在内容生产方面百度可以帮用户做什么，刘宁答道一方面是用户的生产辅助，比如长精彩片段的提取、字幕的辅助生成，百度视频结构化标签的准召率非常高，通常的结构化标注范围比较少、标签的维度也比较少，但是用百度的AI则可以做到非常丰富的标签。
在视频流量方面，百度竭力帮助用户解决两个关键的问题：一个人找视频的场景，另一个是视频找人的场景。人找视频场景通常是广电侧的场景，可以结合视频的输出和百度搜索帮助用户快速构建起站内搜索能力；视频的推荐主要侧重于UGC的场景，在视频内容模型和用户行为上帮助用户快速构建起站内更为精准的推荐。

用户还可以结合百度的百家号和百度视频提供更好的内容的曝光。在营销方面可以帮助UP主以及内容生产方快速建立起来粉丝和舆情管理、用户画像。比如一个UP主肯定非常想关注到他所有的粉丝是什么样的年龄群体、年龄段，什么样的职业背景、什么样的家庭背景，更喜欢什么方面的内容，这样才有助于指导UP主生产内容。在视频流量变现方面，一方面百度云可以帮助用户快速搭建广告平台，另一方面也可以通过视频DSP、联盟视频广告快速帮助用户实现变现。