科技行者

行者学院 转型私董会 科技行者专题报道 网红大战科技行者

知识库

知识库 安全导航

至顶网软件频道产业观察独家解读化繁为简的百度云计算

独家解读化繁为简的百度云计算

  • 扫一扫
    分享文章到微信

  • 扫一扫
    关注官方公众号
    至顶头条

为支撑庞大业务体系,百度构建庞大的云基础架构。由于此前支撑如此庞大业务需求的互联网服务几乎不存在,业界没有什么可借鉴的设计,百度自己慢慢摸索这其中的最优道路,早在云计算概念抛出之前,百度已经朝着云的道路在前进,而现在他们的努力和云不谋而合。

来源:ZDNet软件频道 2014年11月5日

关键字:

  • 评论
  • 分享微博
  • 分享邮件

ZDNet至顶网软件频道消息: 有一些问题,看上去很简单,实际上很多人却答不上来,比如说:夜空为什么是黑的?(不要试图回答:因为没有太阳……)

另一个看似简单的问题来自于我们访问百度的操作。打开百度,键入几个字符,然后搜索出想要的结果。这似乎是一件非常轻松简单的事情,但是,换个角度再来想想,在你进行这样轻松操作的同时,有不计其数的用户也在同时进行类似的操作。对于百度来说,这样的访问需求有如洪水般袭来,源源不断,而你要知道,网页搜索仅仅只是百度的一项业务而已……

我们谈到BAT时,往往会强调,阿里的特点是交易,腾讯的特点是社交,而百度的特点是流量、数据,面对如此庞大的流量冲击,你难道不会很讶异:他们如此之多的产品线,而且是如此之多用户过亿的产品线竟然运转的毫无压力。

那么,问题来了:究竟百度是怎么做到的?

答案就是云计算。

百度云计算的基础架构
为了支撑庞大的业务体系,百度构建了庞大的云基础架构。由于此前,支撑如此庞大业务需求的互联网服务几乎不存在,业界也没有什么可以借鉴的设计,百度自己慢慢摸索这其中的最优道路,早在云计算概念抛出之前,百度已经朝着云的道路在前进,而现在,他们的努力和云不谋而合,已经呈现出很强的竞争力。

百度的云基础架构可以分为几层,最底层是数据中心IDC层,这部分可以看做是物理硬件层;其上是IaaS层,这一层涵盖各类基础设施,包括最为核心的集群操作系统;在往上是PaaS层,各类业务可以快速的通过平台租用各类资源;再往上则是SaaS,业务可以直接申请调用服务。

独家解读化繁为简的百度云计算
 
绿色高效的数据中心
百度在国内拥有数十个数据中心,服务器规模达到数十万台,还架设了遍布全国的CDN分发网络,可同时支持动态和静态的全方位加速。

数据中心的能耗问题是全球产业界都非常关注的问题,而在一个标准的数据中心中,大量的能源并不是消耗在计算上,而是消耗在制冷环节。为了响应国家节能减排的号召,百度还在构建低功耗数据中心上投入了大量精力,比如自主研发的高温耐腐服务器可大幅降低数据中心散热、制冷上的能源消耗,降低大气碳排放,为中国的大气环境做出一份贡献。

灵活的资源调配
坐拥如此庞大的资源,如果没有自动化、智能化的调配系统,是难以想象的。为此,百度在硬件层之上构筑了IaaS层,以解决资源调配的问题。百度云计算的IaaS层有几个部分组成,主要包括集群操作系统、分布式计算、云存储、云数据库、CDN、负载均衡等。

这里的核心就是集群操作系统。传统模式下,企业的业务直接构筑在物理机上,这种模式的缺陷非常突出:第一,运维人员需求数量庞大;第二,一旦故障出现时,维护非常繁琐,很大可能会影响到业务连续性;第三,系统可扩展性和可迁移能力极弱。

集群操作系统主要就是解决这个问题。通过这个系统,百度可以将异构的基础硬件形成统一的资源池,各个业务部门的各种不同应用平滑的接入到资源池中,按需分配和调用,当故障出现时,也可以轻松迁移和调度。这样的模式解决了百度资源统一管理,按需申请的问题。

百度高级总监刘炀向我们分享了一个很形象的例子,相信很多运维人员深有体会:“在服务器上,机械硬盘是为数不多的机械设备,相比于电子设备,它的故障率非常高。当数据中心规模较小时,这个问题并不突出,但百度IDC中,由于服务器数量庞大,机械硬盘数量堪称海量,故障硬盘的量也对应提升。传统方法下,当运维人员接到报警,可能需要手工备份,再设法寻找没有故障的机器还原,有时候甚至要到处去借机器,业务延续也在一定程度受到影响。但现在,百度与合作伙伴一起打造了硬盘故障检测系统,系统智能化的对硬盘进行监测和预测,一旦预估到风险,就通过集群操作系统将业务调度到其他机器上,原硬盘通过修复程序之后,再次送回资源池。”这个小小的应用,我们可以看到集群操作系统给百度业务带来的便利性。

独家解读化繁为简的百度云计算
 
对于需要高性能计算的应用需求,百度还自主研发了大规模的分布式计算作为支撑。可应用在高吞吐离线计算平台、大规模机器学习平台和实时流式计算平台上。

云存储则是百度根据自身应用的特性,打造的极富特色的存储体系。包含三种不同的云存储系统:分布式文件系统、分布式表格系统和分布式对象存储系统。

在IaaS层面,云数据库自然也是不可或缺的。百度以MySQL为基础自主研发了云数据库平台,实际运用中,可用性达到99.999%。

CDN和负载均衡部分同样也为高流量、大数据做了很好的支撑。

IaaS的存在很好的解答了本文开头的问题,正式因为这种近乎于无线的资源池作为支撑,百度的各项业务可以无视物理硬件环境差异,也无视发生在数据中心中的硬盘故障、风扇故障等状况,保持业务的连续性。

开放出来的云
独乐乐不如众乐乐,为了与整个生态携手发展,共同释放互联网的能量,百度在私有云之外,还为业界提供了开放云服务,在一个平台上实现了两朵云。开放云将结合直达号、搜索、网盟站长等百度生态,为企业客户提供更好的技术平台服务。

刘炀认为,通过百度开放云,行业用户可以获得高性能、高可扩展性和安全可靠的云服务,行业用户可以通过百度开放云,简易、快速的获取计算、存储、数据库、分析等等各类公有云服务。

百度云计算的大应用
一个简单的问题,一些简单的操作,但在后端,有着庞大的体系作为支撑。百度云计算作为一个支撑平台,扮演着重要的角色。

回到本文最开始的问题:夜空为什么是黑的?答案百度一下,也许你就知道了。

    • 评论
    • 分享微博
    • 分享邮件
    邮件订阅

    如果您非常迫切的想了解IT领域最新产品与技术信息,那么订阅至顶网技术邮件将是您的最佳途径之一。

    重磅专题
    往期文章
    最新文章