至顶网软件频道消息: 谈到大数据,对技术有点了解的人很容易想到Hadoop。的确,尽管Hadoop只是一个对数据进行存储和分析处理的平台,但仍有不少人把Hadoop和大数据对等起来。实际上,Hadoop的确在很大程度上扮演着大数据代言人的角色,它应用的广度和深度也基本反映了大数据市场的繁荣程度。
从有Hadoop之父之称的Doug Cutting推出Hadoop算起,这个分布式大规模数据处理平台面市已经超过10年历史。这些年来,Hadoop自身在不断进步,市场上也诞生了一批像Cloudera、MapR、Hortonworks这样专门提供Hadoop相关服务的厂商,对大数据市场的繁荣起到了重要作用。不过,在日前接受至顶网记者采访时,Doug Cutting表示,无论是Hadoop的使用还是大数据的应用目前仍处于早期,这个市场还大有潜力。
今天的Hadoop可谓大名鼎鼎,但和众多开源软件开发人员一样,Doug Cutting开发Hadoop的目的非常简单,只是为了完成当时的一个项目。今天的“火”是Hadoop的创始人、Cloudera首席架构师Doug Cutting当初未曾预料到的。
“当时,我正在做一个名为Nutch的项目。希望采用开源的方式去创建出一种网络搜索的引擎,要求具有可扩展性、可收缩性的数据存储和处理能力。由于之前,我们看到了来自于Google的几篇论文,其中的想法和我的想法是完全一致的,所以我就把Google论文中的想法放到了Nutch项目当中来实施了,这就是今天的Hadoop。”Doug Cutting在接受记者采访时表示。
Doug Cutting说,他根本没有想到Hadoop今天会有如此之广的用途,当初想到的也仅仅就是用于搜索引擎和网站的创建上,看到Hadoop有今天如此广泛应用,他感觉到非常惊喜。
当然,其中最让Doug Cutting兴奋的还是Hadoop的生态。严格说来,今天的Hadoop已经不是一个开源项目,而是一个围绕着Hadoop形成的一组项目以及基于各个项目之上的大生态系统。比如,Hadoop项目就从最初的HDFS、HBase、MapReduce等不多的项目扩展到包括Spark在内的众多开源项目的集合,展示出强大的包容能力。而在生态上,围绕Hadoop已经形成了由Cloudera等Hadoop服务商、各种相关工具提供商、IaaS云平台供应商等众多合作伙伴组成的大生态。
毫无疑问,繁荣的Hadoop生态也正是Hadoop能走进今天的并且继续发展的主要原因。以Spark为例,曾经不少人认为Spark可能替换Hadoop,而实际上我们看到Hadoop的大生态让Spark很快融入起来,相互成为补充而不是对手。除了Spark之外,还有一些开源软件也与Hadoop社区有互动。比如kudu和Kafka。前者是一个非常强大的存储引擎,它既具备了类似Hbase的随机访问能力,同时又有HDFS快速查询能力;而Kafka有很强的实时应用支持能力和流处理能力。目前,Cloudera已经把这两个技术集成到Hadoop平台当中了。
Doug Cutting特别强调,在开源世界竞争的逻辑是不一样的,开源软件之间不是完全的竞争关系。因为没有哪个公司完全拥有开源技术,每当开源技术有了新的进展,开源群体的每一分子都会受益于其中。
“如果在有一些领域出现了新的技术,在某些方面会优于Hadoop,那Cloudera也会毫无犹豫地去接纳这样的技术,把它放到我们的解决方案当中去交付给客户。”他说。
AI是当今市场的一个热门话题,其今天的热度甚至超过了大数据。对此,Doug Cutting认为,AI对Hadoop是非常有利的,AI市场的繁荣也有利于Hadoop的普及。
“我觉得Hadoop和AI之间是非常适合、非常匹配的。因为AI本身就是一种大数据的应用。特别是在对于AI系统进行训练的时候,使用的数据越多,AI系统就越可能成功。”Doug Cutting介绍说,Google不久前发表了一篇关于应用AI进行图象识别的论文,最终结论也是对数十亿级的图片的人工智能系统还是进行训练使用的数据量越大,人工智能系统的质量就越高。
当然,Doug Cutting认为,推动Hadoop普及的不仅是AI,包括IoT、云等都对Hadoop的未来发展具有非常重要的作用,特别是云计算,将很大程度上影响Hadoop的交付。
目前,受限于网络条件和数据保密、合规等方面的原因,私有的、基于物理机的Hadoop模式依然是主流,云模式还是小众。比如,Cloudera的客户中云交付的不超过15%,但是Doug Cutting认为,这个数据肯定还会增长,预计会到40%-60%。
“本地安装运行Hadoop的形式来使用,往往要建一个很大的集群来支持各种不同的应用,并且拥有一个统一的数据拷贝,数据集中可控,但成本高;而云模式使得客户在使用Hadoop的方式上具有了更大的灵活性和可伸缩性,而且云供应商已经帮助他们管理了数据的拷贝。”Doug Cutting说。
Doug Cutting表示,从整个IT长远的发展趋势来看,IT的控制正在从在企业的某个部门扩散到各个不同的部门,因为非IT部门具有越来越大的能力,在IT方面进行自我管理、自我服务,也有越来越多的工具能够帮助他们做到这一点。而云计算是促进和推动了这一趋势的发展,也推动了数据的分散化、自助化。这是一个大趋势,也是云模式Hadoop增长的原因。
针对目前大数据应用的现状,这个Hadoop的创始人认为,大数据应用的普及是一个长期的过程,让每一家公司、每一个组织机构都能够用正确的方式来用好数据,这需要花很长的时间。因为这其中,需要组织结构本身发生很大的变化,还需要很多的教育工作和人才的培养工作,好在这一切都是在稳步推进当中。
好文章,需要你的鼓励
zip2zip是一项创新技术,通过引入动态自适应词汇表,让大语言模型在推理时能够自动组合常用词组,显著提高处理效率。由EPFL等机构研究团队开发的这一方法,基于LZW压缩算法,允许模型即时创建和使用"超级tokens",将输入和输出序列长度减少20-60%,大幅提升推理速度。实验表明,现有模型只需10个GPU小时的微调即可适配此框架,在保持基本性能的同时显著降低计算成本和响应时间,特别适用于专业领域和多语言场景。
这项研究创新性地利用大语言模型(LLM)代替人类标注者,创建了PARADEHATE数据集,用于仇恨言论的无毒化转换。研究团队首先验证LLM在无毒化任务中表现可与人类媲美,随后构建了包含8000多对仇恨/非仇恨文本的平行数据集。评估显示,在PARADEHATE上微调的模型如BART在风格准确性、内容保留和流畅性方面表现优异,证明LLM生成的数据可作为人工标注的高效替代方案,为创建更安全、更具包容性的在线环境提供了新途径。
这项研究由中国科学技术大学的研究团队提出了Pro3D-Editor,一种新型3D编辑框架,通过"渐进式视角"范式解决了现有3D编辑方法中的视角不一致问题。传统方法要么随机选择视角迭代编辑,要么同时编辑多个固定视角,都忽视了不同编辑任务对应不同的"编辑显著性视角"。Pro3D-Editor包含三个核心模块:主视角采样器自动选择最适合编辑的视角,关键视角渲染器通过创新的MoVE-LoRA技术将编辑信息传递到其他视角,全视角精修器修复并优化最终3D模型。实验证明该方法在编辑质量和准确性方面显著优于现有技术。
这项研究提出了ComposeAnything,一个无需重新训练的框架,可显著提升AI图像生成模型处理复杂空间关系的能力。该技术由INRIA、巴黎高师和CNRS的研究团队开发,通过三个创新步骤工作:首先利用大型语言模型创建包含深度信息的2.5D语义布局,然后生成粗略的场景合成图作为先验指导,最后通过物体先验强化和空间控制去噪引导扩散过程。在T2I-CompBench和NSR-1K基准测试中,该方法远超现有技术,特别是在处理复杂空间关系和多物体场景时表现卓越,为AI辅助创意设计开辟新可能。