Spark首次由Databricks发布,融资3300万美元;Hadoop再次得到MapR的1.1亿美元的融资,以促进其在激烈市场竞争中的成长。在未来的大数据处理中,Spark将会简化现有的数据管道处理,融合多种功能,使得数据处理更快、更方便和更灵活;Hadoop也将会以更快、更简单的方式读写大数据。巨大的融资金额将会促进Spark和Hadoop的大力发展,它们将以怎样的姿态立足未来的大数据市场呢,是并驾齐驱?还是独占鳌头?让我们拭目以待。
Databricks发布Spark,融资3300万美元
近日,Databricks在Spark峰会上发布了Spark云服务,同时筹集了3300万美元的风险资金。公司新发布的Spark云服务采用的是Spark框架,据说此框架更快、更方便和更灵活,其云服务的设计有助于简化现有的数据管道处理,包含了大量需要企业管理的数据存储和数据处理系统,同时将诸多供能(如为了建立和显示机器学习模型的各种处理引擎、“记事本”和仪表板功能等)进行有效的融合。
Hadoop的供应商MapR考虑到在MapReduce的技术和生态系统上投入的大量资金和人力资源,对Spark目前的应用有所迟疑,但仍支持此处理框架,并且认为它读写大数据的方式会比MapReduce更快、更简单。
MapR再融资1.1亿美元推动Hadoop成长
与此同时,MapR也筹集了1.1亿美元推动Hadoop的发展。公司的CEO肯定了公司在专有工具上的优势,为顾客在组件提供了更多的选择:MapR支持少数的SQL-on-Hadoop工具,包括Hive和Drill,同时也支持Cloudera-developed Impala 和惠普的Vertica software。
此次MapR在Hadoop领域的融资力度明显加强,融资总额超过之前的总额5900万美元。当然,对于Hadoop的融资,Cloudera的5轮融资高达3亿美元,Hortonwork从创立之初到2013年的3年内融资金额就达到了1.98亿美元。
Spark和Hadoop将走向何方
在激烈的市场竞争中,Spark和Hadoop的未来发展还处于或多或少的争议中。
Spark服务的数据默认存储在亚马逊S3中,如果使用者拥有已经在AWS上正常运行的Hadoop集群,也可以将数据存储在HDFS中。Databricks可以从MongoDB、MySQL和亚马逊Redshift读进数据,也可以导出数据。公司有望支持混合cloud-local Spark环境,放在完全开放的Spark云中,能够有效实现工作负载的可移植性。
Hadoop的融资企业MapR选择了Google作为其合作伙伴之一,他们的走向代表了大数据的未来。Hadoop供应商竞争者也面临着巨大的竞争挑战。
Spark和Hadoop作为有效的数据处理框架,各自具有明显的优势,作为使用者,更快、更方便的解决自身所需也许是他们进行选择的因素之一,各融资者应加强各自服务应用的功能,更好地服务于客户,才能带来可观的市场利润。
参考文献:
Databricks announces a Spark cloud and M in venture capital(Databricks announces a Spark cloud and M in venture capital)
MapR raises 0M to fuel its enterprise Hadoop push(http://gigaom.com/2014/06/30/mapr-raises-110m-to-fuel-its-enterprise-hadoop-push/)
好文章,需要你的鼓励
Replit与RevenueCat达成合作,将订阅变现工具直接集成至Replit平台。用户只需通过自然语言提示(如"添加订阅"),即可完成应用内购和订阅配置,无需离开平台。RevenueCat管理超8万款应用的订阅业务,每月处理约10亿美元交易。此次合作旨在让"氛围编程"用户在构建应用的同时即可实现商业变现,月收入未达2500美元前免费使用,超出后收取1%费用。
LiVER是由北京大学、北京邮电大学等机构联合提出的视频生成框架,核心创新是将物理渲染技术与AI视频生成结合,通过Blender引擎计算漫反射、粗糙GGX和光泽GGX三种光照图像构成"场景代理",引导视频扩散模型生成光影物理准确的视频。框架包含渲染器智能体、轻量化编码器适配器和三阶段训练策略,支持对光照、场景布局和摄像机轨迹的独立精确控制。配套构建的LiVERSet数据集含约11000段标注视频,实验显示该方法在视频质量和控制精度上均优于现有方法。
所有人都说AI需要护栏,但真正在构建它的人寥寥无几。SkipLabs创始人Julien Verlaguet深耕这一问题已逾一年,他发现市面上多数"护栏"不过是提示词包装。为此,他打造了专为后端服务设计的AI编程智能体Skipper,基于健全的TypeScript类型系统与响应式运行时,实现增量式代码生成与测试,内部基准测试通过率超90%。他认为,编程语言的"人类可读性时代"正走向终结,面向智能体的精确工具链才是未来。
这项由蒙特利尔学习算法研究所(Mila)与麦吉尔大学联合发布的研究(arXiv:2604.07776,2026年4月)提出了AGENT-AS-ANNOTATORS框架,通过模仿人类数据标注的三种角色分工,系统化生成高质量网页智能体训练轨迹。以Gemini 3 Pro为教师模型,仅用2322条精选轨迹对90亿参数的Qwen3.5-9B模型进行监督微调,在WebArena基准上达到41.5%成功率,超越GPT-4o和Claude 3.5 Sonnet,并在从未见过的企业平台WorkArena L1上提升18.2个百分点,验证了"数据质量远比数量重要"这一核心结论。