可观测性与AI，肯睿Cloudera的进化论 原创

云计算、微服务等技术越来越多的应用，带来的是IT运维环境的日益复杂。过去一年，可观测技术备受关注，Gartner也将其列为2023年十大战略技术之一。

可观测平台要做的是屏蔽所有后台环境的复杂性，对客户提供可见、可操作、自主性的服务。所以对于开发角度而言，可观测性最大的难点在于要适配不同的技术。Cloudera大中华区技术总监刘隶放说道。

现在企业正处于观念迭代的阶段，也就是从监控升级到可观测性，在企业都注重降本增效的阶段，可观测平台的价值就尤为凸显。

Cloudera大中华区技术总监刘隶放

可观测带来的变化

Workload Management是Cloudera的一个监控调优工具，可以确保最佳性能、减少停机时间，并提高分析工作负载整个生命周期的利用率。

但是在混合云环境下，仅有调优是不够的。因为混合云带来了三个主要挑战，第一，有平台可控性和稳定性，由容器、调度器、服务等组成的复杂系统；第二，资源管理和控制，对资源消耗情况和效率的可见性有限，导致浪费和超支；第三，支持力度和体验，故障排除麻烦，提供支持的人员需要频繁地来回奔波。

现在财务治理、工作负载优化、主动系统监控、自助式分析、服务健康监控、更快的问题解决速度通通可以由Cloudera Observability来实现。

Cloudera Observability是覆盖了整个CDP的一站式可观测性应用管理平台，使客户能够监控、了解和优化其CDP部署。客户还可以通过可自定义的自动操作和预先构建的操作，发出警报、主动避免问题并优化工作负载。

目前Cloudera Observability推出的版本是公有云的SaaS版本，考虑到很多企业的数据敏感，以及监管要求，接下来也将推出本地部署版。Cloudera Observability可以支持Hive、Impala、Spark等用于处理数据工程工作负载的最常用数据引擎。

对比发现，使用Cloudera Observability集群利用率提升超过30%，提高了基础设施的投资回报率、SLA和SLO遵守率提高43%，直接增加收入、RCA和故障排除速度加快50倍，减少了运营开支。

让企业用好生成式AI

据统计，平均有90%的企业选择Cloudera管理他们的数据资产。目前Cloudera解决方案管理的数据量突破了2500万TB，这和很多云运营商的整体数据体量接近。

现在每一个人都在谈生成式AI，这对于Cloudera而言是一个机会。但是背景信息缺失、关联性与准确性、可信与安全、风险与合规都是企业有所顾虑的因素。

最近Cloudera发布了全新的现成大型语言模型（LLM）蓝图将帮助客户基于自身数据和企业环境，安全可控地使用生成式AI。

现在企业可以将大模型嵌入Cloudera Machine Learning（CML），对模型进行训练，并在平台上部署AI应用。作为CDP的服务组件，CML的安全体系遵循CDP整体平台，无论是私有部署、私有云，还是公有云。

刘隶放说，在帮助企业落地大模型上，Cloudera首先要帮助客户解决的就是合规问题，在这个基础上用自己的数据进行训练得到准确有意义的答案并进行调整，这是Cloudera平台所提供的能力。

目前Cloudera还在初期尝试阶段，CML中内嵌了很多模型，在使用过程中满足了合规要求，数据安全，保证数据不会泄露的同时注重交互性。

另外Cloudera的数据服务除了集成CML，还集成了Cloudera Data Engineering（CDE），通过CDE平台和基础平台结合，通过算法算法可以帮助CML加工处理提供数据，同时可以使用GPU让平台的处理速度加速。