如何使用数据流框架开始你的第一次大数据尝试

至顶网软件与服务频道消息： 

大数据席卷制造业和重工业

为了帮助你更好地了解数据流技术是如何改变当今的制造业和重工业，我会在下面提供一些范例。

使用数据流技术，你可以快速进行流处理（从几毫秒到几分钟不等），并且确定庞大的工业和制造系统中的相互依赖性。在医疗物品仓库中，流处理在发现温度升高时，可以迅速向操作人员发出警告，从而使他们能够快速做出反应，并避免造成巨大的损失。

另外，流处理可以帮助检测工业数据库中的黑客欺诈行为，并在攻击者破坏系统之前阻止他们。生产线监控、供应链优化、智能网格技术——这些都是制造业和重工业中的数据流处理应用程序。实际上的应用远不止这些，但是这些应用本身已经价值巨大了。

令人印象深刻，不是吗？如果这就是今天的情况，请想象一下两年后会发生什么。今天，你可以通过简单的大数据尝试，保持自己的领先地位。

你的第一次大数据尝试

数据流技术最简单的用例之一是传输线监控。它适合经营着众多生产线的制造公司。对于矿业公司来说，这也是一个有用的解决方案。例如，你可以将货物或物料从A点运输到B点。传送链上可能会包含多达数十条传送带。因此，应该对每台传送机进行监控，以确保整个链条的无故障运行和故障安全保障。

为此，请为传送链上的每一台传送机都配备以下设施：

 - 紧急停止开关

 - 声音报警系统

 - 电流传感器（在所有驱动电机上）

 - 温度传感器（在电机轴承上）

 - 速度传感器（在传送带轮上）

 - 输送带进给速度传感器

 - 皮带径流传感器

 - 光学皮带秤

所有这些传感器都可以收集数据并将其发送到服务器，这样就可以通过数据流框架进行处理和分析。这样，数据流可以帮助检测驱动电动机运行中的偏斜情况以及电动机轴承的磨损。它还可以分析输送机的总体利用效率，并提供统计数据，以显示有多少货物或物料被运送到目的地。

大数据魔术的背后是什么？

如你所见，从大数据中获取价值并不是魔术。这只与技术解决方案以及如何应用它们有关。根据我的经验，对于大数据处理，我建议使用以下流处理框架：Apache Storm、Spark Streaming和Kafka Streams。当然，它们都有不可思议的特点，也都有一定的操作局限。根据我的经验，以下是每种工具的特点概述。

1. Apache Storm

 - 低延迟

 - 成熟（经过充分测试和广泛应用）

 - 高通量

 - 非常适合简单的流用例

 - 可扩展，可跨多个计算机集群运行的并行计算

 - 容错（自动重启节点，并且跨节点重新定位工作负载）

 - 本机流

2. Spark Streaming

 -  结合了批处理和流处理（Lambda体系结构支持）

 -  高通量

 -  成熟

 -  即使发生故障，记录也会被处理一次

 -  机器学习库提供了一组机器算法，用于分类、回归、协同过滤等。

 -  默认容错

3. Kafka Streams

 - 融合了Kafka的最佳功能，不需要单独的集群

 -  国家管理

 -  一次性，端到端（即Kafka既是来源又是目的地）

 -  本机流

 -  结合使用分布式消息传递系统和传统消息传递系统，实现存储和流处理（这提供了更好的流数据管道可测量性、低延迟和更好的存储功能，并确保了与脱机系统的集成，该系统是为了防止系统崩溃而存在的。）

对于上述用例，我建议使用Spark Streaming。它适合该项目，因为它已与高级分析工具进行了集成，并允许你在离散化流的驱动下通过微批处理执行流处理。此外，Spark Streaming是Hadoop和Azure HDInsight生态系统的一部分，因此，如果你已经在使用Hadoop，它将可以集成到你的大数据堆栈中。

回顾

企业现在已经开始意识到大数据有多强大。我们开始看到它在我们周围的世界中具有的巨大潜力。大数据的应用范围已经很广，从患者健康监控到交通流量和在线购物建议。

制造业和重工业也为大数据时代的重大变革做好了准备。毫无疑问，真正的转型将耗费大量时间和资源。但是，在现代技术潜力的支持下，当今的企业将努力打造出明天的启发性产业。不要错过成为获胜者的机会。