基于时空算法研究的商业决策分析

IBM SPSS 提供了结合时间与空间的数据分析模型( Spatio-Temporal Prediction ,简称 STP )。通过使用 STP 进行建模和预测,能够为管理者或者企业提供最佳的决策支持,以节省时间、成本和资源。本文主要阐述了时空分析算法的特点及其应用举例,来帮助人们了解其使用方法和实际的价值意义。 2017-05-19 12:49:18 大数据时空算法商业决策 做数据分析时,R 用户如何学习 Python? Python 是一门功能强大和多用途的编程语言,在过去几年取得惊人发展。它过去用于 Web 开发和游戏开发,现在数据分析和机器学习也要用到它。数据分析和机器学习是 Python 应用上相对新的分支。 2017-05-19 08:45:34 R用户Python数据分析 手把手教你做数据分析 在数据已经被有效记录的前提下,如何有效的去分析数据呢? 2017-05-18 12:45:35 数据分析数据理解数据 如何让热点图支持大数据 数据解析是瓶颈,比如经纬度点最终要转换到像素单。如果性能还不够,就“偷工减料”,建立矢量金字塔,本质就是把N个点合并成一个,减少渲染过程的计算量。 2017-05-18 10:43:36 热点图大数据CPU 寻找阿登高地——爬虫工程师如何绕过验证码 网站验证码就如同马奇诺防线一样,阻挡了爬虫工程师的正面进攻。随着爬虫和反爬虫双方围绕验证码的不断较量,最终导致了验证码识别难度的不断上升。 2017-05-18 09:36:11 大数据爬虫验证码 ggplot2又添新神器——ggthemr助你制作惊艳美图 这个包里面提供了将近20宽完善的配色和主题风格模板。每一个模板都拥有完善的标度和主题设定(包括离散标度和连续标度、填充颜色和线条颜色)。 2017-05-18 09:00:21 ggplot2ggthemr可视化 Apache Impala引领传统分析数据库技术的发展 与传统的分析数据库(Greenplum)相比,未经修改的基于TPC-DS的性能基准测试表现出了Impala的领导地位,特别是对于多用户并发工作负载而言。此外,基准测试还进一步证明了分析数据库与Hive LLAP、Spark SQL和Presto等SQL-on-Hadoop引擎之间存在的显著性能差距。 2017-05-17 09:42:34 Apache Impa数据库技术 实用 | Apache Kudu读写路径 本篇博文能够对Kudu的读写路径进行清晰简明的概述,并且使读者理解Kudu如何能够在不断变化的数据上支持快速的分析访问模式。 2017-05-17 08:41:15 ApacheKuduMVCC 人人都应学会的4个数据分析思路 在面试的过程中,社招会有面试官会问你以往你负责的产品的相关数据,如何看待这些数据,如何通过这些数据来做接下来的产品优化;校招的面试官可能会问小伙伴们关于分析数据的思维;在产品经理的日常工作当中,要时长盯着数据的报表来分析产品的健康程度。本文不再对一些基本的数据定义再做描述,而是从分析的思路总结了一些心得,欢迎各位一起来讨论。 2017-05-16 13:00:24 大数据数据分析 数据流程图和数据结构是需求分析中不可缺少的一环 在数据流程图中,软件元素被描述成为一个带有输入和输出数据的单个泡,而这些输入和输出数据分别由进入的箭头和出去的箭头来表示。这些数据路径同时也表明了软件元素之间的接口。当把整个软件元素及其之间的数据流都用数据流程图表现出来,实际上,软件的内部、外部接口也就表达得很清楚了。 2017-05-16 10:49:20 大数据数据流程图数据结构 漫谈数据仓库之拉链表(原理、设计以及在Hive中的实现) 本文将会谈一谈在数据仓库中拉链表相关的内容,包括它的原理、设计、以及在我们大数据场景下的实现方式。 2017-05-16 10:23:51 数据仓库拉链表 如何将枯燥的大数据呈现为可视化的图? 可视化并不局限于数字,概念也同样适用,比如政治倾向图谱。我试图将各种政治倾向融入到图表中,并展示其如何从政府渗透到社会、文化中,对家庭和个人产生影响,继而又反过来影响政治。 2017-05-16 10:05:08 大数据可视化图表 你懂Scrapy吗?Scrapy大型爬虫框架讲解【一】 Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。 2017-05-15 21:00:15 大数据Scrapy爬虫框架 Python做文本挖掘的情感极性分析(基于情感词典的方法) 「情感极性分析」是对带有感情色彩的主观性文本进行分析、处理、归纳和推理的过程。按照处理文本的类别不同,可分为基于新闻评论的情感分析和基于产品评论的情感分析。其中,前者多用于舆情监控和信息预测,后者可帮助用户了解某一产品在大众心目中的口碑。 2017-05-15 14:00:28 大数据Python情感极性分析 一文读懂聚类算法 聚类是数据挖掘中的概念,就是按照某个特定标准(如距离)把一个数据集分割成不同的类或簇,使得同一个簇内的数据对象的相似性尽可能大,同时不在同一个簇中的数据对象的差异性也尽可能地大。也即聚类后同一类的数据尽可能聚集到一起,不同类数据尽量分离。

IBM SPSS 提供了结合时间与空间的数据分析模型( Spatio-Temporal Prediction ,简称 STP )。通过使用 STP 进行建模和预测,能够为管理者或者企业提供最佳的决策支持,以节省时间、成本和资源。本文主要阐述了时空分析算法的特点及其应用举例,来帮助人们了解其使用方法和实际的价值意义。

[[191733]]

常言道:”时空变幻莫测”。在自然界中,时空变化瞬息,常常难以捕捉其准确的规律。然而,时间与空间共同记录了过去存在的属性,通过它们我们可以发现事物存在的规律,从而预测未来的趋势,以提前应对未来情形或把握未来时机。

随着现代科学技术的发展,定位技术变得愈加普及。例如, GPRS 、位置传感器等技术的普遍应用,使得采集与空间相关的数据变得非常容易。而采集到时空数据后,人们理所当然希望利用这些信息的价值,洞察其中的关键因素以获取决策支持。那么,合适的数据分析方法就是提取有用价值的关键所在。

在现有的数据分析工具中,大多数模型仅考虑空间维度的作用,常用的时序模型也往往难以将同时发生在不同地点的信息关联起来。如果勉强使用这些模型,得出的模型结论常常不准确,预测的结果更加无所适从。

因此,IBM SPSS 提供了结合时间与空间的数据分析模型( Spatio-Temporal Prediction ,简称 STP )。研发 STP 模型的初衷即是为了帮助人们解决涉及时空数据的商业难题。它可以应用于天气与环境预测,智能交通解决方案,网络应用与安全分析,建筑或空间的能量管理等等。通过使用 STP 进行建模和预测,能够为管理者或者企业提供***的决策支持,以节省时间、成本和资源。本文主要阐述了时空分析算法的特点及其应用举例,来帮助人们了解其使用方法和实际的价值意义。

STP 模型特征

首先,STP 模型同时支持二维和三维空间场景,如地理信息,三维空间坐标等。因此,STP 模型能够被广泛使用于各类时空应用。

其次,STP 模型仅凭有限的样本点进行建模,就能够预测空间中未来任意位置的目标信息,因此它具备强大的预测能力,能够辐射到空间中任意点的信息。

***,STP 模型支持参数的假设分析。从而为用户提供未来的决策支持,使他们能够通过调整参数来适应预期目标,帮助用户提前防范或消除未来的问题与负面影响。

图 1. 时空模型应用示例

时空模型应用示例

STP 数据特点

图 2. STP 模型数据格式

STP 模型数据格式

STP 算法实例

下面通过两个实例来讲述 STP 算法是如何被应用并解决用户问题的。

  • Space dimension: 连续型变量, 同时支持二维和三维两种空间维度;
  • Time dimension: 连续型变量,时间维度在 STP 使用之前需要转换为整数索引的形式。一般可使用 STEMDP 工具进行转换,也可手动转换;
  • Predictors: 连续型或者离散型变量,对 Target 有影响的回归参数。没有指定参数时,必须包含常量系数;
  • Target:连续型变量,模型创建与预测的目标参数。

图 3. STP 模型数据要求

STP 模型数据要求

* STP 要求数据必须包含一组在固定的位置信息上采集的相同时间序列的数据。

STP 建模流程

图 4. STP 简要流程图

STP 简要流程图

Input Spatio-Temporal Data: 输入原始采集的时空数据。

Spatio-Temporal Data Preprocessing(STEMDP): STEMDP 是 IBM SPSS 研发的转换空间数据的工具。它能够将.shp 文件转换成空间坐标数据,并将时间格式转换为时间索引。如果数据本身不需要经过 STEMDP 处理,此步骤可省略。

Spatio-Temporal Prediction(STP): STP 使用 STEMDP 转换后的数据进行建模。建模过程中会对协方差矩阵的使用方法进行筛选。协方差矩阵可以应用参数化(variogram)或者非参数化(EOF)两种方式表示。默认为参数化方式,若参数化方式不满足条件,则应用非参数化方式。

Output STPXML & StatXML: STP 的建模结果被存储在 STPXML 和 StatXML 两种文件中。STPXML 中的模型信息被用于预测未来目标信息,StatXML 中内容被用于进行模型可视化的展示。其中,StatXML 还包含位置簇的信息。当空间维度是二维模型且非参数化方式被最终应用时,位置簇信息将被输出。

STP 应用案例

数据中心温控解决方案

从 2000 年至今,以互联网为主的 IT 技术迅速发展,大量的数据中心被建设使用。据 Federal 能源管理体系总结的《美国数据中心能源消耗报告》显示,仅以 2014 年为例,美国的数据中心电能消耗为 70 亿千瓦时,大约占美国总电力消耗的 1.8%。从 2000 年至 2005 年,IT 业经过初步发展,数据中心电能的消耗超过了 90%的增长,从 2005 年至 2010 年,IT 业快速发展时期电能消耗惊人增长 24%,而从 2010 年至 2014 年,IT 业逐渐进入稳定时段,电能消耗增长为 24%,以后未来五年每年将以大约 4%的增速平稳增长。中国同样经历了 IT 业发展的几个阶段,数据中心建设一直保持着飞速发展,能源消耗也居高不下。

能源消耗占数据中心运营成本的大约 70%左右。因此在全球范围内,关于如何降低数据中心电力消耗,提高能源利用率的问题迫在眉睫。

某一数据中心打算节省大量使用的电能成本。除却硬件与设备升级以外,还需要更为精准的温控与湿度管理,以高效的利用能源,节省成本并符合国家提倡的环保政策。

数据中心通过部署温度传感器和风速传感器来采集一段时间空间中样本位置的温度和风量情况,然后使用 STP 算法进行建模预测来帮助提升能源使用效率。

图 5. 在数据中心选取多个样本点布置温度传感器和风速传感器

在数据中心选取多个样本点布置温度传感器和风速传感器

1. 数据采集

图 6. 来自于传感器等设备采集的实时数据

来自于传感器等设备采集的实时数据

STP 模型数据格式必须包含空间维度、时间维度、目标参数。输入参数可选。以上表格为从数据中心采集到的数据,它们将被对应到 STP 模型的数据输入中,用于模型创建。

空间维度是位置传感器的坐标位置。其中 u,v,w 分别表示水平位置与高度。

时间维度表征数据采集的时间。在 STP 使用之前,需要将具体的时间转换为时间索引,用户可使用 STEMDP 工具进行转换,也可手动进行转换。

输入参数中 x1、x2、x3 分别代表风速 、ACU 的作用以及高度 。 x4 和 x5 为其他可能影响的因素,但 STP 模型最终证明它们的影响非常弱,可忽略不计。

目标参数为样本位置的实际监测温度。

2. 数据建模

将以上数据作为输入在 STP 中创建模型,如下图所示。

图 7. STP 数据输入

STP 数据输入

图 8. STP 模型结果

STP 模型结果

从以上结果可知,参数 x4 和 x5 的 significance 值均大于 0.05,说明它们对模型的贡献较小,显著性较差,因此在监测结果时可省略对这两个数据的采集。

x1、x2、x3 均对模型贡献显著,因此主要对这三个参数进行搜集分析即可。

同时,MSE、R Square 等值表征该 STP 模型效果很好,误差很小。

3. 模型预测

根据给定输入参数,即风速、ACU 等值,对数据中心未来空间内温度进行预测。橙色部分标注 STP 预测的未来时间的温度相关信息。

基于时空算法研究的商业决策分析

$STP-y、$STPVAR-y、STPUCI-y 和$STPLCI-y 分别代表代表预测温度、方差、预测上下区间。实际 STP 可以预测未来连续时刻的任意空间位置温度。下面用散点热图表示该例中温度的分布情况。

图 9. 采集样本位置的***时间点的温度分布

采集样本位置的***时间点的温度分布

图 10. 预测下一时间点在不同高度层上的立体温度分布效果图

预测下一时间点在不同高度层上的立体温度分布效果图

图 11. 预测下一时间点在不同高度层上的平面温度分布效果图

预测下一时间点在不同高度层上的平面温度分布效果图

基于时空算法研究的商业决策分析

基于时空算法研究的商业决策分析

图 12. 预测下一时间点在整个空间内立体温度分布效果图

基于时空算法研究的商业决策分析

STP 具备 score anywhere 的特性。即通过有限位置的样本点,便可以预测整个空间的温度分布。从以上温度效果图可知,随着高度增加,热气流往上上升,因此在高度 5.5 米时,造成热量大量聚集,温度过高,可以在该高度及以上范围进行足够的通风散热与降温。除此之外,在高度 4.5 米位置对应图形的右上方局部温度过高,因此考虑在此范围内加强设备运行以使温度下降。通过 STP 对整个空间温度的预测,用户可今早获悉数据中心的整体温度分布情况,从而避免局部温度过高而造成设备的损坏与不可逆损失。

STP 还具备 what-if-analysis 的特性。用户可以调整影响模型的可控参数来达到预期目标。调整风量与 ACU 后,STP 可以预计多久即可将温度下降到合理范围内。如下面一组图所示同一高度层上调整参数后温度的变化情况。

图 13. 预测同一高度层上未来时间段温度变化效果图

预测同一高度层上未来时间段温度变化效果图

STP 解决方案在数据机房中的应用不仅限于温度预测,同时也可对湿度变化及与空间相关的任一因素进行分析预测。从而,数据中心的自动化管理将更为先进与优越,且更加有效、可靠的节省电能并减少人为干预。即使当前机房老旧、设备硬件来不及提升的情形下,也可为数据中心打造环保、智能的管理系统。

银行选址决策支持方案

某银行高管欲在某市建设新的银行分支机构,通过一些普查与调研数据他能够获取到每个区域的家庭收入、以及区域内所有银行现有的分支机构信息。通过这些信息,他考虑使用 SPSS 的 STP 模型来帮助其预测拥有潜在市场价值的地点。

他通过 STP 模型创建了两个模型,一个模型用于预测每个区域的收入信息、另一个模型用于预测这些区域未来的银行分支机构的数量。然后通过这两种预测结果,得出该市所有区域的潜在市场的分布情况,从而迅速高效地帮助其完成市场分析,以支持决策方案的可行性。

图 14. 预测未来银行数量供给情况

预测未来银行数量供给情况

图 15. 预测未来居民收入情况

预测未来居民收入情况

图 16. 预测未来潜在市场分布情况

预测未来潜在市场分布情况

结束语 (the end)

如果你是一个上班族,你是否时常想如何减少交通拥堵?如何高效地利用公共自行车资源?如何快速地在高峰期打到合适价格的车?

如果你是一个经营者,你是否经常为市场选择而踌躇不决?怎样才能选择一个商机***的地点而不至于错误的扩张带来不可估量的损失?怎样才能应用大数据分析帮助企业提升智能信息化的竞争力并降低成本?

STP 算法的应用将为你提供时空问题的***解决方案和预测支持。SPSS 同时提供各类广泛应用于商业数据中的算法,最全面的帮助人们做好大数据的分析与商业决策

©本文为清一色官方代发,观点仅代表作者本人,与清一色无关。清一色对文中陈述、观点判断保持中立,不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。本文不作为投资理财建议,请读者仅作参考,并请自行承担全部责任。文中部分文字/图片/视频/音频等来源于网络,如侵犯到著作权人的权利,请与我们联系(微信/QQ:1074760229)。转载请注明出处:清一色财经

(0)
打赏 微信扫码打赏 微信扫码打赏 支付宝扫码打赏 支付宝扫码打赏
清一色的头像清一色管理团队
上一篇 2023年5月6日 03:54
下一篇 2023年5月6日 03:54

相关推荐

发表评论

登录后才能评论

联系我们

在线咨询:1643011589-QQbutton

手机:13798586780

QQ/微信:1074760229

QQ群:551893940

工作时间:工作日9:00-18:00,节假日休息

关注微信