中国信息官CIO精英 前沿视野 经验之谈 职业发展 信息官杂谈 | 产品资讯笔记本 商用电脑 服务器 办公 网络设备 存储设备 软件 显示设备 其他

您当前的位置: 首页 > 基础设施 > 数据库 〉从总结过去到预测未来:Teradata详解大数据分析技术演变

从总结过去到预测未来:Teradata详解大数据分析技术演变

2014-04-03 15:53:00

 近期,全球领先的数据分析平台、应用和服务供应商Teradata天睿公司大中华区首席执行官辛儿伦(Aaron Hsin)以及Teradata天睿公司实验室软件部高级副总裁Oliver Ratzesberger在接受C114等媒体采访时表示,数据分析经过几十年的发展,已经从对过去发生的事情进行总结,演变成对未来可能发生事件的预测上。

数据分析在电信业的应用

辛儿伦表示,信息通信技术发展到今天,最终可从三个层面来体现。首先在社会服务方面,向公众提供更智慧化的服务;在社会生产方面,协助企业更好的经营管理;在社会管理方面,通过大数据做一些舆情分析、民意走向,宣传政策制定的本意,让发布的政策更具民心。

他说:“我建议政府管理单位,多多利用这些数据分析技术,这样政策治理会更加有效。”

从总结过去到预测未来:Teradata详解大数据分析技术演变
Teradata天睿公司大中华区首席执行官辛儿伦

从目前的应用来看,协助企业更好的经营管理是应用最广的,比如在电信行业,因为运营商已经是大数据的拥有者。Ratzesberger表示,电信行业是Teradata的重点发展行业。
    
过去,电信运营商经常讨论被沦为哑管道的风险,讨论怎么去做智能管道,而数据分析提供了一条方法。运营商可以了解网络负载情况,运行的都是哪些数据流量,语音占了多少,数据流量占了多少,数据流量里又有哪些是内容提供商提供的,可以根据管道上所运载的流量多少,反映出真正的网络价值度或网络健康度。
    
辛儿伦称,Teradata在电信行业深耕很久,目前全球500强的电信运营商,几乎百分之百都与Teradata有长期的项目合作,在大中华地区同样如此,所有主要的电信运营商都与Teradata有超过十年的项目合作关系。

运营商对数据分析的应用主要分为两种,第一是怎样更智慧、更高效的支撑内部运营管理;另外一块是怎样把拥有的数据变成一个战略性的资产或者是服务。英国电信、西班牙电信等欧美运营商,他们都成立了大数据部门,协助他们向企业客户提供B2B服务。比如说,当地的一些零售商客户要选址开新店,以前依靠外部的市场分析。现在,这些零售商和西班牙电信、英国电信进行合作,运营商有更精确的用户位置数据统计、网络数据,甚至可以细化到某一个位置的性别统计、年龄层统计等等,来协助零售商更精确、高效的选择正确的开店地址。这些应用的开发在全球其他电信运营商那里也是如此,很多国家的运营商甚至可以根据客户的需求定制更多的服务。

从交易分析到行为分析

在过去15年,很多电信运营商使用Teradata的解决方案进行数据分析时,主要的侧重点是呼叫环节的记录型分析,也称之为交易型分析。比如呼叫掉线比例有多大,运营商可以结合相关分析找到网络在哪些方面需要改进。不过交易型分析的不足在于,企业如果只通过呼叫记录的掉线率来分析客户行为以提升客户体验品质,准确性不高。因为在电信网络中,交换机不会全面汇报掉线的原因,因此无法帮助企业获得与客户体验相关的结论。

现在改成对客户进行过程行为和体验分析后,增加了对用户的呼叫规律分析,比如用户掉线之后,通常会在几秒之内回拨,这样的深度分析可以最终准确得出与客户体验相关的行动纲领。
    
通过行为分析可以帮助运营商更准确地发现自己的VIP客户是哪些人。举个例子,Teradata杂志最近刊载了一篇文章,是Teradata天睿公司 Aster业务部首席架构师写的一篇文章,这篇文章重点揭示如何通过大数据分析用户的呼叫规律,结合相关性研究,得出哪些是最重要的客户群。有了这样的结论,会帮助电信公司更好的定向投资,提升用户满意度。
    
现在,全球电信行业从语音转向VoIP和数据流量经营,已是标准的数据爆炸式演进路线。用户使用行为分析还包括网络系统行为分析,在电信网络中,数据包的行为是有特殊性的,所以全球许多电信公司正在分析自己的虚拟网络,它的行为是如何与新一代的设备、新一代的终端以及应用程序发生互动的。

Ratzesberger称:“根据我过去十多年的工作经验,我感觉到CMOs以及其他营销人员,他们最关心的是如何从交易分析转向用户体验分析,这个转型也直接推动了企业CMOs和其他营销人员必须采纳更新的技术,更好的对于客户体验进行深入分析。”

比如eBay的转型,2005年之前重点是交易型分析上,即纯粹对客户购买交易的数据进行分析,其中包括所购买的产品、产品所属的类别以及客户群细分和按照地理信息所做的客户细分。2005年以后,eBay越来越重视客户行为分析,因为他们已经认识到一次交易的完成并不是全部过程,客户与eBay的互动有很多层次,有必要对客户和客户家庭进行整个生命周期的完整分析。通过交易之后的电子邮件、呼叫中心甚至社交媒体都将构成客户行为的全貌。

数据分析的几大演变
    
Ratzesberger强调,在交易分析转向行为分析的趋势中,前者对于任何一家企业来说,都是基本功,要在交易分析的基础上,再发展行为分析,这两者不是互相替代的关系,而是互补的关系。当然用户使用行为和体验分析的一个特殊性在于,其数据量要比交易分析数据量超出十倍甚至上百倍,这要求CMOs和营销人员必须注重新的建模方式、新的算法来支持用户行为分析。

他说:“对大数据技术本身的演变,我想做出一个结论,就是可伸缩性是大数据的重要特征,因为高度的可伸缩性,能够帮助客户来集成海量数据。企业在海量数据的条件下,更需要寻找协作式的平台,使得每一个人都能自助式的、协作式的开展分析工作,这意味着企业内部人员和外部用户之间的打通越来越重要。”

基于此前在eBay工作多年的经历,Ratzesberger再一次以eBay为例解释了他的观点: eBay在使用大数据集中平台后,新员工入职后通常要花数月时间才能真正理清大数据及其背后的意义。但在2010年eBay在内部推出DataHub内部协作式网站,帮助员工分享大数据分析和使用心得,相关规律,哪些是分析较多的数据集,哪些是内部员工使用较多的算法,这是一个内部协作式的工作方式,可以更高效的帮助新员工更快投入工作。
    
辛儿伦补充说,不管厂家还是教学单位,以往的数据分析更多的是在关系型的数据结构领域去分析,这并不是说,以前的业务部门没有半结构化数据或者非结构化数据的分析需求例如客户服务文本记录、 网络日志、 生产线机器生成数据等,只是以前没有有效的工具或是平台帮助他们快速地做这类数据分析。

过去几年,很多研发单位和研究机构,用开源技术处理非关系型、非结构化或者半结构化的数据,随着开源技术的使用,许多厂家开始结合这方面的技术,整合到他们传统的领域当中,使之有能力帮助客户分析更多元化的数据,甚至包括图像、社交网络日志等,还有怎样更快、更精确的去分析一些场景,比如指纹分析,现在可以使用更好更有效的技术去迎合这方面的需要。

Teradata的竞争优势

辛儿伦补充说,在数据学领域,主要有两大焦点,一类是在操作型应用的数据和信息,使用的需求是交易型的,比如对数据的输入、数据的更新,属于少量数据快速的进行数据交互;另外一类是数据分析型,能够协助企业在运营业务时,第一时间了解他们相关的业务,比如发生了什么,为何会发生,将要发生什么事情,或正在发生什么事情,协助企业培养更精细化管理的能力。

Teradata在过去的38年来,长久专注的是第二类——数据分析领域。

Ratzesberger称,Teradata的优势是能够给客户提供高度可伸缩的并行处理能力。

依然是以eBay系统的建设为例,eBay使用的是Teradata的大数据系统,总的数据容量可以是数十PB的规模,每天产生1500亿至2000亿条交易数据,供数据库进行分析和处理。而这样分析和处理的结果,可直接帮助营销部门进行营销的精确定向,或者帮助技术部门优化搜索功能,也有助于公司更科学的制定货品上架决策,甚至提高反欺诈水平和效率。

Teradata的能力就是能够支持高度可伸缩性的、高速、多节点的分析,在某些情况下可以支持数千计算节点的海量分析。
    
在Ratzesberger任职eBay期间,后者除了使用Teradata的方案,同时也在使用Oracle的数据库。两家供应商各有侧重:Oracle更多的是微观层面的数据处理,重点放在在线的交易分析,可以逐条的、对于较小的交易进行快速的增删改操作。而Teradata做的是对海量数据进行并行处理,帮助客户进行行为相关性分析,获得更为全貌的客户行为。   

在讨论大数据分析的同时,不可避免要谈到数据分析与个人隐私的平衡。

Ratzesberger表示认同,行业搜集海量数据并对其进行分析的时候,个人隐私逐渐成为一个重要的话题,也成为全行业关注的焦点。

从总结过去到预测未来:Teradata详解大数据分析技术演变
Teradata天睿公司Oliver Ratzesberger实验室软件部高级副总裁

他说,Teradata几十年来一直对数据安全性给予了高度的重视,包括在敏感数据上如何通过防火墙这样的手段对数据隐私进行有效的保护。举例来说,像客户身份识别相关的隐私数据,在数据分析中是与其他类型的数据分开保存的。并且在数据管理当中,要求进行严格审计,通过防火墙进行隔离。这样可以确保在企业内部的工作流程中,如果需要调用用户隐私数据的话,必须符合相关的数据政策要求。

第二方面,Teradata除了产品技术的推广之外,也提供客户数据咨询服务,其中一个就是通过分层化的架构,帮助客户在理念上注重信息安全和隐私保护。

下一篇文章:从两会看中国大数据的应用
上一篇文章:返回列表
投稿邮箱:cio114@foxmail.com