获得计算冠军 腾讯云发动大数据变革

2016.11.14 16:53:00 来源: 百家号 作者:路北 ( 条评论 )
 

1

11月10日,2016 Sort Benchmark排序竞赛的成绩在官网上予以公布,腾讯云用不到99秒(98.9秒)的速度,完成了100TB的数据从小到大的排序,打破了去年阿里云329秒的纪录,速度提升了3.3倍。

在数据排序领域,往往呈现出颠覆性的提速,在前年百度夺冠时候,100TB排序的最短时间是716秒,更早前Hadoop的纪录是4222秒。

Sort Benchmark在全球具有计算奥运会之称,腾讯云的胜出,对于当前国内云计算市场、企业大数据应用究竟意味着什么?

技术准备:运算速度大幅提升,平台投入不断加强

关注大数据和计算机的小伙伴对Sort Benchmark并不会陌生。这家专门从事排序基准评估的非盈利机构,每年都会举办一次排序基准评估比赛,吸引了包括亚马逊、Apache Spark、Hadoop、腾讯、百度在内的世界上大型网络科技公司和顶尖学术机构参赛,以评估各自软硬件系统架构能力及最新研究成果,可以说是全球计算界的顶级赛事。

Sort Benchmark的排序竞赛一共包含4项比赛,其中Gray Sort和Minute Sort主要评测计算系统的规模和效率,在4项比赛中含金量最高。每一项比赛又分通用目的排序(Daytona)和专用目的排序(Indy)两个类别。腾讯云的数智分布式计算平台,全部夺得上述4个子项的冠军并创造了新的世界纪录,大幅刷新了去年阿里云的成绩。

2

排序竞赛中,100TB数据的排序比赛的规则最简单,也最能直观地看出平台的运算能力。100TB数据排序,就是把1万亿条无规律的100字节记录,严格按照从小到大的顺序排好。这直接考验分布式系统中存储、调度、通信等各个子系统的性能,反映一个平台的整体计算能力。

在这场跑数据的奥运会上,腾讯云和阿里云是近年的新秀。这几年来,腾讯云和阿里云都在倡导大数据计算,投入都十分巨大。在本次比赛中,腾讯云数智在架构和软件方面下了十足的功夫, 同时在硬件上投入512台IBM的Open POWER服务器和迈络思的100Gb互联技术,可谓软硬兼修。

市场变化:成也数据,败也数据,云计算已成为刚需

现在的竞争,已经是数据的竞争,数据处理速度的背后,关系到业务洞察能力的高低。对云计算平台来说,在Sort Benchmark上争排名高低,不仅关乎平台整体形象,更与业务的开展和效益的提升息息相关。一方面,没了计算速度,云服务就成了空中楼阁、无本之木;另一方面,速度带来的效益,远不止我们想象的那么简单,往往一秒之差,企业的经营结果就高下立判。

当下企业的经营,对大规模生产的依赖度已经有所降低,而对精准营销和主动营销的需求不断强化。大数据分析水平的高低,在很大程度上决定企业的盈利能力。

依靠云计算和大数据,可以帮企业实现以前不可能实现的目标。

首先,通过分析用户行为信息对其精准画像,开展差别化营销,激发潜在消费,使营销更加精准。

其次,依靠大数据对各因素之间相关性的计算,进行用户消费行为的预测,使营销更加主动,贯彻“用户终身价值管理”理念。最后,也是最重要的,云计算可以帮助企业打造新的盈利模式,这类情况,在金融、快消等领域有很多案例。

比如,近两年春节红得发紫的微信和QQ的“红包”,微信在2016年除夕经受住了1秒钟收发40多万个红包的最高流量冲击,全球QQ用户则在那天晚上“刷”了1894亿次。

全民抢红包的幕后,云计算是当之无愧的英雄。为保证红包的正常收发,腾讯云在广州和上海两地的云机房上做了分流,设置了容灾系统,开发列表系统用来处理用户抢、拆、发、查红包的数据,并整合DNS Pod输出了跨域流量调度方案,这些技术在云计算行业史上都是第一次。

除了让微信和QQ经受了“红包大战”高峰值、大流量的考验,腾讯云更是助力其成功打造了一个以红包为纽带的盈利模式,要知道,用户使用红包,一般就会绑定银行卡,而绑定银行卡之后,很多业务和盈利也就有了想象空间。

受益于云计算的不止微信和QQ。

市场研究公司Gartner称,公有云能为企业平均降下14%的成本。经过这几年的市场启蒙,企业对大数据作用的认识已经被唤醒,云服务逐渐取代了企业自建的服务系统,企业刚需不断催生了大数据和云服务市场的开发。Gartner的数据显示,全球公共云服务市场规模今年有望达到2040亿美元,较2015年的1750亿美元增长16.5%,而且这种两位数的发展势头将会持续到2017年。

使用进展:数智让企业数据真正跑起来

就目前来看, 大数据的收集已经不是难事。一方面,数据不一定要是文字和数字,图片、声音、视频甚至地理位置等非结构化的信息都能被加以利用。另一方面,数据的获取渠道已经无处不在,很多时候甚至不容易被人察觉。比如一些APP可以通过WIFI、射频技术(RFID)和蓝牙所获取用户位置信息。海量的数据不断积累,并且在以几何级数增长。

但是数据收集起来之后,又面临一个问题,也是传统IT一直没有很好解决的一块问题——企业数据的利用率很低。为了避免数据的浪费,腾讯云特地为企业开发了“数智分布式计算平台”。数智包含3层46个产品组件,是在腾讯多年海量数据处理经验之上,结合开源Hadoop生态和自研组件服务,对外提供的可靠、安全、易用的大数据处理平台。为客户提供了从采集、存储、计算、挖掘到可视化的一站式数据处理服务。

此次创下Sort Benchmark四项新纪录,可以看做是数智在国际大赛上的牛刀小试。国内实践方面,在10亿用户画像数据分析,量级约为10TB的count、sum和group计算中,数智平台能够将传统Hadoop长达20分钟的计算时长缩短到秒级,大数据处理速度提升高达780倍。数智在对微信每天160亿级别的多维分析场景中,能够做到6秒返回结果。

基于此,数智的应用领域已经在扩展。广东省旅游部门通过数智,结合腾讯覆盖全国10亿的人群画像能力,及日调用量超过400亿腾讯位置大数据服务,成功地对景区进行实时客流量监控及预测,并推动了旅游产品服务的精准营销。

数智的广泛运用,也反映了腾讯在大数据上的步伐在加速。今年8月,腾讯云与大数据分析平台厂商,永洪科技达成战略合作,永洪科技旗下500多家合作伙伴、2000多家企业客户(包括中国移动、中国电信、华为集团、中信银行等)和4万多个付费用户将成为腾讯云进一步发展的基础。此外,腾讯云和同程旅游、人民日报的合作正在扎实推进。

毫无疑问,云计算、大数据和人工智能将在多方面重塑企业的经营和管理,企业对数据存储和利用的能力将成为核心竞争力。

除了腾讯、阿里在布局大数据和云计算之外,通讯企业和其他诸多互联网公司都纷纷卷入竞争,谁都不想错过了这次技术革新的机会。

不管愿意还是不愿意,企业未来在互联网上的业务成功将高度依赖云计算,这是行业趋势,也是历史的必然。

您可能也感兴趣:
    华为Mate 9值得买吗?华为Mate 9深度评测
    华为Mate 9刚刚发布 华为Mate 9极速评测 华为Mate 9深度体验
    vivoX9发布会在即 vivoX9怎么样?
    三星宣布80亿美元收购汽车零部件供应商哈曼国际
    成龙获奥斯卡终身成就奖 中国风黑长袍亮相现场
标签: 腾讯 腾讯云服务 腾讯云服务大数据 腾讯云 ( 责任编辑:姚银锋)
分享到
复制链接
打印

官方微博/微信

每日头条、业界资讯、热点资讯、八卦爆料,全天跟踪微博播报。各种爆料、内幕、花边、资讯一网打尽。百万互联网粉丝互动参与,TechWeb官方微博期待您的关注。

↑扫描二维码

想在手机上看科技资讯和科技八卦吗?

想第一时间看独家爆料和深度报道吗?

请关注TechWeb官方微信公众帐号:

1.用手机扫左侧二维码;

2.在添加朋友里,搜索关注TechWeb。

 

(共有 条评论 ) 网友评论

()
发表评论:
  名字:   验证码: 获取验证码
同时转发到   

更多移动设备

红米Note 5A今晚发布

今天上午,小米总裁林斌在微博预热,红米Note 5A定于今晚7点30以直播的方式发布。...

iPhone 8或将保留指纹

到了现在这个地步,iPhone 8的信息都已经曝光的差不多了,配置、外形、功能大家都已经...

诺基亚8国行价格曝光

上周诺基亚在海外发布了诺基亚8手机,不过这款手机的屏幕尺寸略小,并不是现在主流产...

更多移动互联

支付宝微信移动支付之争扩大至海外

软银前总裁尼克什·阿罗拉(Nikesh Arora)认为,Uber下一任CEO的首要任务就是解决这...

ofo宣布正式进入美国西雅图

腾讯公布2017年第二季度及中期业绩报告,微信和WeChat合并月活跃用户数达9.63亿,同比...

更多移动应用

Win10新版全力优化Edge浏览器

Windows 10秋季创意者更新箭在弦上,预计最快9月推送。据WMPU报道,微软宣布,在秋季...

小众下载工具推荐

迅雷是一款非常有魔力的下载工具。早些时候的快车、网络蚂蚁等下载工具也不知道是从什...

iOS版的Google Docs功能更新

在关于 iPad Pro 是否能取代电脑的无休止的争论中,总有很多意见认为它很难成为一个全...

更多手机游戏

阴阳师妖刀姬手办

妖刀姬手办虽然目前仍在监修中,不过已经复刻出了十足的英姿和美貌。......

神舞幻想主角夕羽

善恶怎么判,正邪亦两难。《梦幻诛仙手游》新版本近日上线。......

倩女第二章解锁新动作

八月,新的开始,新的故事,倩女手游全新篇章华丽开启!...

《奇迹暖暖》新套装黎明之冠新月之吻

夜雾迷城活动2月22日5:00—2月28日23:59,本次活动新增套装黎明之冠新月之吻,下面为......