获得计算冠军 腾讯云发动大数据变革

2016.11.14 16:53:00 来源: 百家号 作者:路北 ( 条评论 )
 

1

11月10日,2016 Sort Benchmark排序竞赛的成绩在官网上予以公布,腾讯云用不到99秒(98.9秒)的速度,完成了100TB的数据从小到大的排序,打破了去年阿里云329秒的纪录,速度提升了3.3倍。

在数据排序领域,往往呈现出颠覆性的提速,在前年百度夺冠时候,100TB排序的最短时间是716秒,更早前Hadoop的纪录是4222秒。

Sort Benchmark在全球具有计算奥运会之称,腾讯云的胜出,对于当前国内云计算市场、企业大数据应用究竟意味着什么?

技术准备:运算速度大幅提升,平台投入不断加强

关注大数据和计算机的小伙伴对Sort Benchmark并不会陌生。这家专门从事排序基准评估的非盈利机构,每年都会举办一次排序基准评估比赛,吸引了包括亚马逊、Apache Spark、Hadoop、腾讯、百度在内的世界上大型网络科技公司和顶尖学术机构参赛,以评估各自软硬件系统架构能力及最新研究成果,可以说是全球计算界的顶级赛事。

Sort Benchmark的排序竞赛一共包含4项比赛,其中Gray Sort和Minute Sort主要评测计算系统的规模和效率,在4项比赛中含金量最高。每一项比赛又分通用目的排序(Daytona)和专用目的排序(Indy)两个类别。腾讯云的数智分布式计算平台,全部夺得上述4个子项的冠军并创造了新的世界纪录,大幅刷新了去年阿里云的成绩。

2

排序竞赛中,100TB数据的排序比赛的规则最简单,也最能直观地看出平台的运算能力。100TB数据排序,就是把1万亿条无规律的100字节记录,严格按照从小到大的顺序排好。这直接考验分布式系统中存储、调度、通信等各个子系统的性能,反映一个平台的整体计算能力。

在这场跑数据的奥运会上,腾讯云和阿里云是近年的新秀。这几年来,腾讯云和阿里云都在倡导大数据计算,投入都十分巨大。在本次比赛中,腾讯云数智在架构和软件方面下了十足的功夫, 同时在硬件上投入512台IBM的Open POWER服务器和迈络思的100Gb互联技术,可谓软硬兼修。

市场变化:成也数据,败也数据,云计算已成为刚需

现在的竞争,已经是数据的竞争,数据处理速度的背后,关系到业务洞察能力的高低。对云计算平台来说,在Sort Benchmark上争排名高低,不仅关乎平台整体形象,更与业务的开展和效益的提升息息相关。一方面,没了计算速度,云服务就成了空中楼阁、无本之木;另一方面,速度带来的效益,远不止我们想象的那么简单,往往一秒之差,企业的经营结果就高下立判。

当下企业的经营,对大规模生产的依赖度已经有所降低,而对精准营销和主动营销的需求不断强化。大数据分析水平的高低,在很大程度上决定企业的盈利能力。

依靠云计算和大数据,可以帮企业实现以前不可能实现的目标。

首先,通过分析用户行为信息对其精准画像,开展差别化营销,激发潜在消费,使营销更加精准。

其次,依靠大数据对各因素之间相关性的计算,进行用户消费行为的预测,使营销更加主动,贯彻“用户终身价值管理”理念。最后,也是最重要的,云计算可以帮助企业打造新的盈利模式,这类情况,在金融、快消等领域有很多案例。

比如,近两年春节红得发紫的微信和QQ的“红包”,微信在2016年除夕经受住了1秒钟收发40多万个红包的最高流量冲击,全球QQ用户则在那天晚上“刷”了1894亿次。

全民抢红包的幕后,云计算是当之无愧的英雄。为保证红包的正常收发,腾讯云在广州和上海两地的云机房上做了分流,设置了容灾系统,开发列表系统用来处理用户抢、拆、发、查红包的数据,并整合DNS Pod输出了跨域流量调度方案,这些技术在云计算行业史上都是第一次。

除了让微信和QQ经受了“红包大战”高峰值、大流量的考验,腾讯云更是助力其成功打造了一个以红包为纽带的盈利模式,要知道,用户使用红包,一般就会绑定银行卡,而绑定银行卡之后,很多业务和盈利也就有了想象空间。

受益于云计算的不止微信和QQ。

市场研究公司Gartner称,公有云能为企业平均降下14%的成本。经过这几年的市场启蒙,企业对大数据作用的认识已经被唤醒,云服务逐渐取代了企业自建的服务系统,企业刚需不断催生了大数据和云服务市场的开发。Gartner的数据显示,全球公共云服务市场规模今年有望达到2040亿美元,较2015年的1750亿美元增长16.5%,而且这种两位数的发展势头将会持续到2017年。

使用进展:数智让企业数据真正跑起来

就目前来看, 大数据的收集已经不是难事。一方面,数据不一定要是文字和数字,图片、声音、视频甚至地理位置等非结构化的信息都能被加以利用。另一方面,数据的获取渠道已经无处不在,很多时候甚至不容易被人察觉。比如一些APP可以通过WIFI、射频技术(RFID)和蓝牙所获取用户位置信息。海量的数据不断积累,并且在以几何级数增长。

但是数据收集起来之后,又面临一个问题,也是传统IT一直没有很好解决的一块问题——企业数据的利用率很低。为了避免数据的浪费,腾讯云特地为企业开发了“数智分布式计算平台”。数智包含3层46个产品组件,是在腾讯多年海量数据处理经验之上,结合开源Hadoop生态和自研组件服务,对外提供的可靠、安全、易用的大数据处理平台。为客户提供了从采集、存储、计算、挖掘到可视化的一站式数据处理服务。

此次创下Sort Benchmark四项新纪录,可以看做是数智在国际大赛上的牛刀小试。国内实践方面,在10亿用户画像数据分析,量级约为10TB的count、sum和group计算中,数智平台能够将传统Hadoop长达20分钟的计算时长缩短到秒级,大数据处理速度提升高达780倍。数智在对微信每天160亿级别的多维分析场景中,能够做到6秒返回结果。

基于此,数智的应用领域已经在扩展。广东省旅游部门通过数智,结合腾讯覆盖全国10亿的人群画像能力,及日调用量超过400亿腾讯位置大数据服务,成功地对景区进行实时客流量监控及预测,并推动了旅游产品服务的精准营销。

数智的广泛运用,也反映了腾讯在大数据上的步伐在加速。今年8月,腾讯云与大数据分析平台厂商,永洪科技达成战略合作,永洪科技旗下500多家合作伙伴、2000多家企业客户(包括中国移动、中国电信、华为集团、中信银行等)和4万多个付费用户将成为腾讯云进一步发展的基础。此外,腾讯云和同程旅游、人民日报的合作正在扎实推进。

毫无疑问,云计算、大数据和人工智能将在多方面重塑企业的经营和管理,企业对数据存储和利用的能力将成为核心竞争力。

除了腾讯、阿里在布局大数据和云计算之外,通讯企业和其他诸多互联网公司都纷纷卷入竞争,谁都不想错过了这次技术革新的机会。

不管愿意还是不愿意,企业未来在互联网上的业务成功将高度依赖云计算,这是行业趋势,也是历史的必然。

您可能也感兴趣:
    华为Mate 9值得买吗?华为Mate 9深度评测
    华为Mate 9刚刚发布 华为Mate 9极速评测 华为Mate 9深度体验
    vivoX9发布会在即 vivoX9怎么样?
    三星宣布80亿美元收购汽车零部件供应商哈曼国际
    成龙获奥斯卡终身成就奖 中国风黑长袍亮相现场
标签: 腾讯 腾讯云服务 腾讯云服务大数据 腾讯云 ( 责任编辑:姚银锋)
分享到
复制链接
打印

官方微博/微信

每日头条、业界资讯、热点资讯、八卦爆料,全天跟踪微博播报。各种爆料、内幕、花边、资讯一网打尽。百万互联网粉丝互动参与,TechWeb官方微博期待您的关注。

↑扫描二维码

想在手机上看科技资讯和科技八卦吗?

想第一时间看独家爆料和深度报道吗?

请关注TechWeb官方微信公众帐号:

1.用手机扫左侧二维码;

2.在添加朋友里,搜索关注TechWeb。

 

(共有 条评论 ) 网友评论

()
发表评论:
  名字:   验证码: 获取验证码
同时转发到   

更多移动设备

OPPO R11s全面屏手机确认

前不久OPPO确认了旗下的一款新手机R11s,其实今年上半年OPPO刚刚宣布了R11手机,但很...

超高性价比!红米5A评测

2016年11月4日,小米总裁林斌通过小米直播发布了两款超值性价比新机——红米4与红米4A...

iPhone 8 Plus顶配大降价

唯品会不仅仅把国行版iPhone 8的价格首次下谈到到5000元以内,更是把iPhone 8 Plus的...

更多移动互联

爱立信全球再次裁员4100人

据SK海力士(SK Hynix)今日发布的一份声明显示,收购东芝芯片业务部门后,贝恩资本(Bai...

软银投资Uber的交易或生变

监管文件显示,科斯罗萨西周四通知纽约时报公司董事会,他将因为出任Uber的新职位而卸...

更多移动应用

对抗Spotify: 苹果申请一商标

日前,Spotify 宣布了一项新的“RISE”计划,该计划与 Apple Music 的“Up Next”系列...

Wine 2.0.3稳定版发布

Wine (“Wine Is Not an Emulator”的递归缩写)是一个能够在Linux、macOS以及BSD上...

Win10秋季更新开始菜单崩溃

Windows 10第四次重大升级秋季创意者已经推送,首批会有几百万的规模。这么大幅度的升...

更多手机游戏

阴阳师小鹿男秘闻副本

在体验服开放了小鹿男副本“觉醒的意志”,包括了奖励新皮肤:隐鳞山海,......

救救被南瓜换走的大喵

传说万圣之夜的化装舞会上,会有真正的魔女出没。如果有人问你要糖果,随便拒绝的话可......

王者荣耀本周限免公告

王者荣耀今天S9赛季正式上线,那么究竟都更新了什么限免英雄?我们就一起来看看啊!......

绝地求生大逃杀决赛圈攻略

《绝地求生大逃杀》中的四排是需要有一些战术策略的,这样团队合作才能发挥出较好的效......