讲师简介

林伟(伟林)阿里巴巴集团资深技术专家

林伟,阿里云大数据事业部资深架构师,原微软Cosmos/Scope核心开发人员, 现负责阿里云大数据计算平台总体架构,该平台是阿里巴巴核心计算分析平台,承担阿里内部绝大数计算任务。林伟作为一名分布式系统研究员,在国外一流会议OSDI, SIGMOD, NSDI, VLDB发表多篇论文。是大数据存储,分布式计算,数据查询优化,分布式调度等领域的专家。具有10多年研究和开发经历,分别打造微软和阿里内部大型数万台级别数据中心的计算平台。
议题简介

阿里大规模数据计算与处理平台2016-12-06 19:50:00

双11对阿里云大数据平台的技术挑战主要体现在两方面。实时数据处理技术方面,包括日志数据和交易数据的实时采集、分发、计算,最终在媒体直播大屏上实时渲染和展示,整个链路的稳定性保障压力是巨大的。今年双11,阿里云实时大数据系统完成了三项世界级的挑战:1)低延时,从零点第一笔交易发生,到媒体大屏上显示出统计结果,整个处理过程仅延时不到3秒钟。2)高性能、高吞吐,最高处理速度达到9556万条/秒,流计算的整体性能比去年提升了10倍。3)高可用,全天服务不降级、无故障,扛下了高峰期所有的流量。而在超大规模的离线数据处理方面,双11期间,阿里云MaxCompute抗下了单天数据处理峰值180PB,以及百万级的调度作业,这对于作业调度、计算性能、系统稳定性等都是极大的考验。