2012年前后,腾讯通过引入Spark、Storm、Flink等实时计算处理框架,让大数据平台处理性能迈入毫秒级别,推动平台迭代至以实时计算为特色的第二代。随着深度学习技术的兴起,腾讯大数据团队从2015年开始从0到1自研机器学习框架Angel,推动大数据处理正式进入智能化时代。
至此,全球大数据技术的发展似乎进入瓶颈期,下一代大数据计算平台究竟往哪个方向发展成为业界关注的焦点。
带着这样的疑问,腾讯基于对于数据治理和数据建模的理解,从2019年便开始着手规划建设第四代计算平台,通过引入批流融合、数据湖、联邦学习等新型技术,围绕安全、智能、统一等能力打造下一代腾讯数智融合计算平台。