Spark SQL性能提升17.7倍是如何实现的？
发布时间：2019-11-15 10:19:41 所属栏目：点评 来源：云计算
导读：在互联网运营商等大规模、超大规模用户中，Spark是最受欢迎的大数据系统，Spark对于内存依赖性很强，所以当负载提高时，硬件平台的内存挑战就会十分明显，浪潮为国内最大的语音识别服务提供商引入了Intel傲腾内存，经过整体优化测试，整体性能提高了17.7倍
|
从上图中我们看到有两组结果的对比，其实是在我们的测试中进行了两轮测试。第一轮测试模拟DRAM内存和傲腾内存没有缓存任何数据的情况。第二轮测试模拟傲腾内存已经缓存了全部的数据，而DRAM内存因为容量有限只缓存了部分数据的情况。第一轮测试中，因为傲腾内存提供了更大的缓存池，性能有了6倍的提升，在第二轮测试中性能提升更加明显，傲腾内存表现出了17.7X的性能提升(=3452.6/194.28) 。 收益分析：
（编辑：辽源站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
