【PPT+实录】搜狗资深工程师申贤强:大数据处理和统一任务调度系
发布时间:2021-03-19 20:17:40 所属栏目:大数据 来源:网络整理
导读:【 本文系互联网技术联盟(ITA1024)原创首发,转载或节选内容前需获授权(授权后一周以后可以转载),且必须在正文前注明:本文转自互联网技术联盟(ITA1024)技术分享实录,微信公众号:ita1024k 】 申贤强 搜狗 资深工程师 互联网技术联盟 ITA1024讲师团成
资源利用率不高,我们存在资源浪费,并且在优先级支持是不太足够。我们现在所使用的系统就是的2.0调度系统,引入Docker,这是我们核心的逻辑都在上面。 第一,引入Docker解决环境依赖,Docker不在今天会议上,最大的优势资源与环境的隔离。 ??? 第二,YARN,比较优秀开源框架,大家对它使用比较多,解决调度问题,优先级问题,资源利用率的武装,所以这是引入YARN的原因。 ??? (编辑:辽源站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |