加入收藏 | 设为首页 | 会员中心 | 我要投稿 辽源站长网 (https://www.0437zz.com/)- 云专线、云连接、智能数据、边缘计算、数据安全!
当前位置: 首页 > 大数据 > 正文

【PPT+实录】搜狗资深工程师申贤强:大数据处理和统一任务调度系

发布时间:2021-03-19 20:17:40 所属栏目:大数据 来源:网络整理
导读:【 本文系互联网技术联盟(ITA1024)原创首发,转载或节选内容前需获授权(授权后一周以后可以转载),且必须在正文前注明:本文转自互联网技术联盟(ITA1024)技术分享实录,微信公众号:ita1024k 】 申贤强 搜狗 资深工程师 互联网技术联盟 ITA1024讲师团成

【PPT+实录】搜狗资深工程师申贤强:大数据处理和统一任务调度系

???

资源利用率不高,我们存在资源浪费,并且在优先级支持是不太足够。我们现在所使用的系统就是的2.0调度系统,引入Docker,这是我们核心的逻辑都在上面。


【PPT+实录】搜狗资深工程师申贤强:大数据处理和统一任务调度系

??

第一,引入Docker解决环境依赖,Docker不在今天会议上,最大的优势资源与环境的隔离。

???

第二,YARN,比较优秀开源框架,大家对它使用比较多,解决调度问题,优先级问题,资源利用率的武装,所以这是引入YARN的原因。

???

(编辑:辽源站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

推荐文章
    热点阅读