加入收藏 | 设为首页 | 会员中心 | 我要投稿 辽源站长网 (https://www.0437zz.com/)- 云专线、云连接、智能数据、边缘计算、数据安全!
当前位置: 首页 > 综合聚焦 > 编程要点 > 语言 > 正文

基于Kubernetes的Spark部署完全指南

发布时间:2020-09-02 13:01:43 所属栏目:语言 来源:网络整理
导读:【金融特辑】光大****科技部DBA女神带你从0到1揭秘MGR 【编者的话】本文是在Kubernets上搭建Spark集群的操作指南,同时提供了Spark测试任务及相关的测试数据,通过阅读本文,你可以实践从制作Spark镜像、搭建Spark容器集群,到在集群上运行测试任务的完整流
副标题[/!--empirenews.page--] 【金融特辑】光大****科技部DBA女神带你从0到1揭秘MGR

【编者的话】本文是在Kubernets上搭建Spark集群的操作指南,同时提供了Spark测试任务及相关的测试数据,通过阅读本文,你可以实践从制作Spark镜像、搭建Spark容器集群,到在集群上运行测试任务的完整流程。

Yarn曾经是Hadoop默认的资源编排管理平台。但最近情况有所变化,特别是对于Hadoop中的Spark,由于其与S3等其他存储平台集成得很好,而与Hadoop生态中其他组件反而没有太紧密的关联,因此Kubernetes正迅速替代Yarn,成为基于对象存储的Spark系统的默认编排管理平台。在这篇文章中,我们将深入研究如何在Kubernetes集群上构建和部署Spark容器。由于Spark的运行依赖于数据,我们将配置Spark集群通过S3 API进行存储操作。

基于Kubernetes的Spark部署完全指南

构建Spark容器

在Kubernetes上部署应用的第一步,是创建容器。虽然有些项目会提供官方的容器镜像,但截止到写此文时,Apache Spark并没有提供官方镜像。因此我们将自己创建Spark容器,让我们从Dockerfile开始。

FROM java:openjdk-8-jdk 

 

ENV hadoop_ver 2.8.2 

ENV spark_ver 2.4.4 

 

RUN mkdir -p /opt &&  

cd /opt &&  

curl ${hadoop_ver}/hadoop-${hadoop_ver}.tar.gz |  

    tar -zx &&  

ln -s hadoop-${hadoop_ver} hadoop &&  

echo Hadoop ${hadoop_ver} installed in /opt 

 

RUN mkdir -p /opt &&  

cd /opt &&  

curl ${spark_ver}/spark-${spark_ver}-bin-without-hadoop.tgz |  

    tar -zx &&  

ln -s spark-${spark_ver}-bin-without-hadoop spark &&  

echo Spark ${spark_ver} installed in /opt 

 

ENV SPARK_HOME=/opt/spark 

ENV PATH=$PATH:$SPARK_HOME/bin 

ENV HADOOP_HOME=/opt/hadoop 

ENV PATH=$PATH:$HADOOP_HOME/bin 

ENV LD_LIBRARY_PATH=$HADOOP_HOME/lib/native 

 

RUN curl  -o /opt/spark/jars/hadoop-aws-2.8.2.jar 

RUN curl  -o /opt/spark/jars/httpclient-4.5.3.jar 

RUN curl time/joda-time/2.9.9/joda-time-2.9.9.jar -o /opt/spark/jars/joda-time-2.9.9.jar 

RUN curl  -o /opt/spark/jars/aws-java-sdk-core-1.11.712.jar 

RUN curl  -o /opt/spark/jars/aws-java-sdk-1.11.712.jar 

RUN curl  -o /opt/spark/jars/aws-java-sdk-kms-1.11.712.jar 

RUN curl  -o /opt/spark/jars/aws-java-sdk-s3-1.11.712.jar 

 

ADD start-common.sh start-worker start-master / 

ADD core-site.xml /opt/spark/conf/core-site.xml 

ADD spark-defaults.conf /opt/spark/conf/spark-defaults.conf 

ENV PATH $PATH:/opt/spark/bin 

在这个Dockerfile中,我们首先从官方地址下载Apache Spark和Hadoop,然后从Maven获取关联的jar包。当所有关联的文件都已经下载并解压到一个特定的目录后,我们将这些重要的配置文件添加到镜像中。

在这个过程中,你可以很方便的添加自己环境特有的配置。

原本我们可以跳过以上步骤,直接使用一个预先构建好的镜像,但是通过解读这些步骤可以让我们的读者看到Spark容器内部的内容,高级用户可以据此修改来满足他们特殊的需求。

以上示例中使用到的Dockerfile和其他关联的配置文件,可以从这个GitHub仓库中获取。如果要使用这个仓库中的内容,请先使用以下命令将其克隆到本地:

git clone git@github.com:devshlabs/spark-kubernetes.git 

现在,你可以根据需要在你的环境中进行任何更改,然后构建镜像,并上传到你使用的容器注册表中。在本文的示例中,我使用Dockerhub作为容器注册表,命令如下:

cd spark-kubernetes/spark-container 

docker build . -t mydockerrepo/spark:2.4.4 

docker push mydockerrepo/spark:2.4.4 

记得将其中的mydockerrepo替换为你实际的注册表名字。

在Kubernetes上部署Spark

(编辑:辽源站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

推荐文章
    热点阅读