我要投搞

标签云

收藏小站

爱尚经典语录、名言、句子、散文、日志、唯美图片

当前位置:六合特肖 > 访问令牌 >

kerberos认证集群访问方法、SparkStandalone集群及其驱动节点

归档日期:07-19       文本归类:访问令牌      文章编辑:爱尚语录

  该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京搜狐新媒体信息技术有限公司,未经北京搜狐新媒体信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】

  本发明提供了一种kerberos认证集群访问方法、SparkStandalone集群及其驱动节点,当驱动节点接收到第一用户通过客户端提交的Spark任务后,从所述kerberos认证集群获取所述第一用户的身份信息与密钥表文件;利用所述第一用户的身份信息与密钥表文件,登陆kerberos认证服务器;当登陆kerberos认证服务器成功后,从所述kerberos认证集群获取授权令牌;将所述授权令牌发送至执行节点,所述授权令牌用于所述执行节点访问所述kerberos认证集群中的计算资源。本发明的kerberos认证集群访问方法、SparkStandalone集群及其驱动节点,从kerberos认证集群中获取第一用户的身份信息与密钥表文件,以此获取kerberos认证集群的授权令牌,并将授权令牌发送给执行节点,从而实现了SparkStandalone集群中的执行节点对kerberos认证集群的计算资源的访问。

  本发明涉及通信技术领域,更具体的说,涉及kerberos认证集群访问方法、SparkStandalone集群及其驱动节点。

  Spark是UC Berkeley AMP lab(加州大学伯克利分校的AMP实验室)所开源的通用并行框架,内部实现了容错性和资源管理,Spark的Standalone模式可以部署到单独的集群中,无需依赖其他资源管理系统,相对于其他的部署方式在性能上有一定的优势。

  在实际应用中,SparkStandalone集群需要用到的计算资源可能会存放在某些认证集群中,例如Kerberos认证集群。然而,由于Kerberos认证的限制,SparkStandalone集群并不能直接对Kerberos认证集群中的计算资源进行访问,而且,目前也并没有可行的技术方案能够实现SparkStandalone集群对Kerberos认证集群中的计算资源的访问。

  所以,目前迫切需要一种能够实现SparkStandalone集群对Kerberos认证集群中的计算资源进行访问的技术方案。

  有鉴于此,本发明提供了一种kerberos认证集群访问方法、SparkStandalone集群及其驱动节点,以解决目前SparkStandalone集群无法访问kerberos认证集群中计算资源的问题。

  一种kerberos认证集群访问方法,应用于SparkStandalone集群中的驱动节点,所述方法包括:

  当接收到第一用户通过客户端提交的Spark任务后,从所述kerberos认证集群获取所述第一用户的身份信息与密钥表文件,其中,所述第一用户为一kerberos认证用户;

  利用所述第一用户的身份信息与密钥表文件,登陆kerberos认证服务器;

  当登陆kerberos认证服务器成功后,从所述kerberos认证集群获取授权令牌;

  当获取到所述授权令牌后,将所述授权令牌发送至执行节点,所述授权令牌用于所述执行节点访问所述kerberos认证集群中的计算资源。

  优选的,所述SparkStandalone集群由第二用户启动,所述第二用户是与所述第一用户不同的另一kerberos认证用户。

  优选的,所述kerberos认证集群中的第一用户的身份信息与密钥表文件,是由所述客户端在提交所述Spark任务时发送至所述kerberos认证集群的。

  优选的,在所述从所述kerberos认证集群获取所述第一用户的身份信息与密钥表文件之后,以及,所述利用所述第一用户的身份信息与密钥表文件,登陆kerberos认证服务器之前,所述方法还包括:

  将所述第一用户的身份信息与密钥表文件发送至所述kerberos认证服务器进行认证;

  当认证通过后,执行所述利用所述第一用户的身份信息与密钥表文件,登陆kerberos认证服务器的步骤。

  优选的,在从所述kerberos认证集群获取授权令牌之后,所述方法还包括:

  在所述失效时间到达结束之前,重新执行所述从所述kerberos认证集群获取授权令牌的步骤。

  信息获取单元,用于当所述任务接收单元接收到第一用户通过客户端提交的Spark任务后,从所述kerberos认证集群获取所述第一用户的身份信息与密钥表文件,其中,所述第一用户为一kerberos认证用户;

  用户登陆单元,用于利用所述第一用户的身份信息与密钥表文件,登陆kerberos认证服务器;

  令牌获取单元,用于当用户登陆单元登陆kerberos认证服务器成功后,从所述kerberos认证集群获取授权令牌;

  令牌发送单元,用于当令牌获取单元获取到所述授权令牌后,将所述授权令牌发送至执行节点,所述授权令牌用于所述执行节点访问所述kerberos认证集群中的计算资源。

  一种SparkStandalone集群,包括客户端、执行节点以及前述的驱动节点;

  所述执行节点,用于获取所述驱动节点发送的授权令牌,以及,利用所述授权令牌访问所述kerberos认证集群中的计算资源。

  从上述的技术方案可以看出,本发明提供的kerberos认证集群访问方法、SparkStandalone集群及其驱动节点,驱动节点在接收到Spark任务后,从kerberos认证集群中获取第一用户的身份信息与密钥表文件,并利用所述第一用户的身份信息与密钥表文件登陆kerberos认证服务器,获取kerberos认证集群的授权令牌,将所述授权令牌发送给执行节点后,使执行节点能够利用所述授权令牌访问到kerberos认证集群的计算资源,从而实现了SparkStandalone集群对kerberos认证集群的计算资源的访问。

  为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。

  图2为本申请实施例提供的kerberos认证集群访问方法的另一种流程图;

  图3为本申请实施例提供的kerberos认证集群访问方法的再一种流程图;

  图4为本申请实施例提供的SparkStandalone集群的驱动节点的一种结构示意图;

  图5为本申请实施例提供的SparkStandalone集群的驱动节点的另一种结构示意图;

本文链接:http://shawntierney.com/fangwenlingpai/658.html