CDP对Azure ADLS云对象存储的访问控制

发布日期:2021-01-05 16:15
src=http___www.soft6.com_uploadfile_2017_0920_20170920022715795.jpg&refer=http___www.soft6
CDP for Azure引入了使用Apache Ranger策略用于访问Azure Data Lake Storage的细粒度授权。Cloudera和Microsoft在该集成方面一直紧密合作,这大大简化了对ADLS-Gen2云存储访问的安全管理。
Apache Ranger提供了一个集中式控制台来管理授权和查看对资源访问的审计,对包括Apache Hadoop的HDFS、Apache Hive、Apache HBase、Apache Kafka、Apache Solr在内的大量服务。Apache Ranger提供了丰富而强大的策略模型,其功能包括资源名称中的通配符、显式拒绝、基于时间的访问、对角色的支持、委派的策略管理、安全区域和基于分类的授权等。另外,Apache Ranger启用基于策略的动态列掩码和行过滤。CDP for Azure使Apache Ranger授权的所有丰富性和简便性可用于访问ADLS-Gen2云存储。
在接下来的几节中,我们将向您概述此新功能解决的常见挑战,如何配置和使用它。

用例1:授权用户访问其主目录
让我们考虑一个简单的用例-设置策略以允许用户完全访问其ADLS-Gen2中的主目录。
ADLS-Gen2的Ranger策略

图1:用于访问ADLS-Gen2中用户主目录的Ranger策略
上述策略允许在给定ADLS-Gen2存储帐户和容器的所有用户的主目录/user/ <用户名>下对其进行完全访问。请注意在资源路径和用户名中使用{USER}宏。在Apache Ranger策略引擎评估用于授权访问的策略时,该宏将替换为用户名。
用户访问ADLS-Gen2中的主目录
要查看上述策略的实际效果,让我们执行一些命令行操作以列出目录、创建、读取和删除文件。



图2:通过Hadoop命令行访问ADLS-Gen2中的主目录内容
可在Apache Ranger控制台中以交互方式获得上述操作的审核日志,其中包括时间、用户、路径、操作、客户端IP地址、集群名称和授权访问的Ranger策略等详细信息。此外,审核日志存储在可配置的ADLS-Gen2位置,以进行长期访问。


图3:Ranger审核日志,显示对ADLS-Gen2中主目录内容的访问
用户尝试访问ADLS-Gen2中另一个用户的主目录
现在,让我们尝试访问另一个用户的主目录中的数据。访问被拒绝,审核日志记录了尝试的访问。

图4:访问另一个用户的主目录被拒绝


图5:Ranger审核日志显示访问另一个用户的主目录被拒绝


图6:Ranger审核日志详细信息,显示谁在何时何地访问了什么

用例2:从Spark访问
对于下一个用例,让我们提交一个Spark作业,该作业读取数据并将结果写入ADLS-Gen2。在YARN容器中运行的Spark执行程序使用委派令牌访问ADLS-Gen2。


图7:Spark作业的ADLS-Gen2访问-由Ranger策略授权


图8:Ranger审核日志,显示了来自Spark作业的ADLS-Gen2访问
请注意,所有访问都是作为提交Spark作业的用户mneethiraj执行的。审核日志显示,Spark作业执行将创建临时文件和目录,然后在作业执行结束时将其删除。

用例3:从Hive / Impala查询进行访问
接下来,我们将使用以下语句在ADLS-Gen2中使用数据创建一个Hive外部表:

图9:在Hive中创建一个外部表,该表从ADLS-Gen2目录读取数据
对于上面的表创建,在Apache Atlas中查看血缘,如下所示:


图10:ADLS-Gen2目录和Hive表之间的沿袭
在此表上执行查询时,HiveServer2使用其服务用户身份“ hive”访问ADLS-Gen2中的数据,如在Ranger审核日志中所见。


图11:Hive表查询,该表从ADLS-Gen2目录读取数据
请注意,已向运行查询mneethiraj的用户授权Hive SELECT操作,并且已为HiveServer2服务用户hive授权访问ADLS-Gen2中的表数据。


图12:Ranger审核显示查询执行的授权:Hive表,ADLS-Gen2

用例4:基于分类的访问控制
在倒数第二个用例中,我们将在Apache Atlas中为ADLS-Gen2目录tax_2015.db添加以下分类:

EXPIRES_ON, with attribute expiry_date=2020/01/01, with attribute expiry_date=2020/01/01


图13:ADLS-Gen2目录上的EXPIRES_ON分类,带有expiry_date
在Apache Ranger中为EXPIRES_ON分类预先配置的基于分类的策略,将在指定的expiry_date之后拒绝访问ADLS-Gen2目录内容–如下所示:


图14:在expiry_date之后拒绝访问ADLS-Gen2目录的拒绝


图15:Ranger审核日志,显示拒绝访问ADLS-Gen2目录的详细信息

用例5:从ADLS-Gen2到Hive表的分类传播
在最后一个用例中,我们将重点介绍由于Apache Atlas跟踪的血缘,在上一步中添加到ADLS-Gen2目录的分类如何自动传播到Hive外部表finance_db.tax_2015。


图16:EXPIRES_ON分类已从ADLS-Gen2目录传播到Hive表
拒绝访问ADLS-Gen2目录的基于分类的策略将拒绝访问此派生的Hive表中的数据的任何尝试。

图17:在expiry_date之后拒绝访问Hive表


图18:Ranger审核日志,显示拒绝访问Hive表的详细信息

先决条件
启用Raz功能的Azure环境CDP

带有Raz(Ranger Remote Authorization)功能启用的CDP环境是使用Apache Ranger政策来授权访问ADLS-Gen2的先决条件。请联系您的Cloudera客户经理以启用此功能。

下一步
我们希望该博客可以帮助您了解Cloudera Data Platform中使用Apache Ranger策略的ADLS-Gen2访问控制。除了可以更轻松地设置访问控制之外,以交互方式查看ADLS-Gen2访问的审核日志的功能还可以帮助满足特定的合规性需求。
请继续关注更多涉及以下主题的博客:
• 适用于AWS-S3的Apache Ranger细粒度授权
• 在CDP之外访问CDP生成的ADLS-Gen2文件/目录,反之亦然。
分享到:
推荐精彩博文