CDP对Azure ADLS云对象存储的访问控制

src=http___www.soft6.com_uploadfile_2017_0920_20170920022715795.jpg&refer=http___www.soft6
CDP for Azure引入了使用Apache Ranger策略用于访问Azure Data Lake Storage的细粒度授权。Cloudera和Microsoft在该集成方面一直紧密合作，这大大简化了对ADLS-Gen2云存储访问的安全管理。
Apache Ranger提供了一个集中式控制台来管理授权和查看对资源访问的审计，对包括Apache Hadoop的HDFS、Apache Hive、Apache HBase、Apache Kafka、Apache Solr在内的大量服务。Apache Ranger提供了丰富而强大的策略模型，其功能包括资源名称中的通配符、显式拒绝、基于时间的访问、对角色的支持、委派的策略管理、安全区域和基于分类的授权等。另外，Apache Ranger启用基于策略的动态列掩码和行过滤。CDP for Azure使Apache Ranger授权的所有丰富性和简便性可用于访问ADLS-Gen2云存储。
在接下来的几节中，我们将向您概述此新功能解决的常见挑战，如何配置和使用它。

用例1：授权用户访问其主目录
让我们考虑一个简单的用例-设置策略以允许用户完全访问其ADLS-Gen2中的主目录。
ADLS-Gen2的Ranger策略

图1：用于访问ADLS-Gen2中用户主目录的Ranger策略
上述策略允许在给定ADLS-Gen2存储帐户和容器的所有用户的主目录/user/ <用户名>下对其进行完全访问。请注意在资源路径和用户名中使用{USER}宏。在Apache Ranger策略引擎评估用于授权访问的策略时，该宏将替换为用户名。
用户访问ADLS-Gen2中的主目录
要查看上述策略的实际效果，让我们执行一些命令行操作以列出目录、创建、读取和删除文件。



图2：通过Hadoop命令行访问ADLS-Gen2中的主目录内容
可在Apache Ranger控制台中以交互方式获得上述操作的审核日志，其中包括时间、用户、路径、操作、客户端IP地址、集群名称和授权访问的Ranger策略等详细信息。此外，审核日志存储在可配置的ADLS-Gen2位置，以进行长期访问。


图3：Ranger审核日志，显示对ADLS-Gen2中主目录内容的访问
用户尝试访问ADLS-Gen2中另一个用户的主目录
现在，让我们尝试访问另一个用户的主目录中的数据。访问被拒绝，审核日志记录了尝试的访问。

图4：访问另一个用户的主目录被拒绝


图5：Ranger审核日志显示访问另一个用户的主目录被拒绝


图6：Ranger审核日志详细信息，显示谁在何时何地访问了什么

用例2：从Spark访问
对于下一个用例，让我们提交一个Spark作业，该作业读取数据并将结果写入ADLS-Gen2。在YARN容器中运行的Spark执行程序使用委派令牌访问ADLS-Gen2。


图7：Spark作业的ADLS-Gen2访问-由Ranger策略授权


图8：Ranger审核日志，显示了来自Spark作业的ADLS-Gen2访问
请注意，所有访问都是作为提交Spark作业的用户mneethiraj执行的。审核日志显示，Spark作业执行将创建临时文件和目录，然后在作业执行结束时将其删除。

用例3：从Hive / Impala查询进行访问
接下来，我们将使用以下语句在ADLS-Gen2中使用数据创建一个Hive外部表：

图9：在Hive中创建一个外部表，该表从ADLS-Gen2目录读取数据
对于上面的表创建，在Apache Atlas中查看血缘，如下所示：


图10：ADLS-Gen2目录和Hive表之间的沿袭
在此表上执行查询时，HiveServer2使用其服务用户身份“ hive”访问ADLS-Gen2中的数据，如在Ranger审核日志中所见。


图11：Hive表查询，该表从ADLS-Gen2目录读取数据
请注意，已向运行查询mneethiraj的用户授权Hive SELECT操作，并且已为HiveServer2服务用户hive授权访问ADLS-Gen2中的表数据。


图12：Ranger审核显示查询执行的授权：Hive表，ADLS-Gen2

用例4：基于分类的访问控制
在倒数第二个用例中，我们将在Apache Atlas中为ADLS-Gen2目录tax_2015.db添加以下分类：

EXPIRES_ON, with attribute expiry_date=2020/01/01, with attribute expiry_date=2020/01/01


图13：ADLS-Gen2目录上的EXPIRES_ON分类，带有expiry_date
在Apache Ranger中为EXPIRES_ON分类预先配置的基于分类的策略，将在指定的expiry_date之后拒绝访问ADLS-Gen2目录内容–如下所示：


图14：在expiry_date之后拒绝访问ADLS-Gen2目录的拒绝


图15：Ranger审核日志，显示拒绝访问ADLS-Gen2目录的详细信息

用例5：从ADLS-Gen2到Hive表的分类传播
在最后一个用例中，我们将重点介绍由于Apache Atlas跟踪的血缘，在上一步中添加到ADLS-Gen2目录的分类如何自动传播到Hive外部表finance_db.tax_2015。


图16：EXPIRES_ON分类已从ADLS-Gen2目录传播到Hive表
拒绝访问ADLS-Gen2目录的基于分类的策略将拒绝访问此派生的Hive表中的数据的任何尝试。

图17：在expiry_date之后拒绝访问Hive表


图18：Ranger审核日志，显示拒绝访问Hive表的详细信息

先决条件
启用Raz功能的Azure环境CDP

带有Raz（Ranger Remote Authorization）功能启用的CDP环境是使用Apache Ranger政策来授权访问ADLS-Gen2的先决条件。请联系您的Cloudera客户经理以启用此功能。

下一步
我们希望该博客可以帮助您了解Cloudera Data Platform中使用Apache Ranger策略的ADLS-Gen2访问控制。除了可以更轻松地设置访问控制之外，以交互方式查看ADLS-Gen2访问的审核日志的功能还可以帮助满足特定的合规性需求。
请继续关注更多涉及以下主题的博客：
• 适用于AWS-S3的Apache Ranger细粒度授权
• 在CDP之外访问CDP生成的ADLS-Gen2文件/目录，反之亦然。
分享到：