66、安全访问HDFS和ZooKeeper

安全访问HDFS和ZooKeeper

HBase需要安全的ZooKeeper和HDFS,以便用户无法访问或修改HBase下的元数据和数据。HBase使用HDFS(或配置的文件系统)来保留其数据文件以及预写日志(WAL)和其他数据。HBase使用ZooKeeper来存储操作的一些元数据(主地址(master address),表锁(table locks),恢复状态(recovery state)等)。

保护ZooKeeper数据

ZooKeeper具有可插入的身份验证机制,可以使用不同的方法访问客户端。ZooKeeper甚至允许同时允许经过身份验证和未经身份验证的客户端。通过为每个znode提供访问控制列表(ACL)来限制对znodes的访问。ACL包含两个组件,即身份验证方法和主体。ACL不是分层强制执行的。

HBase守护程序通过SASL和Kerberos向ZooKeeper进行身份验证(请参阅使用ZooKeeper进行SASL身份验证)。HBase设置znode ACL,以便只有HBase用户和配置的hbase超级用户(hbase.superuser)可以访问和修改数据。在ZooKeeper用于服务发现或与客户端共享状态的情况下,由HBase创建的znodes也将允许任何人(不管身份验证)读取这些znode(clusterId,主地址,元位置等),但只有HBase用户可以修改它们。

保护文件系统(HDFS)数据

所有管理的数据都保存在文件系统(hbase.rootdir)的根目录下。访问文件系统中的数据和WAL文件应受到限制,以便用户不能绕过HBase层,并从文件系统中查看底层数据文件。HBase假定使用的文件系统(HDFS或其他)分层次地强制执行权限。如果没有提供足够的文件系统保护(授权和身份验证),HBase级别授权控制(ACL,可见性标签等)就没有意义,因为用户可以随时访问文件系统中的数据。

HBase对其根目录执行posix-like权限700(rwx——)。这意味着只有HBase用户可以读写FS中的文件。可以通过在hbase-site.xml中进行配置hbase.rootdir.perms来更改默认设置。需要重新启动活动主服务器,以便更改使用的权限。对于1.2.0之前的版本,您可以检查是否提交了HBASE-13780,如果没有,您可以根据需要手动设置根目录的权限。使用HDFS,该命令将是:

sudo -u hdfs hadoop fs -chmod 700 /hbase

如果你使用不同的hbase.rootdir,你应该改变/hbase。

在安全模式下,应配置SecureBulkLoadEndpoint并将其用于正确地将从MR作业创建的用户文件移交给HBase守护程序和HBase用户。用于批量加载(hbase.bulkload.staging.dir默认为/tmp/hbase-staging)的分布式文件系统中的状态目录应具有(模式711或rwx—x—x),以便用户可以访问在该父目录下创建的状态目录,但无法执行任何其他操作。