HBase安全批量加載

由于客戶端必須將從MapReduce作業(yè)生成的文件的所有權(quán)轉(zhuǎn)移給HBase，所以在安全模式下的批量加載比正常設(shè)置涉及更多。安全批量加載由名為SecureBulkLoadEndpoint的協(xié)處理器實(shí)現(xiàn)，該協(xié)處理器使用由配置屬性hbase.bulkload.staging.dir配置的暫存目錄，該目錄默認(rèn)為/tmp/hbase-staging/。

安全批量加載算法

• 只有一次，創(chuàng)建一個(gè)臨時(shí)目錄，這個(gè)目錄是全局通用的，并由運(yùn)行HBase的用戶擁有（模式711或rwx—?x—?x）。此目錄的列表將類似于以下內(nèi)容：

  $ ls -ld /tmp/hbase-staging
  drwx--x--x  2 hbase  hbase  68  3 Sep 14:54 /tmp/hbase-staging

• 用戶將數(shù)據(jù)寫入該用戶擁有的安全輸出目錄。例如，/user/foo/data。
• 在內(nèi)部，HBase創(chuàng)建一個(gè)全局可讀/可寫（-rwxrwxrwx, 777）的秘密的臨時(shí)目錄。例如，/tmp/hbase-staging/averylongandrandomdirectoryname。該目錄的名稱和位置不會(huì)公開給用戶。HBase管理這個(gè)目錄的創(chuàng)建和刪除。
• 用戶使數(shù)據(jù)具有全局可讀性和可寫性，將其移入隨機(jī)的臨時(shí)目錄，然后調(diào)用該SecureBulkLoadClient#bulkLoadHFiles方法。

安全的優(yōu)勢(shì)在于秘密目錄的長(zhǎng)度和隨機(jī)性。

要啟用安全批量加載，請(qǐng)將以下屬性添加到hbase-site.xml。

<property>
  <name>hbase.security.authorization</name>
  <value>true</value>
</property>
<property>
  <name>hbase.bulkload.staging.dir</name>
  <value>/tmp/hbase-staging</value>
</property>
<property>
  <name>hbase.coprocessor.region.classes</name>
  <value>org.apache.hadoop.hbase.security.token.TokenProvider,
  org.apache.hadoop.hbase.security.access.AccessController,org.apache.hadoop.hbase.security.access.SecureBulkLoadEndpoint</value>
</property>