ウェブサイト検索

Namenode の高可用性をセットアップする方法 - パート 5


Hadoop には、HDFSYARN という 2 つのコア コンポーネントがあります。 HDFSデータの保存に使用され、YARNデータの処理に使用されます。 HDFSHadoop 分散ファイル システムであり、マスター サービスとしてのネームノードデータノードがあります。それは奴隷サービスとして。

ネームノードHadoopの重要なコンポーネントであり、HDFSに保存されているデータのメタデータを保存します。 ネームノードがダウンすると、クラスター全体にアクセスできなくなり、単一障害点 (SPOF) になります。そのため、マシンのクラッシュや計画されたメンテナンス活動などのさまざまな理由で 1 つのネームノードがダウンした場合でも、 本番環境の停止を回避するためにネームノードの高可用性が本番環境に導入されます。

Hadoop 2.x では、2 つのネームノードを使用できます。1 つはアクティブ ネームノード、もう 1 つはスタンバイ ネームノード<

  • アクティブ ネームノード – すべてのクライアント操作を管理します。
  • スタンバイ ネームノード – これはアクティブ ネームノードの冗長です。もしアクティブNNがダウンした場合はスタンバイNNアクティブNNのすべての責任を引き継ぎます。

ネームノードの高可用性を有効にするには、自動フェイルオーバーに必須のZookeeperが必要です。 ZKFC (Zookeeper フェイルオーバー コントローラー) は、ネームノードの状態を維持するために使用されるZookeeper クライアントです。

要件

  • CentOS/RHEL 7 に Hadoop サーバーを導入するためのベスト プラクティス – パート 1
  • Hadoop の前提条件のセットアップとセキュリティ強化 - パート 2
  • CentOS/RHEL 7 に Cloudera Manager をインストールして構成する方法 – パート 3
  • CentOS/RHEL 7 に CDH をインストールしてサービス プレースメントを構成する方法 – パート 4

この記事では、Cloudera ManagerNamenode High Availability を有効にします。

ステップ 1: Zookeeper のインストール

1. Cloudera Manager にログインします。

http://Your-IP:7180/cmf/home

2.クラスタ (tecmint) アクション プロンプトで、「サービスの追加」を選択します。

3. サービス「Zookeeper 」を選択します。

4. Zookeeper をインストールするサーバーを選択します。

5. 3 人の動物園飼育員を集めて動物園飼育員定員会を形成します。以下に示すようにサーバーを選択します。

6. Zookeeper プロパティを設定します。ここではデフォルトのものを使用しています。リアルタイムではZookeeper データを保存するために別のディレクトリ/マウント ポイントが必要です。 パート 1 では、各サービスのストレージ構成について説明しました。 [続行] をクリックして続行します。

7. インストールが開始され、インストールされるとZookeeper が開始されます。ここでバックグラウンド操作を確認できます。

8. 上記の手順が正常に完了すると、ステータスは「完了」になります。

9. これで、Zookeeper が正常にインストールされ、設定されました。 [完了] をクリックします。

10.Cloudera Manager ダッシュボードで Zookeeper サービスを表示できます。

ステップ 2: Namenode の高可用性を有効にする

11. Cloudera Manager –> HDFS –> アクション –> 高可用性の有効化に移動します。強い>。

12.ネームサービス名」に「nameservice1 」と入力します。これは、アクティブ ネームノードとスタンバイ ネームノードの両方に共通のネームスペースです。

13. スタンバイネームノードを配置する2 番目のネームノードを選択します。

14. ここでは、スタンバイ Namenode として master2.linux-console.net を選択しています。

15. ジャーナル ノードを選択します。これらはアクティブとスタンバイのネームノードを同期するための必須サービスです。

16. 以下に示すように、3 つのサーバーに ジャーナルノードを配置して、クォーラム ジャーナルを作成しています。 3 つのサーバーを選択し、「OK」をクリックします。

17. [続行] をクリックして続行します。

18.ジャーナル ノードディレクトリ パスを入力します。このディレクトリはサービス自体によって自動的に作成されるため、インストール中にパスを指定する必要があるだけです。 「/jn」 として言及しています。 [続行] をクリックして続行します。

19. 高可用性の有効化が開始されます。

20. すべてのバックグラウンド プロセスが完了すると、「完了」ステータスが表示されます。

21. 最後に、「高可用性が正常に有効になりました」という通知を受け取ります。 [完了] をクリックします。

22. Cloudera Manager –> HDFS に移動して、アクティブおよびスタンバイ ネームノードを確認します。 > –> インスタンス

23. ここでは、2 つのネームノードを選択できます。1 つは「アクティブ」状態、もう 1 つは「スタンバイ」状態になります。 』 状態です。

結論

この記事では、ネームノードの高可用性を有効にするためのプロセスを段階的に説明しました。リアルタイム環境のすべてのクラスターでネームノードの高可用性を実現することを強くお勧めします。このプロセスの実行中にエラーが発生した場合は、疑問を投稿してください。次の記事ではリソース マネージャーの高可用性について説明します。