CentOS / RHEL7にCDHをインストールしてサービスプレースメントを設定する方法-パート4-


以前の記事では、Cloudera Managerのインストールについて説明しましたが、この記事では、RHEL/CentOS 7にCDH(Cloudera Distribution Hadoop)をインストールして構成する方法を学習します。

CDHパーセルをインストールする際、ClouderaManagerとCDHの互換性を確認する必要があります。 Clouderaバージョンには、<メジャー>。<マイナー>。<メンテナンス>の3つの部分があります。 Cloudera Managerのメジャーバージョンとマイナーバージョンは、CDHメジャーバージョンとマイナーバージョンと同じである必要があります。

たとえば、Cloudera Manager6.3.1とCDH6.3.2を使用しています。ここでは、6がメジャーで、3がマイナーバージョンです。互換性の問題を回避するには、メジャーとマイナーを同じにする必要があります。

CDHをインストールするために以下の2つのノードを使用します。すでにmaster1にClouderaManagerをインストールしており、リポジトリサーバーとしてmaster1を使用しています。

master1.tecmint.com
worker1.tecmint.com

ステップ1:マスターサーバーにCDHパーセルをダウンロードする

1.まず、master1サーバーに接続し、/ var/www/html/cloudera-repos/cdhディレクトリにあるCDHParcelsファイルをダウンロードします。 RHEL/CentOS7と互換性のある以下の3つのファイルをダウンロードする必要があります。

CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
manifest.json

2.これらのファイルをダウンロードする前に、必ず/ var/www/html/cloudera-repos /の場所にcdhディレクトリを作成してください。

$ cd /var/www/html/cloudera-repos/
$ sudo mkdir cdh
$ cd cdh

3.次に、次のwgetコマンドを使用して、上記の3つのファイルをダウンロードします。

$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel 
$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 
$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json 

ステップ2:ワーカークライアントでClouderaManagerリポジトリをセットアップする

4.次に、ワーカーサーバーに接続し、リポジトリファイル(cloudera-manager.repo)をリポジトリサーバー(master1)から残りのすべてのワーカーサーバーにコピーします。このリポジトリファイルは、インストール中に必要なすべての区画とRPMがリポジトリサーバーからダウンロードされることをサーバーに保証します。

cat >/etc/yum.repos.d/cloudera-manager.repo <<EOL
[cloudera-repo]
name=cloudera-manager
baseurl=http://104.211.95.96/cloudera-repos/cm6/
enabled=1
gpgcheck=0
EOL

5.リポジトリを追加したら、有効なリポジトリを一覧表示して、cloudera-managerリポジトリが有効になっていることを確認します。

$ yum repolist

ステップ3:ClouderaManagerデーモンとエージェントをワーカーサーバーにインストールする

6.次に、残りのすべてのサーバーにcloudera-manager-daemonsとcloudera-manager-agentをインストールする必要があります。

$ sudo yum install cloudera-manager-daemons cloudera-manager-agent

7.次に、ClouderaManagerサーバーをレポートするようにClouderaManagerエージェントを構成する必要があります。

$ sudo vi /etc/cloudera-scm-agent/config.ini

ローカルホストをClouderaManagerサーバーのIPアドレスに置き換えます。

8. Cloudera Manager Agentを起動し、ステータスを確認します。

$ sudo systemctl start cloudera-scm-agent
$ sudo systemctl status cloudera-scm-agent

ステップ4:CDHをインストールしてセットアップする

master1 –リポジトリサーバーにCDHパーセルがあります。 Cloudera Managerを使用した自動インストールに従う場合は、すべてのサーバーの/etc/yum.repos.d/にClouderaManagerリポジトリファイルがあることを確認してください。

9.ポート7180で以下のURLを使用してClouderaManagerにログインし、ClouderaManagerのデフォルトのユーザー名とパスワードを使用します。

http://104.211.95.96:7180/cmf/login
Username: admin
Password: admin

10.ログインすると、ウェルカムページが表示されます。ここでは、リリースノート、ClouderaManagerの新機能を見つけることができます。

11.ライセンスに同意して続行します。

12.エディションを選択します。試用版がデフォルトで選択されていますが、それを続行できます。

13.次に、クラスターのインストール手順に従います。ウェルカムページに進みます。

14.クラスターに名前を付けて続行します。「tecmint」という名前を付けました。定義できるクラスターには2つのタイプがあります。通常のクラスターを進めています。

  • Regular Cluster: Will consist of storage nodes, compute nodes, and other necessary services.
  • Compute Cluster: Will consist only of compute nodes. External storage can be used for storing data.

15.すでにすべてのサーバーにClouderaManagerエージェントをインストールしています。これらのサーバーは「現在管理されているホスト」にあります。自動インストールの場合は、「新規ホスト」オプションにサーバーのFQDNまたはIPを入力して検索する必要があります。 Cloudera Managerは、CDHをインストールする必要があるホストを自動的に検出します。

ここで、「現在管理されているホスト」をクリックし、「ホスト名」を選択してすべてのホストを選択し、続行します。

16.リポジトリの選択–パーセルを使用することをお勧めします。 [その他のオプション]をクリックして、リポジトリを構成します。

17.以下のようにローカルリポジトリのURLを入力します。 Webを指す残りのすべてのパブリックリポジトリ(Clouderaリポジトリ)を削除します。

これは、master1にあるCDHローカルリポジトリのURLです。

http://104.211.95.96/cloudera-repos/cdh/

18.リポジトリのURLを入力すると、このページには利用可能な区画のみが表示されます。この手順を続けます。

19.これで、利用可能なすべてのサーバーで小包がダウンロード、配布、解凍、およびアクティブ化されます。

20. CDHパーセルがアクティブ化されたら、クラスターを検査します。このステップでは、クラスターのヘルスチェックを実行します。ここではスキップして続行します。

ステップ5:クラスター構成

21.ここで、クラスターにインストールするサービスを選択する必要があります。一部のパックされた組み合わせはデフォルトで利用可能になります。カスタムサービスを使用します。

22.カスタムサービスでは、このデモの目的でコアコンポーネント(HDFSおよびYARN)のみをインストールしています。

23.サーバーに役割を割り当てます。要件に応じてカスタマイズできます。高可用性を備えた5〜20ノードの基本的な小規模クラスターの推奨される役割の分散を説明する以下のグラフを見つけてください。

24.データベースの種類、ホスト名、DB名、ユーザー名、およびパスワードを選択します。 Embedded PostgreSQLを使用しているため、デフォルトで選択されます。接続をテストします。成功するはずです。

25.このページには、データディレクトリを含むHDFSとYarnのデフォルトの設定パラメータが表示されます。すべての構成の詳細を確認し、必要に応じて変更を加えることができます。次に、これを続行します。

26.このページには、「初回実行」コマンドの詳細が表示されます。これを展開すると、実行中のコマンドの詳細が表示されます。クラスタにネットワークまたは権限の問題がある場合、この手順は失敗します。通常、このステップにより、クラスタービルディングのスムーズなインストールが決定されます。

27.上記の手順が完了したら、[完了]をクリックしてインストールを完了します。これは、CDHをインストールした後のClouderaManagerのダッシュボードです。

http://104.211.95.96:7180/cmf/home

ClouderaManagerとCDHのインストールが正常に完了しました。 Cloudera Managerダッシュボードには、クラスターCPU、ディスクIOなどを監視できる事前定義された一連のグラフがあります。このCloudera Managerを使用して、クラスター全体を管理できます。今後の記事ですべての管理操作を確認します。