CentOS/RHEL 7 に CDH をインストールしてサービス プレースメントを構成する方法 - パート 4
以前の記事で Cloudera Manager のインストールについて説明しました。この記事では、CDH (Cloudera Distribution Hadoop) を にインストールして構成する方法を説明します。 RHEL/CentOS 7。
CDH パーセルをインストールする際、Cloudera Manager とCDH の互換性を確認する必要があります。 Cloudera のバージョンには、<メジャー>.<マイナー>.<メンテナンス> の 3 つの部分があります。 Cloudera Manager のメジャー バージョンおよびマイナー バージョンは、CDH のメジャー バージョンおよびマイナー バージョンと同じである必要があります。
たとえば、Cloudera Manager 6.3.1 と CDH 6.3.2 を使用しています。ここで 6 はメジャー バージョン、3 はマイナー バージョンです。互換性の問題を避けるために、メジャーとマイナーは同じである必要があります。
要件
- CentOS/RHEL 7 に Hadoop サーバーを導入するためのベスト プラクティス – パート 1
- Hadoop の前提条件のセットアップとセキュリティ強化 - パート 2
- CentOS/RHEL 7 に Cloudera Manager をインストールして構成する方法 – パート 3
CDH をインストールするには、以下の 2 つのノードを使用します。すでに Cloudera Manager を master1 にインストールしており、master1 もリポジトリサーバーとして使用しています。
master1.linux-console.net
worker1.linux-console.net
ステップ 1: マスターサーバーに CDH パーセルをダウンロードする
1. まず、master1 サーバーに接続し、/var/www/html/cloudera-repos/ に CDH パーセル ファイルをダウンロードします。 cdh ディレクトリ。 RHEL/CentOS 7 と互換性のある以下の 3 つのファイルをダウンロードする必要があります。
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
manifest.json
2. これらのファイルをダウンロードする前に、/var/www/html/cloudera-repos/ の場所に cdh ディレクトリを必ず作成してください。
cd /var/www/html/cloudera-repos/
sudo mkdir cdh
cd cdh
3. 次に、次の wget コマンドを使用して、上記 3 つのファイルをダウンロードします。
sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json
ステップ 2: ワーカー クライアントで Cloudera Manager リポジトリをセットアップする
4. 次に、ワーカー サーバーに接続し、リポジトリ サーバー (master1<) からリポジトリ ファイル (cloudera-manager.repo) をコピーします。) 残りのすべてのワーカー サーバーに送信します。このリポジトリ ファイルにより、サーバーは、インストール中に必要なすべてのパーセルと RPM がリポジトリ サーバーからダウンロードされるようになります。
cat >/etc/yum.repos.d/cloudera-manager.repo <<EOL
[cloudera-repo]
name=cloudera-manager
baseurl=http://104.211.95.96/cloudera-repos/cm6/
enabled=1
gpgcheck=0
EOL
5. リポジトリを追加したら、有効なリポジトリを一覧表示し、cloudera-manager リポジトリが有効になっていることを確認します。
yum repolist
ステップ 3: Cloudera Manager デーモンとエージェントをワーカーサーバーにインストールする
6. 次に、残りのすべてのサーバーに cloudera-manager-daemons と cloudera-manager-agent をインストールする必要があります。
sudo yum install cloudera-manager-daemons cloudera-manager-agent
7. 次に、Cloudera Manager サーバーを報告するように Cloudera Manager エージェントを構成する必要があります。
sudo vi /etc/cloudera-scm-agent/config.ini
ローカルホストをCloudera ManagerサーバーのIPアドレスに置き換えます。
8. Cloudera Manager エージェントを起動し、ステータスを確認します。
sudo systemctl start cloudera-scm-agent
sudo systemctl status cloudera-scm-agent
ステップ 4: CDH のインストールとセットアップ
マスター 1 – リポサーバーに CDH パーセルがあります。 Cloudera Manager を使用した自動インストールに従う場合は、すべてのサーバーの /etc/yum.repos.d/ に Cloudera Manager リポジトリ ファイルがあることを確認してください。
9. 以下の URL を使用してポート 7180 で Cloudera Manager にログインし、Cloudera Manager のデフォルトのユーザー名とパスワードを使用します。
http://104.211.95.96:7180/cmf/login
Username: admin
Password: admin
10. ログインすると、ようこそページが表示されます。ここでは、Cloudera Manager のリリース ノート、新機能を見つけることができます。
11. ライセンスに同意して続行します。
12. エディションを選択します。デフォルトでは試用版が選択されているので、そのまま続行します。
13. 次に、クラスターのインストール手順に従います。ようこそページに進みます。
14. クラスターに名前を付けて続行します。「tecmint 」という名前を付けました。定義できるクラスターは 2 種類あります。通常のクラスターで進めています。
- 通常のクラスタ: ストレージ ノード、コンピューティング ノード、およびその他の必要なサービスで構成されます。
- 計算クラスタ: 計算ノードのみで構成されます。外部ストレージはデータの保存に使用できます。
15. すべてのサーバーにCloudera Manager エージェントがすでにインストールされています。これらのサーバーは「現在管理されているホスト」で見つけることができます。自動インストールの場合は、「新しいホスト」オプションにサーバーの FQDN または IP を入力して検索する必要があります。 Cloudera Manager は、CDH をインストールする必要があるホストを自動的に検出します。
ここで、[現在管理されているホスト] をクリックし、[ホスト名] を選択してすべてのホストを選択し、続行します。
16. リポジトリを選択します。パーセルを使用することをお勧めします。 [その他のオプション] をクリックしてリポジトリを設定します。
17. 以下に示すようにローカル リポジトリ URL を入力します。 Web を指す残りのパブリック リポジトリ (Cloudera リポジトリ) をすべて削除します。
これは、master1 にある CDH ローカル リポジトリ URL です。
http://104.211.95.96/cloudera-repos/cdh/
18. リポジトリ URL を入力すると、このページには利用可能なパーセルのみが表示されます。この手順を続けます。
19. 現在、利用可能なすべてのサーバーでパーセルがダウンロード、配布、解凍され、アクティブ化されています。
20.CDH パーセルがアクティブ化されたら、クラスターを検査します。このステップでは、クラスターのヘルスチェックを実行します。ここではスキップして続行します。
ステップ 5: クラスター構成
21. ここでは、クラスタにインストールするサービスを選択する必要があります。一部のパックされた組み合わせはデフォルトで利用可能ですが、カスタム サービスを使用します。
22. カスタム サービスでは、コア コンポーネント (HDFS と YARN) のみをインストールします。 >) このデモの目的のため。
23. サーバーに役割を割り当てます。要件に応じてカスタマイズできます。高可用性を備えた 5 ~ 20 ノードの基本的な小規模クラスターに推奨されるロール分散を説明した下の表を見つけてください。
24. データベースの種類、ホスト名、DB 名、ユーザー名、およびパスワードを選択します。 Embedded PostgreSQL を使用しているため、デフォルトで選択されます。接続をテストすると、成功するはずです。
25. このページには、データ ディレクトリを含む HDFS と Yarn のデフォルト設定パラメータが表示されます。すべての構成の詳細を確認し、必要に応じて変更を加えることができます。次に、これを続けます。
26. このページには、「初回実行」コマンドの詳細が表示されます。展開すると、実行中のコマンドの詳細を確認できます。クラスター内にネットワークまたは権限の問題がある場合、このステップは失敗します。通常、このステップにより、クラスター構築のスムーズなインストールが決まります。
27. 上記の手順が完了したら、[完了] をクリックしてインストールを完了します。これは、CDH をインストールした後の Cloudera Manager のダッシュボードです。
http://104.211.95.96:7180/cmf/home
結論
Cloudera Manager と CDH のインストールが正常に完了しました。 Cloudera Manager ダッシュボードでは、クラスターの CPU やディスク IO などを監視できる事前定義された一連のグラフを見つけることができます。このCloudera Managerを使用してクラスター全体を管理できます。 >。すべての管理操作については、今後の記事で説明します。