ウェブサイト検索

CentOS/RHEL 7 に Hadoop サーバーを導入するためのベスト プラクティス - パート 1

この一連の記事では、ベンダーと業界が推奨するベスト プラクティスを使用してCloudera Hadoop クラスター ビルディングの構築全体について説明します。

OS のインストールとOS レベルの実行 前提条件はHadoop クラスターを構築するための最初のステップです。 Hadoop は、CentOS、RedHat、Ubuntu、Debian< など、さまざまな Linux プラットフォームで実行できます。、SUSE など。リアルタイム運用では、ほとんどの Hadoop クラスターは RHEL/CentOS 上に構築されます。この一連のチュートリアルでは、CentOS 7 をデモンストレーションに使用します。

組織では、 OS のインストールはキックスタートを使用して実行できます。 3～4ノードのクラスタであれば手動インストールも可能ですが、10ノード以上の大きなクラスタを構築する場合、OSを一つ一つインストールするのは面倒です。このシナリオでは、キックスタート方法が登場し、キックスタートを使用して一括インストールを続行できます。

Hadoop 環境で良好なパフォーマンスを実現できるかどうかは、適切なハードウェアとソフトウェアをプロビジョニングするかどうかにかかっています。したがって、 運用環境のHadoop クラスターを構築するには、ハードウェアとソフトウェアに関して多くの考慮事項が必要になります。

この記事では、OS のインストールに関するさまざまなベンチマークと、CentOS/RHEL 7 にCloudera Hadoop Cluster Server を展開するためのベスト プラクティスについて説明します。

Hadoop サーバーの導入に関する重要な考慮事項とベスト プラクティス

以下は、CentOS/RHEL 7 上に Cloudera Hadoop Cluster Server の展開を設定するためのベスト プラクティスです。

  • Hadoop サーバーでは、クラスターを構築するためにエンタープライズ標準サーバーは必要ありません。汎用ハードウェアが必要です。
  • 実稼働クラスターでは、8 ～ 12 個のデータ ディスクを使用することが推奨されます。ワークロードの性質に応じて、これを決定する必要があります。クラスターがコンピューティング集中型アプリケーション用である場合、I/O の問題を回避するには 4 ～ 6 台のドライブを使用することがベスト プラクティスです。
  • データ ドライブは、たとえば /data01 から /data10 まで、個別にパーティション化する必要があります。
  • RAID 構成はワーカー ノードには推奨されません。これは、Hadoop 自体がデフォルトでブロックを 3 つに複製することでデータのフォールト トレランスを提供するためです。したがって、 ワーカーノードにはJBOD が最適です。
  • マスター サーバーの場合はRAID 1 がベスト プラクティスです。
  • CentOS/RHEL 7.x のデフォルトのファイルシステムは XFS です。 Hadoop は XFS、ext3、および ext4 をサポートします。推奨されるファイル システムは、良好なパフォーマンスがテストされている ext3 です。
  • すべてのサーバーは同じ OS バージョン、少なくとも同じマイナー リリースを持っている必要があります。
  • 同種のハードウェアを使用することがベスト プラクティスです (すべてのワーカー ノードが同じハードウェア特性 (RAM、ディスク領域、コアなど) を持つ必要があります)。
  • クラスターのワークロード (バランスのとれたワークロード、コンピューティング集中、I/O 集中) とサイズに応じて、サーバーごとのリソース (RAM、CPU) 計画は異なります。

以下の 24 TB ストレージのサーバーのディスク パーティショニングの例を見つけてください。

Hadoop サーバー展開のための CentOS 7 のインストール

Hadoop サーバー用のCentOS 7サーバーをインストールする前に知っておくべきこと。

  • Hadoop サーバー (ワーカーノード) には最小限のインストールで十分です。場合によっては、Web UI にブラウザを使用できるマスター サーバーまたは管理サーバーにのみ GUI をインストールできます。管理ツール。
  • ネットワーク、ホスト名、その他の OS 関連の設定は、OS のインストール後に行うことができます。
  • リアルタイムでは、サーバー ベンダーは、サーバーと対話して管理するための独自のコンソールを持つことになります。たとえば、Dell サーバーには、サーバーに組み込まれたデバイスである iDRAC が搭載されています。その iDRAC インターフェイスを使用すると、ローカル システムに OS イメージが存在する状態で OS をインストールできます。

この記事では、VMware 仮想マシンに OS (CentOS 7) をインストールしました。ここでは、パーティションを実行するために複数のディスクを使用しません。 CentOS はRHEL に似ている（機能は同じ）ため、CentOS をインストールする手順を見ていきます。

1. まず、ローカル Windows システムに CentOS 7.x ISO イメージをダウンロードし、仮想マシンの起動中にそれを選択します。図のように、「Install CentOS 7」を選択します。

2.言語を選択します。デフォルトは英語で、続行をクリックします。

3. ソフトウェアの選択 – 「最小限のインストール」を選択し、「完了」をクリックします。

4. 設定を求めるプロンプトが表示されるので、root パスワードを設定します。

5. インストール先 – これは注意が必要な重要なステップです。 OSをインストールするディスクを選択する必要があります。OSには専用ディスクを選択する必要があります。 「インストール先」をクリックしてディスクを選択します。リアルタイムでは複数のディスクが存在します。選択する必要がありますが、できれば「sda」を選択してください。

6. その他のストレージ オプション – 2 番目のオプション (パーティショニングを構成します) を選択して、/var、/ などの OS 関連のパーティショニングを構成します。 var/log、/home、/tmp、/opt、/swap。

7. 完了したら、インストールを開始します。

8. インストールが完了したら、サーバーを再起動します。

9. サーバーにログインし、ホスト名を設定します。

hostnamectl status
hostnamectl set-hostname tecmint
hostnamectl status

まとめ

この記事では、OS のインストール手順とファイルシステムのパーティション分割のベスト プラクティスについて説明しました。これらはすべて一般的なガイドラインであり、ワークロードの性質に応じて、クラスターの最高のパフォーマンスを達成するには、さらに細かい点に集中する必要がある場合があります。クラスター計画はHadoop 管理者にとって重要な技術です。次の記事では、OS レベルの前提条件とセキュリティ強化について詳しく説明します。