CentOS/RHEL 7 に Apache Kafka をインストールする方法
Apache Kafka は強力なメッセージング エンジンであり、ビッグデータ プロジェクトやデータ分析 ライフサイクルで広く使用されています。これは、リアルタイム データ ストリーミング パイプラインを構築するためのオープンソース プラットフォームです。これは、信頼性、拡張性、耐久性を備えた分散パブリッシュ/サブスクライブ プラットフォームです。
Kafka はスタンドアロンまたはクラスターとして使用できます。 Kafka はストリーミング データを保存し、 それはトピック として分類できます。 トピックには、任意の量のデータを処理できるように、多数のパーティションがあります。また、HDFS のように、フォールト トレラントのために複数のレプリカを持つこともできます。 Kafka クラスターでは、ブローカーはパブリッシュされたデータを保存するコンポーネントです。
Zookeeper は、Kafka ブローカーの調整を管理するために使用されるため、Kafka クラスターを実行するために必須のサービスです。 Zookeeper はプロデューサーとコンシューマーの間で重要な役割を果たし、すべてのブローカーの状態を維持する責任を負います。
この記事では、単一ノードのCentOS 7 またはRHEL 7 にApache Kafka をインストールする方法について説明します。
CentOS 7 への Apache Kafka のインストール
1. まず、Apache Kafka をエラーなく実行するには、システムに Java をインストールする必要があります。したがって、次の yum コマンドを使用して、Java のデフォルトの利用可能なバージョンをインストールし、示されているように Java バージョンを確認します。
yum -y install java-1.8.0-openjdk
java -version
2. 次に、Apache Kafka の最新の安定バージョンを公式 Web サイトからダウンロードするか、次の wget コマンドを使用して直接ダウンロードして解凍します。
wget https://mirrors.estointernet.in/apache/kafka/2.7.0/kafka_2.13-2.7.0.tgz
tar -xzf kafka_2.13-2.7.0.tgz
3. kafka パッケージのシンボリック リンクを作成し、Kafka 環境パスを .bash_profile
ファイルに追加して、次のように初期化します。
ln -s kafka_2.13-2.7.0 kafka
echo "export PATH=$PATH:/root/kafka_2.13-2.7.0/bin" >> ~/.bash_profile
source ~/.bash_profile
4. 次に、Kafka パッケージに組み込まれている Zookeeper を起動します。これは単一ノードのクラスターであるため、Zookeeper をデフォルトのプロパティで開始できます。
zookeeper-server-start.sh -daemon /root/kafka/config/zookeeper.properties
5. Zookeeper のポート 2181 にtelnetするだけで、Zookeeper にアクセスできるかどうかを検証します。
telnet localhost 2181
6. デフォルトのプロパティを使用して Kafka を起動します。
kafka-server-start.sh -daemon /root/kafka/config/server.properties
7. Kafka ポート 9092 に Telnet するだけで、Kafka にアクセスできるかどうかを検証します。
telnet localhost 9092
8. 次に、サンプル トピックを作成します。
kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic tecmint
9. 作成したトピックをリストします。
kafka-topics.sh --zookeeper localhost:2181 --list
結論
この記事では、CentOS 7 に単一ノードの Kafka クラスターをインストールする方法を説明しました。マルチノード Kafka クラスターをインストールする方法については、次の記事で説明します。