CentOS/RHEL 7 に Apache Kafka をインストールする方法

Apache Kafka は強力なメッセージングエンジンであり、ビッグデータ プロジェクトやデータ分析 ライフサイクルで広く使用されています。これは、リアルタイムデータストリーミングパイプラインを構築するためのオープンソースプラットフォームです。これは、信頼性、拡張性、耐久性を備えた分散パブリッシュ/サブスクライブプラットフォームです。

Kafka はスタンドアロンまたはクラスターとして使用できます。 Kafka はストリーミングデータを保存し、それはトピック として分類できます。 トピックには、任意の量のデータを処理できるように、多数のパーティションがあります。また、HDFS のように、フォールトトレラントのために複数のレプリカを持つこともできます。 Kafka クラスターでは、ブローカーはパブリッシュされたデータを保存するコンポーネントです。

Zookeeper は、Kafka ブローカーの調整を管理するために使用されるため、Kafka クラスターを実行するために必須のサービスです。 Zookeeper はプロデューサーとコンシューマーの間で重要な役割を果たし、すべてのブローカーの状態を維持する責任を負います。

この記事では、単一ノードのCentOS 7 またはRHEL 7 にApache Kafka をインストールする方法について説明します。

CentOS 7 への Apache Kafka のインストール

1. まず、Apache Kafka をエラーなく実行するには、システムに Java をインストールする必要があります。したがって、次の yum コマンドを使用して、Java のデフォルトの利用可能なバージョンをインストールし、示されているように Java バージョンを確認します。

yum -y install java-1.8.0-openjdk
java -version

2. 次に、Apache Kafka の最新の安定バージョンを公式 Web サイトからダウンロードするか、次の wget コマンドを使用して直接ダウンロードして解凍します。

wget https://mirrors.estointernet.in/apache/kafka/2.7.0/kafka_2.13-2.7.0.tgz 
tar -xzf kafka_2.13-2.7.0.tgz

3. kafka パッケージのシンボリックリンクを作成し、Kafka 環境パスを .bash_profile ファイルに追加して、次のように初期化します。

ln -s kafka_2.13-2.7.0 kafka
echo "export PATH=$PATH:/root/kafka_2.13-2.7.0/bin" >> ~/.bash_profile
source ~/.bash_profile

4. 次に、Kafka パッケージに組み込まれている Zookeeper を起動します。これは単一ノードのクラスターであるため、Zookeeper をデフォルトのプロパティで開始できます。

zookeeper-server-start.sh -daemon /root/kafka/config/zookeeper.properties

5. Zookeeper のポート 2181 にtelnetするだけで、Zookeeper にアクセスできるかどうかを検証します。


telnet localhost 2181

6. デフォルトのプロパティを使用して Kafka を起動します。


kafka-server-start.sh -daemon /root/kafka/config/server.properties

7. Kafka ポート 9092 に Telnet するだけで、Kafka にアクセスできるかどうかを検証します。


telnet localhost 9092

8. 次に、サンプルトピックを作成します。

kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic tecmint

9. 作成したトピックをリストします。

kafka-topics.sh --zookeeper localhost:2181 --list

結論

この記事では、CentOS 7 に単一ノードの Kafka クラスターをインストールする方法を説明しました。マルチノード Kafka クラスターをインストールする方法については、次の記事で説明します。