CentOS / RHEL7にApacheKafkaをインストールする方法


Apache Kafkaは強力なメッセージングエンジンであり、ビッグデータプロジェクトやデータ分析のライフサイクルで広く使用されています。これは、リアルタイムのデータストリーミングパイプラインを構築するためのオープンソースプラットフォームです。これは、信頼性、スケーラビリティ、および耐久性を備えた分散パブリッシュ/サブスクライブプラットフォームです。

Kafkaをスタンドアロンまたはクラスターとして使用できます。 Kafkaはストリーミングデータを保存し、トピックとして分類できます。トピックには、任意の量のデータを処理できるように、いくつかのパーティションがあります。また、HDFSの場合と同様に、フォールトトレラントのレプリカを複数持つことができます。 Kafkaクラスターでは、ブローカーは公開されたデータを格納するコンポーネントです。

Zookeeperは、Kafkaブローカーの調整を管理するために使用されるため、Kafkaクラスターを実行するための必須サービスです。 Zookeeperは、プロデューサーとコンシューマーの間で重要な役割を果たし、すべてのブローカーの状態を維持する責任があります。

この記事では、ApacheKafkaをシングルノードのCentOS7またはRHEL7にインストールする方法について説明します。

CentOS7へのApacheKafkaのインストール

1.まず、Apache Kafkaをエラーなしで実行するには、システムにJavaをインストールする必要があります。したがって、次のyumコマンドを使用してデフォルトで使用可能なJavaのバージョンをインストールし、図のようにJavaのバージョンを確認します。

# yum -y install java-1.8.0-openjdk
# java -version

2.次に、公式WebサイトからApache Kafkaの最新の安定バージョンをダウンロードするか、次のwgetコマンドを使用して直接ダウンロードして抽出します。

# wget https://mirrors.estointernet.in/apache/kafka/2.7.0/kafka_2.13-2.7.0.tgz 
# tar -xzf kafka_2.13-2.7.0.tgz 

3. kafkaパッケージのシンボリックリンクを作成し、Kafka環境パスを .bash_profile ファイルに追加して、図のように初期化します。

# ln -s kafka_2.13-2.7.0 kafka
# echo "export PATH=$PATH:/root/kafka_2.13-2.7.0/bin" >> ~/.bash_profile
# source ~/.bash_profile

4.次に、Kafkaパッケージに組み込まれているZookeeperを起動します。これは単一ノードクラスターであるため、デフォルトのプロパティを使用してzookeeperを起動できます。

# zookeeper-server-start.sh -daemon /root/kafka/config/zookeeper.properties

5. Zookeeperポート2181にtelnetで接続するだけで、Zookeeperにアクセスできるかどうかを検証します。

# telnet localhost 2181

6.デフォルトのプロパティでKafkaを起動します。

# kafka-server-start.sh -daemon /root/kafka/config/server.properties

7. Kafkaポート9092にtelnetで接続するだけで、Kafkaにアクセスできるかどうかを検証します。

# telnet localhost 9092

8.次に、サンプルトピックを作成します。

# kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic tecmint

9.作成したトピックを一覧表示します。

# kafka-topics.sh --zookeeper localhost:2181 --list

この記事では、CentOS 7にシングルノードのKafkaクラスターをインストールする方法を説明しました。次の記事では、マルチノードのKafkaクラスターをインストールする方法を説明します。