Cara menginstall Kafka di server ubuntu 22.04 secara real-time

Diposkan oleh BagasUnix Post a Comment

Di era modern ini, data menjadi sumber daya yang sangat berharga. Mengolah data secara real-time menjadi kunci untuk mendapatkan wawasan berharga dan mengambil keputusan yang tepat. Apache Kafka, platform streaming data terdistribusi, hadir sebagai pahlawan yang membantu Anda mencapai tujuan tersebut.

Apa itu Kafka?

Kafka adalah platform streaming data terdistribusi yang memungkinkan Anda untuk membangun aplikasi yang memproses data secara real-time. Platform ini dirancang untuk skalabilitas tinggi, fault tolerance, dan throughput tinggi, membuatnya ideal untuk berbagai macam aplikasi data besar.

Manfaat Menginstall Kafka di Ubuntu 22.04

Menginstall Kafka di Ubuntu 22.04 memberikan beberapa keuntungan, antara lain:

Memproses data secara real-time: Kafka memungkinkan Anda untuk memproses data segera setelah dihasilkan, memberikan wawasan yang lebih cepat dan akurat.
Meningkatkan skalabilitas: Kafka dapat di-scale secara horizontal untuk menangani volume data yang besar, membuatnya ideal untuk aplikasi data besar.
Meningkatkan fault tolerance: Kafka mereplikasi data secara otomatis, sehingga memastikan ketersediaan data meskipun terjadi kegagalan server.
Meningkatkan throughput: Kafka dirancang untuk throughput tinggi, memungkinkan Anda untuk memproses data dengan kecepatan tinggi.

Langkah-Langkah Menginstall Kafka di Ubuntu 22.04

Menginstall Kafka di Ubuntu 22.04 terbilang mudah. Berikut adalah langkah-langkahnya:

1. Memenuhi Prasyarat

Sebelum memulai, pastikan Anda memiliki:

Sistem operasi Ubuntu 22.04 yang terinstal
Akses sudo
Koneksi internet yang stabil

2. Menginstall Java Development Kit (JDK)

Kafka memerlukan JDK untuk dijalankan. Jalankan perintah berikut untuk menginstall JDK

sudo apt update && sudo apt install openjdk-11-jdk

3. Mengunduh Kafka

Unduh paket Kafka terbaru dari situs web resmi: https://kafka.apache.org/downloads

4. Mengekstrak Kafka

Buka direktori tempat Anda mengunduh paket Kafka dan ekstrak menggunakan perintah berikut:

tar -xzf kafka_2.13-3.7.0.tgz

5. Pindahkan Kafka ke Direktori yang Sesuai

Pindahkan direktori Kafka yang telah diekstrak ke lokasi yang tepat di server Anda. Misalnya, Anda dapat memindahkannya ke direktori /opt:

sudo mv kafka_2.13-3.7.0 /opt/kafka

6. Konfigurasi Environment:

Anda perlu mengatur beberapa variabel lingkungan untuk Kafka. Edit file .bashrc atau .profile Anda dengan menambahkan baris berikut:

export KAFKA_HOME=/opt/kafka
export PATH=$PATH:$KAFKA_HOME/bin

Pastikan untuk mengganti /opt/kafka dengan lokasi tempat Anda menempatkan Kafka.

7. Konfigurasi kafka

Anda dapat mengconfigurasikan kafka pada file server.properties kalian bisa menyesuaikan dengan mengeditnya sebagai berikut:

log.dir: Direktori untuk menyimpan log Kafka
broker.id: ID broker Kafka
zookeeper.connect: String koneksi ZooKeeper

8. Jalankan Zookeeper

Apache Kafka membutuhkan ZooKeeper untuk mengelola koordinasi cluster. Anda dapat menggunakan ZooKeeper yang disertakan dengan Kafka atau menggunakan instalasi ZooKeeper yang sudah ada. Untuk memulai ZooKeeper yang disertakan dengan Kafka, jalankan perintah berikut:

cd /opt/kafka
bin/zookeeper-server-start.sh config/zookeeper.properties

10. Jalankan Kafka

Setelah ZooKeeper berjalan, Anda dapat memulai Kafka server. Buka terminal baru dan jalankan perintah:

cd /opt/kafka
bin/kafka-server-start.sh config/server.properties

11. Menguji Instalasi

Anda dapat menguji instalasi Kafka dengan membuat topik dan menghasilkan beberapa pesan:

bin/kafka-topics.sh --create --topic test
bin/kafka-console-producer.sh --topic test --broker-list localhost:9092
bin/kafka-console-consumer.sh --topic test --broker-list localhost:9092

Bagaimana cara menjalankan Zoopeeker dan Kafka secara otomatis saat server menyala?

Untuk memastikan Kafka dan ZooKeeper berjalan secara otomatis, Anda perlu membuat keduanya sebagai layanan sistem (systemd service) di server Anda. Saya akan memberikan langkah-langkah untuk mengkonfigurasi kedua layanan tersebut:

Zookeeper Service:

1. Buat File Unit Systemd: Buat file unit systemd baru untuk Zookeeper. Misalnya, Anda dapat membuat file bernama zookeeper.service di direktori /etc/systemd/system/. Gunakan editor teks favorit Anda untuk membuat atau mengedit file tersebut. Misalnya:

sudo nano /etc/systemd/system/zookeeper.service

2. Tambahkan Konfigurasi Service: Tambahkan konfigurasi berikut ke file `zookeeper.service`

[Unit]
Description=Apache ZooKeeper
After=network.target

[Service]
Type=simple
ExecStart=/opt/kafka/bin/zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties
ExecStop=/opt/kafka/bin/zookeeper-server-stop.sh
Restart=always

[Install]
WantedBy=multi-user.target

3. Simpan dan Tutup file

Setelah kalian tutup file dengan cara ctrl+c kemudian y dan pencet enter pada keyboard.

Kafka Service

1. Persiapkan Unit Systemd untuk Kafka

Buat unit systemd untuk Kafka. Buat file bernama kafka.service di direktori /etc/systemd/system/

sudo nano /etc/systemd/system/kafka.service

2. Tambahkan Konfigurasi Service

Tambahkan konfigurasi berikut ke file kafka.service:

[Unit]
Description=Apache Kafka
Requires=zookeeper.service
After=zookeeper.service network.target

[Service]
Type=simple
Environment="KAFKA_HOME=/opt/kafka"
ExecStart=/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties
ExecStop=/opt/kafka/bin/kafka-server-stop.sh
Restart=always

[Install]
WantedBy=multi-user.target

3. Simpan dan Tutup file

Setelah kalian tutup file dengan cara ctrl+c kemudian y dan pencet enter pada keyboard.

Setelah semuanya kita bikin layanan sistem (systemd service) baik dari zookeeper ataupun kafka, reload konfigurasi systemd dan mulai serta aktifkan layanan ZooKeeper dan Kafka:

sudo systemctl daemon-reload
sudo systemctl start zookeeper
sudo systemctl enable zookeeper
sudo systemctl start kafka
sudo systemctl enable kafka

Dengan ini, ZooKeeper akan dijalankan terlebih dahulu, diikuti oleh Kafka, dan keduanya akan berjalan secara otomatis setiap kali sistem di-boot.

Pastikan untuk mengonfigurasi lokasi instalasi ZooKeeper dan Kafka dengan benar dalam file unit systemd, serta pastikan bahwa Anda memiliki hak akses yang sesuai untuk menjalankan layanan-layanan tersebut. Dengan mengikuti langkah-langkah di atas, Anda telah berhasil menginstall Kafka di Ubuntu 22.04. Sekarang, Anda siap untuk membangun aplikasi real-time data processing yang powerful dan skalabel.