Tutorial Install Apache Spark di Debian 11

Sebelum ke tutorialnya. kamu udah mengerti belum apa itu Apache Spark ?. Jadi, Apache Spark adalah kerangka kerja komputasi gratis, Open Source, Yang mempunyai tujuan umum, dan terdistribusi. yang dibuat untuk memberikan hasil komputasi yang lebih cepat. Apache Spark mempunyai dukungan beberapa API untuk streaming, Java, Python, dan Ruby.

Dalam tutorial ini, saya akan menunjukkan Bagaimana sih cara menginstal framework Apache Spark di Debian 11.

Oke langsung saja ke tutorialnya

Requirement

Debian 11.
Kata sandi root.

Install Java

apt-get install default-jdk curl -y

Check versi java

java --version

Output:

 openjdk 11.0.12 2021-07-20 OpenJDK Runtime Environment (build 11.0.12+7-post-Debian-2) OpenJDK 64-Bit Server VM (build 11.0.12+7-post-Debian-2, mixed mode, sharing)

Install Apache Spark

Pada saat penulisan tutorial ini, saya menggunakan versi 3.1.2. kamu dapat mengunduhnya menggunakan perintah berikut:

wget https://dlcdn.apache.org/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgz

Setelah unduhan selesai, ekstrak file yang diunduh dengan perintah berikut:

 tar -xvzf spark-3.1.2-bin-hadoop3.2.tgz

Selanjutnya, pindahkan direktori yang diekstrak ke /opt dengan perintah berikut:

 mv spark-3.1.2-bin-hadoop3.2/ /opt/spark

Selanjutnya, edit file ~/.bashrc dan tambahkan variabel jalur Spark:

 nano ~/.bashrc

Tambahkan baris berikut:

 export SPARK_HOME=/opt/spark export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

Simpan dan tutup file kemudian aktifkan variabel lingkungan Spark menggunakan perintah berikut:

 source ~/.bashrc

Start Apache Spark

Kamu sekarang dapat menjalankan perintah berikut untuk memulai Apache Spark:

 start-master.sh

Output:

start org.apache.spark.deploy.master.Master, logging to /opt/spark/logs/spark-root-org.apache.spark.deploy.master.Master-1-debian11.out

Secara default, Apache Spark akan mendengarkan pada port 8080. Kamu dapat melihatnya menggunakan perintah berikut:

 ss -tunelp |  grep 8080

Kamu akan mendapatkan output berikut:

 tcp LISTEN 0 1 *:8080 *:* users:(("java",pid=24356,fd=296)) ino:47523 sk:b cgroup:/user.slice/user-0.slice/session-1.  lingkup v6only:0 <->

Selanjutnya, mulai proses pekerja Apache Spark menggunakan perintah berikut:

 start-slave.sh spark://your-server-ip:7077

Mengakses Web UI Apache Spark

Kamu sekarang dapat mengakses antarmuka web Apache Spark menggunakan URL http://localhost:8080. Kamu akan melihat beberapa layanan dan slave Apache Spark di layar berikut: