วิธีติดตั้งและกำหนดค่า Apache Kafka บน macOS เพื่อประมวลผลสตรีมข้อมูลแบบเรียลไทม์

การติดตั้ง Apache Kafka บน macOS — Installation

การใช้ Apache Kafka เพื่อประมวลผลสตรีมข้อมูลแบบเรียลไทม์บน macOS ไม่จำเป็นต้องซับซ้อน หากทำตามขั้นตอนที่จัดเตรียมไว้ให้ชัดเจน คุณจะได้ระบบพร้อมใช้งานในไม่กี่นาทีและสามารถเริ่มพัฒนาแอปพลิเคชันสตรีมมิงได้ทันที

บทความนี้จะแสดงวิธีติดตั้ง, ตั้งค่าเบื้องต้น และตรวจสอบการทำงานของ Kafka อย่างเป็นขั้นตอน พร้อมเคล็ดลับที่ช่วยลดข้อผิดพลาดทั่วไป

ภาพรวม — Overview

Kafka เป็นแพลตฟอร์มจัดคิวข้อความแบบกระจาย (distributed messaging) ที่ออกแบบมาสำหรับประสิทธิภาพสูงและความทนทานต่อการขัดข้อง บน macOS เรามักใช้ Homebrew เพื่อติดตั้งส่วนประกอบต่าง ๆ อย่างง่ายดาย

**Tip: หากคุณยังไม่มี Homebrew ควรติดตั้งก่อน เนื่องจากเป็นตัวจัดการแพคเกจที่ใช้งานกว้างที่สุดสำหรับ macOS

ความต้องการเบื้องต้น — Prerequisites

• macOS 10.15 (Catalina) หรือใหม่กว่า
• Java Development Kit (JDK) เวอร์ชัน 11 หรือสูงกว่า
• การเชื่อมต่ออินเทอร์เน็ตเพื่อดาวน์โหลดแพคเกจ

**ขั้นตอนแรก: ตรวจสอบเวอร์ชัน JDK ที่ติดตั้งอยู่

```bash java -version ```

ถ้าผลลัพธ์แสดงเวอร์ชันต่ำกว่า 11 ให้ดาวน์โหลดและติดตั้งจาก [AdoptOpenJDK] หรือใช้ Homebrew (`brew install openjdk@11`)

ติดตั้ง Homebrew — Install Homebrew

Homebrew เป็นตัวจัดการแพคเกจหลักสำหรับ macOS

• เปิด Terminal
• รันคำสั่งต่อไปนี้เพื่อดาวน์โหลดและติดตั้ง Homebrew

```bash /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)" ```

• เพิ่ม Homebrew ลงใน PATH (ถ้าไม่ได้ทำอัตโนมัติ)

```bash echo 'eval "$(/opt/homebrew/bin/brew shellenv)"' >> ~/.zprofile eval "$(/opt/homebrew/bin/brew shellenv)" ```

**Tip: หากใช้ชิป Apple Silicon (`arm64`) ให้ตรวจสอบว่าตำแหน่งของ Homebrew อยู่ที่ `/opt/homebrew` ไม่ใช่ `/usr/local`

ติดตั้ง Apache Kafka ผ่าน Homebrew — Install Kafka via Homebrew

Homebrew มีสูตร (formula) ที่รวม Zookeeper และ Kafka ไว้ในแพคเกจเดียว

• รันคำสั่งติดตั้ง

```bash brew install kafka ```

• ตรวจสอบเวอร์ชันที่ติดตั้งสำเร็จ

```bash kafka-topics --version ```

ตัวเลือกการติดตั้งแบบเปรียบเทียบ

**Tip: หากต้องการใช้ Kafka เวอร์ชันเฉพาะหรือปรับแต่งค่าต่าง ๆ อย่างละเอียด ควรดาวน์โหลดไฟล์ tarball จากเว็บไซต์อย่างเป็นทางการและติดตั้งด้วยตนเอง

การตั้งค่าเบื้องต้น — Basic Configuration

Homebrew ติดตั้งโดยที่ Zookeeper ถูกปิดใช้งานแล้ว (Kafka 2.8+ ใช้ KRaft mode)

• แก้ไขไฟล์ `server.properties` หากต้องการปรับพอร์ตหรือไดเรกทอรีข้อมูล

```bash vim /usr/local/etc/kafka/server.properties ```

**ค่าที่มักแก้:

• `log.dirs=/usr/local/var/lib/kafka-logs` (ตำแหน่งเก็บ Log)
• `listeners=PLAINTEXT://:9092` (พอร์ตที่ใช้รับข้อความ)

**Tip: อย่าลืมตั้งค่า `auto.create.topics.enable=true` หากต้องการให้ Kafka สร้างหัวข้ออัตโนมัติเมื่อไม่มีอยู่

เริ่มต้นบริการ Kafka — Start Kafka Service

Homebrew มีคำสั่งจัดการบริการแบบ `brew services`

• เปิด Zookeeper (หากใช้เวอร์ชันเก่า) หรือข้ามขั้นตอนนี้
• รัน Kafka เป็น background service

```bash brew services start kafka ```

• ตรวจสอบสถานะ

```bash brew services list ```

ขั้นตอนตรวจสอบการทำงาน

• สร้างหัวข้อทดสอบ

```bash kafka-topics --create --topic test-topic --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1 ```

• ส่งข้อความเข้า topic

```bash echo "Hello Kafka" | kafka-console-producer --broker-list localhost:9092 --topic test-topic ```

• รับข้อความจาก topic

```bash kafka-console-consumer --bootstrap-server localhost:9092 --topic test-topic --from-beginning --max-messages 1 ```

ถ้าข้อความแสดงผลตรงกับที่ส่ง แสดงว่า Kafka ทำงานได้สมบูรณ์

**Tip: ใช้ `--from-beginning` ครั้งแรกเพื่อดึงข้อความตั้งแต่ต้น หากไม่ใส่จะรับเฉพาะข้อความใหม่เท่านั้น

การจัดการและล้างข้อมูล — Data Management

Kafka เก็บ Log ไฟล์ในโฟลเดอร์ที่กำหนด (`log.dirs`)

• เพื่อลบ Log ทั้งหมดและเริ่มใหม่ ใช้คำสั่งต่อไปนี้ (ระวังข้อมูลสำคัญ)

```bash brew services stop kafka rm -rf /usr/local/var/lib/kafka-logs/* brew services start kafka ```

• ตั้งค่า retention policy ใน `server.properties` เพื่อให้ Kafka ลบ Log เก่าตามอายุหรือขนาดที่กำหนด

```properties log.retention.hours=168 # 7 วัน log.retention.bytes=1073741824 # 1 GB ```

**Tip: ควรตั้งค่า retention ให้สอดคล้องกับความต้องการของระบบ ไม่ให้เก็บข้อมูลเกินจำเป็น ซึ่งอาจทำให้ดิสก์เต็ม

ปัญหาที่พบบ่อยและวิธีแก้ — Common Issues

• Port 9092 already in use
• ตรวจสอบโปรเซสที่ใช้พอร์ตด้วย `lsof -i :9092` แล้วหยุดหรือเปลี่ยนพอร์ตใน `server.properties`

• Java version mismatch
• ตั้งค่า `JAVA_HOME` ให้ชี้ไปยัง JDK เวอร์ชัน 11 หรือสูงกว่า

```bash export JAVA_HOME=$(/usr/libexec/java_home -v 11) ```

• Broker not starting after macOS update
• รีสตาร์ท Homebrew services และตรวจสอบว่าตัวแปร PATH ยังถูกต้อง

```bash brew services restart kafka ```

เคล็ดลับเพิ่มเติม — Tips

• ใช้ `kafkacat` (หรือ `kcat`) เพื่อตรวจสอบ topic อย่างรวดเร็ว

```bash brew install kafkacat kcat -b localhost:9092 -L # แสดงรายการ topics ทั้งหมด ```

• หากต้องการทำงานหลาย environment ให้ใช้ Docker Compose เพื่อแยก Kafka instance แต่สำหรับการพัฒนาแบบ local Homebrew เพียงพอ

• ตั้งค่า log level เป็น `INFO` หรือ `WARN` ในไฟล์ `log4j.properties` เพื่อลด noise บน console

```properties log4j.rootLogger=WARN, stdout ```

สรุป — Summary

• ตรวจสอบ JDK ≥ 11 และติดตั้ง Homebrew ก่อน
• ใช้ `brew install kafka` เพื่อติดตั้งและกำหนดค่าอัตโนมัติ
• แก้ไข `server.properties` ตามความต้องการของพอร์ตและโฟลเดอร์ Log
• เริ่มบริการด้วย `brew services start kafka` และตรวจสอบด้วยคำสั่งสร้างหัวข้อ/ส่ง‑รับข้อความ
• ปรับ retention policy เพื่อจัดการพื้นที่ดิสก์และใช้ tip ต่าง ๆ เพื่อลดปัญหา

**สิ่งที่ควรจำ: การตั้งค่าพอร์ต, เวอร์ชัน Java และ retention policy เป็นจุดสำคัญที่จะทำให้ Kafka ทำงานเสถียรบน macOS ของคุณ.