Apache Hudi IoT Gateway — คู่มือฉบับสมบูรณ์ 2026 | SiamCafe Blog

บทนำ: ทำไมต้อง Apache Hudi IoT Gateway?

ในยุคที่ Internet of Things (IoT) เติบโตอย่างก้าวกระโดด ข้อมูลจากเซนเซอร์ อุปกรณ์สมาร์ท และระบบอุตสาหกรรมถูกสร้างขึ้นในปริมาณมหาศาลทุกวินาที องค์กรที่ต้องจัดการกับข้อมูลสตรีมมิ่งแบบเรียลไทม์ เช่น ข้อมูลจากรถยนต์ไร้คนขับ ระบบโรงงานอัจฉริยะ หรือแพลตฟอร์มสมาร์ทซิตี้ ต่างเผชิญกับความท้าทายเดียวกัน นั่นคือ การจัดเก็บ จัดการ และวิเคราะห์ข้อมูล IoT ที่มีความเร็วสูงและปริมาณมาก อย่างมีประสิทธิภาพ

Apache Hudi (Hadoop Upserts Deletes and Incrementals) เป็นเฟรมเวิร์กชั้นนำที่ออกแบบมาเพื่อจัดการกับ data lake ในระดับ petabyte โดยเฉพาะความสามารถในการทำ upsert (update + insert) และการ query แบบ incremental ได้อย่างมีประสิทธิภาพ แต่เมื่อนำมาใช้กับ IoT gateway ซึ่งเป็นจุดเชื่อมต่อระหว่างอุปกรณ์ edge และระบบคลาวด์ Apache Hudi กลับกลายเป็นตัวเปลี่ยนเกมที่ช่วยให้ gateway สามารถ:

• ลด latency ในการประมวลผลข้อมูล ณ จุดเกิดเหตุ
• จัดการกับข้อมูลที่มาถึงแบบ out-of-order ได้อย่างถูกต้อง
• รองรับการทำงานแบบ offline-first เมื่อเครือข่ายขาดหาย
• เพิ่มความสามารถในการ query ข้อมูลย้อนหลังแบบ incremental โดยไม่ต้อง re-scan ทั้งตาราง

บทความนี้จะพาคุณไปสำรวจสถาปัตยกรรม การตั้งค่า และแนวปฏิบัติที่ดีที่สุดในการใช้ Apache Hudi IoT Gateway ในปี 2026 พร้อมตัวอย่างโค้ดและตารางเปรียบเทียบที่ใช้งานได้จริง

1. สถาปัตยกรรมของ Apache Hudi IoT Gateway

1.1 ภาพรวมของ IoT Gateway สมัยใหม่

IoT Gateway ทำหน้าที่เป็นตัวกลางระหว่างอุปกรณ์ edge และระบบ backend โดยทั่วไป gateway จะประกอบด้วยโมดูลหลัก 3 ส่วน:

1. Ingestion Layer – รับข้อมูลจากโปรโตคอลต่างๆ เช่น MQTT, CoAP, HTTP
2. Processing Layer – ทำการแปลงข้อมูล (transformation), กรอง (filtering), และ enrich
3. Storage Layer – จัดเก็บข้อมูลลงในระบบไฟล์หรือ data lake

Apache Hudi เข้ามาแทนที่ storage layer แบบดั้งเดิม (เช่น Parquet + Hive) ด้วยความสามารถในการจัดการข้อมูลแบบ transactional และ incremental

1.2 บทบาทของ Apache Hudi ใน Gateway

Hudi ทำงานบน Hadoop File System (HDFS) หรือคลาวด์สตอเรจอย่าง AWS S3, Google Cloud Storage หรือ Azure Data Lake Storage Gen2 โดยมีองค์ประกอบสำคัญดังนี้:

• Hudi Table Types:
  • Copy on Write (CoW): เหมาะกับ workload ที่เขียนน้อยแต่อ่านมาก ข้อมูลถูกเขียนทันทีเมื่อมีการ commit
  • Merge on Read (MoR): เหมาะกับ workload ที่เขียนบ่อย โดยเก็บ delta log ก่อนแล้วค่อย merge ทีหลัง
• Query Types:
  • Snapshot Queries: อ่านข้อมูลล่าสุด ณ เวลาที่ query
  • Incremental Queries: อ่านเฉพาะข้อมูลที่เปลี่ยนแปลงตั้งแต่ timestamp ที่กำหนด
  • Read Optimized Queries: อ่านเฉพาะ base file (Parquet) โดยไม่รวม delta log

1.3 ตัวอย่างสถาปัตยกรรม Gateway ด้วย Hudi

+------------------+       +------------------+       +------------------+
| IoT Devices      | ----> | MQTT Broker      | ----> | Hudi IoT Gateway |
| (เซนเซอร์, กล้อง)  |       | (Mosquitto)      |       | (Spark Struct.   |
+------------------+       +------------------+       |  Streaming)      |
                                                       +--------+---------+
                                                                |
                                                                v
+---------------------------------------------------------------+
| AWS S3 / HDFS                                                  |
| +---------------------------+  +-----------------------------+ |
| | .hoodie (metadata)        |  | table1/                     | |
| |   - timeline              |  |   - partition_date=2026/   | |
| |   - commit metadata       |  |   - .log (delta)           | |
| +---------------------------+  |   - .parquet (base)         | |
|                                +-----------------------------+ |
+---------------------------------------------------------------+

จากแผนภาพข้างต้น ข้อมูลจากอุปกรณ์ IoT จะถูกส่งผ่าน MQTT Broker ไปยัง Gateway ซึ่งใช้ Apache Spark Structured Streaming เพื่อรับข้อมูลและเขียนลง Hudi table บน S3 โดย Hudi จะจัดการเรื่อง transactional consistency และ incremental query ให้โดยอัตโนมัติ

2. การติดตั้งและกำหนดค่า Apache Hudi IoT Gateway

2.1 ข้อกำหนดเบื้องต้น (Prerequisites)

ก่อนเริ่มต้นติดตั้ง ตรวจสอบให้แน่ใจว่าระบบของคุณมีองค์ประกอบต่อไปนี้:

• Java 11 หรือ 17
• Apache Spark 3.5+ (แนะนำ 3.5.2 ขึ้นไป)
• Apache Hadoop 3.3+ (หรือใช้ S3A connector สำหรับคลาวด์)
• Apache Hudi 0.15+ (เวอร์ชันล่าสุด ณ ปี 2026)
• MQTT Broker (เช่น Mosquitto, EMQX)
• ระบบจัดเก็บข้อมูล: HDFS, AWS S3, GCS หรือ ADLS Gen2

2.2 การติดตั้ง Hudi บน Spark Cluster

เราจะใช้ Spark ในโหมด standalone cluster สำหรับ gateway ที่มีขนาดเล็กถึงกลาง สำหรับคลัสเตอร์ขนาดใหญ่แนะนำใช้ Kubernetes หรือ YARN

# ดาวน์โหลด Spark
wget https://dlcdn.apache.org/spark/spark-3.5.2/spark-3.5.2-bin-hadoop3.tgz
tar -xzf spark-3.5.2-bin-hadoop3.tgz

# ดาวน์โหลด Hudi JAR
wget https://repo1.maven.org/maven2/org/apache/hudi/hudi-spark3.5-bundle_2.12/0.15.0/hudi-spark3.5-bundle_2.12-0.15.0.jar

# ตั้งค่า environment variables
export SPARK_HOME=/opt/spark-3.5.2
export HUDI_JAR=/opt/hudi-spark3.5-bundle_2.12-0.15.0.jar

# เริ่ม Spark Shell พร้อม Hudi
$SPARK_HOME/bin/spark-shell \
  --jars $HUDI_JAR \
  --conf "spark.serializer=org.apache.spark.serializer.KryoSerializer" \
  --conf "spark.sql.catalog.spark_catalog=org.apache.spark.sql.hudi.catalog.HoodieCatalog" \
  --conf "spark.sql.extensions=org.apache.spark.sql.hudi.HoodieSparkSessionExtension"

2.3 การกำหนดค่า Hudi Table สำหรับ IoT Data

ตาราง Hudi สำหรับ IoT ควรมีการกำหนดพาร์ติชันและคลัสเตอร์ที่เหมาะสม ตัวอย่างการสร้างตารางด้วย Spark SQL:

-- สร้างตาราง Hudi แบบ Merge on Read สำหรับ IoT sensor data
CREATE TABLE IF NOT EXISTS iot_sensor_data (
  device_id STRING,
  sensor_type STRING,
  temperature DOUBLE,
  humidity DOUBLE,
  pressure DOUBLE,
  timestamp BIGINT,
  event_time TIMESTAMP,
  ingestion_time TIMESTAMP
)
USING hudi
PARTITIONED BY (dt STRING)  -- พาร์ติชันตามวัน
OPTIONS (
  primaryKey = 'device_id, timestamp',
  type = 'mor',  -- Merge on Read
  preCombineField = 'timestamp',
  hoodie.table.name = 'iot_sensor_data',
  hoodie.datasource.write.operation = 'upsert',
  hoodie.cleaner.policy = 'KEEP_LATEST_COMMITS',
  hoodie.cleaner.commits.retained = 10,
  hoodie.keep.max.commits = 20,
  hoodie.keep.min.commits = 15,
  hoodie.parquet.compression.codec = 'snappy',
  hoodie.metadata.enable = true
);

2.4 การเขียนข้อมูลจาก MQTT สู่ Hudi ด้วย Structured Streaming

ตัวอย่างโค้ดด้านล่างแสดงการรับข้อมูลจาก MQTT และเขียนลง Hudi table แบบ real-time:

import org.apache.spark.sql._
import org.apache.spark.sql.functions._
import org.apache.spark.sql.streaming.Trigger

// กำหนด SparkSession พร้อม Hudi support
val spark = SparkSession.builder()
  .appName("HudiIoTGateway")
  .config("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
  .config("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.hudi.catalog.HoodieCatalog")
  .config("spark.sql.extensions", "org.apache.spark.sql.hudi.HoodieSparkSessionExtension")
  .getOrCreate()

// อ่านข้อมูลจาก MQTT
val mqttDF = spark.readStream
  .format("org.apache.bahir.sql.streaming.mqtt.MQTTStreamSourceProvider")
  .option("topic", "sensors/#")
  .option("brokerUrl", "tcp://localhost:1883")
  .option("clientId", "hudi_gateway_01")
  .load()
  .selectExpr("CAST(value AS STRING) as json_string")

// แปลง JSON เป็นโครงสร้างตาราง
val parsedDF = mqttDF
  .select(from_json(col("json_string"), schema_of_json("""{"device_id":"","sensor_type":"","temperature":0.0,"humidity":0.0,"pressure":0.0,"timestamp":0}""")).as("data"))
  .select("data.*")
  .withColumn("event_time", from_unixtime(col("timestamp") / 1000).cast("timestamp"))
  .withColumn("ingestion_time", current_timestamp())
  .withColumn("dt", date_format(col("event_time"), "yyyy-MM-dd"))

// เขียนข้อมูลลง Hudi table แบบ streaming
val writeStream = parsedDF.writeStream
  .format("hudi")
  .option("hoodie.table.name", "iot_sensor_data")
  .option("hoodie.datasource.write.operation", "upsert")
  .option("hoodie.datasource.write.recordkey.field", "device_id, timestamp")
  .option("hoodie.datasource.write.precombine.field", "timestamp")
  .option("hoodie.datasource.write.partitionpath.field", "dt")
  .option("hoodie.table.type", "MERGE_ON_READ")
  .option("hoodie.parquet.compression.codec", "snappy")
  .option("path", "s3a://my-iot-bucket/hudi/iot_sensor_data")
  .trigger(Trigger.ProcessingTime("30 seconds"))  // commit ทุก 30 วินาที
  .option("checkpointLocation", "s3a://my-iot-bucket/checkpoints/iot_sensor_data")
  .start()

writeStream.awaitTermination()

3. การจัดการข้อมูล IoT ที่ท้าทายด้วย Hudi

3.1 การจัดการข้อมูล Out-of-Order

อุปกรณ์ IoT มักส่งข้อมูลมาถึง gateway แบบไม่เรียงลำดับเวลา (out-of-order) เนื่องจากความล่าช้าของเครือข่ายหรือการเชื่อมต่อที่ไม่เสถียร Hudi จัดการปัญหานี้ด้วย preCombineField ซึ่งใช้ในการตัดสินใจว่าข้อมูลชุดไหนเป็นเวอร์ชันล่าสุด

ตัวอย่างเช่น หากเซนเซอร์ A ส่งข้อมูลที่ timestamp 1000 ก่อน แล้วส่งข้อมูลที่ timestamp 900 ทีหลัง Hudi จะใช้ timestamp ที่มากกว่าเป็นค่าล่าสุดโดยอัตโนมัติ

3.2 การทำ Upsert แทนที่ Append

ข้อแตกต่างสำคัญระหว่าง Hudi กับระบบ data lake ทั่วไปคือความสามารถในการ upsert (update + insert) ซึ่งเหมาะกับกรณีที่ข้อมูล IoT ต้องถูกแก้ไขย้อนหลัง เช่น การปรับเทียบค่าเซนเซอร์ หรือการเพิ่ม metadata ภายหลัง

ตัวอย่างการทำ upsert ด้วย Spark DataFrame:

// อ่านข้อมูลที่จะแก้ไข (correction data)
val correctionDF = spark.read
  .json("s3a://my-iot-bucket/corrections/2026-03-01.json")

// เขียนทับข้อมูลเดิมด้วย upsert
correctionDF.write
  .format("hudi")
  .option("hoodie.table.name", "iot_sensor_data")
  .option("hoodie.datasource.write.operation", "upsert")
  .option("hoodie.datasource.write.recordkey.field", "device_id, timestamp")
  .option("hoodie.datasource.write.precombine.field", "timestamp")
  .mode(Append)  // upsert ใช้ Append mode
  .save("s3a://my-iot-bucket/hudi/iot_sensor_data")

3.3 Incremental Query สำหรับการวิเคราะห์แบบต่อเนื่อง

หนึ่งในคุณสมบัติเด่นของ Hudi คือ Incremental Query ซึ่งช่วยให้คุณสามารถ query เฉพาะข้อมูลที่เปลี่ยนแปลงตั้งแต่ครั้งล่าสุดที่ query โดยไม่ต้องสแกนทั้งตาราง ซึ่งมีประโยชน์อย่างมากสำหรับ ETL แบบ incremental หรือการ feed ข้อมูลไปยังระบบปลายทาง

ตัวอย่างการ query ข้อมูลที่เปลี่ยนแปลงใน 1 ชั่วโมงที่ผ่านมา:

-- เปิดใช้งาน incremental query
SET hoodie.datasource.query.type = 'incremental';
SET hoodie.datasource.query.incremental.format = 'latest_state';

-- Query ข้อมูลที่เปลี่ยนแปลงตั้งแต่ commit ล่าสุด
SELECT device_id, sensor_type, temperature, event_time
FROM iot_sensor_data
WHERE _hoodie_commit_time > '20260301120000'
  AND _hoodie_commit_time <= '20260301130000';

4. การเปรียบเทียบ: Hudi vs. Delta Lake vs. Iceberg สำหรับ IoT Gateway

ในปี 2026 ระบบ data lake สามหลักที่ถูกใช้ใน IoT gateway คือ Apache Hudi, Delta Lake (by Databricks) และ Apache Iceberg ด้านล่างคือตารางเปรียบเทียบในมุมมองของ workload IoT:

ข้อสรุป: สำหรับ IoT gateway ที่ต้องการการจัดการข้อมูลแบบเรียลไทม์ที่มี upsert และ incremental query เป็นหัวใจหลัก Apache Hudi มีความได้เปรียบอย่างชัดเจน โดยเฉพาะในด้านการจัดการข้อมูล out-of-order และความสามารถในการ query เฉพาะส่วนที่เปลี่ยนแปลง

5. Best Practices สำหรับ Hudi IoT Gateway ใน Production

5.1 การออกแบบ Schema และ Partitioning

• เลือก Primary Key ให้เหมาะสม: ควรใช้ combination ของ device_id + event_timestamp เพื่อป้องกันข้อมูลซ้ำ
• Partitioning ตามเวลา: ใช้ partition แบบวัน (yyyy-MM-dd) หรือชั่วโมง (yyyy-MM-dd-HH) ขึ้นอยู่กับปริมาณข้อมูล
• ใช้ Clustering: ใน Hudi 0.15+ มีฟีเจอร์ clustering ที่ช่วยจัดเรียงข้อมูลภายใน partition ใหม่เพื่อเพิ่มประสิทธิภาพการ query

5.2 การจัดการ Compaction สำหรับ Merge on Read

สำหรับตารางแบบ MoR ไฟล์ delta log จะถูกสะสมเรื่อยๆ จำเป็นต้องทำ compaction เป็นระยะเพื่อ merge delta log กับ base file

// เรียก compaction ด้วย Spark
import org.apache.hudi.DataSourceWriteOptions
import org.apache.hudi.config.HoodieWriteConfig

val compactionDF = spark.read.format("hudi")
  .load("s3a://my-iot-bucket/hudi/iot_sensor_data")

compactionDF.write
  .format("hudi")
  .option(DataSourceWriteOptions.TABLE_TYPE.key, "MERGE_ON_READ")
  .option(DataSourceWriteOptions.OPERATION.key, "compact")
  .option(HoodieWriteConfig.TABLE_NAME.key, "iot_sensor_data")
  .mode(Append)
  .save("s3a://my-iot-bucket/hudi/iot_sensor_data")

คำแนะนำ: ตั้งค่าให้ compaction ทำงานอัตโนมัติทุกๆ 4-6 ชั่วโมง หรือเมื่อ delta log มีขนาดเกิน 1 GB

5.3 การจัดการ Retention และ Cleanup

ข้อมูล IoT มักมีอายุการใช้งานที่จำกัด ควรตั้งค่า cleanup policy เพื่อลบข้อมูลเก่าที่ไม่จำเป็น:

• hoodie.cleaner.policy = KEEP_LATEST_COMMITS – เก็บเฉพาะ commit ล่าสุดตามจำนวนที่กำหนด
• hoodie.cleaner.commits.retained = 50 – เก็บ 50 commit ล่าสุด
• หรือใช้ Time-based retention: hoodie.cleaner.policy = TIME_BASED + hoodie.cleaner.hours.retained = 168 (7 วัน)

5.4 การปรับแต่ง Performance

6. Real-World Use Cases

6.1 สมาร์ทฟาร์ม: การจัดการข้อมูลเซนเซอร์ดินและสภาพอากาศ

บริษัทเกษตรเทคโนโลยีแห่งหนึ่งในประเทศไทยใช้ Hudi IoT Gateway เพื่อรวบรวมข้อมูลจากเซนเซอร์วัดความชื้นดิน อุณหภูมิ และแสงแดดกว่า 10,000 จุดทั่วประเทศ ข้อมูลถูกส่งผ่าน LoRaWAN ไปยัง gateway ซึ่งใช้ Hudi MoR เพื่อรองรับการเขียนข้อมูลที่หนาแน่นในช่วงเวลาเร่งด่วน (ทุก 5 นาทีต่อเซนเซอร์)

ผลลัพธ์: ลด latency ในการ query ข้อมูลย้อนหลังจาก 30 วินาทีเหลือ 2 วินาทีด้วย incremental query และสามารถทำนายการให้น้ำได้แม่นยำขึ้น 40%

6.2 ระบบติดตามยานพาหนะ (Fleet Management)

บริษัทโลจิสติกส์รายใหญ่ใช้ Hudi เพื่อจัดการข้อมูล GPS จากรถบรรทุก 5,000 คัน ซึ่งส่งตำแหน่งทุก 10 วินาที ปัญหาหลักคือข้อมูล out-of-order เนื่องจากสัญญาณ GPS ตกในเขตเมือง Hudi จัดการเรื่องนี้ได้ด้วย preCombineField และ event time ทำให้รายงานเส้นทางมีความถูกต้องสมบูรณ์

6.3 โรงงานอัจฉริยะ (Industry 4.0)

โรงงานผลิตชิ้นส่วนอิเล็กทรอนิกส์ใช้ Hudi IoT Gateway เพื่อรวบรวมข้อมูลจาก PLC และเซนเซอร์บนสายการผลิตกว่า 2,000 จุด ข้อมูลถูกใช้ในการวิเคราะห์แบบ real-time เพื่อตรวจจับความผิดปกติ และใช้ incremental query เพื่อป้อนข้อมูลเข้าสู่ระบบ Machine Learning สำหรับ predictive maintenance

7. ข้อควรระวังและข้อจำกัด

• ความซับซ้อนในการจัดการ: Hudi มีพารามิเตอร์มากมายที่ต้องปรับแต่ง การตั้งค่าผิดพลาดอาจทำให้ performance ตก
• ต้นทุนของ MoR: การใช้ Merge on Read อาจทำให้ latency ในการ query สูงขึ้นหาก compaction ไม่ทัน
• การทำงานร่วมกับระบบอื่น: บางเครื่องมือ BI ยังไม่รองรับ Hudi อย่างเต็มที่ อาจต้องใช้ Presto หรือ Trino เป็นตัวกลาง
• Resource Consumption: Hudi ต้องการหน่วยความจำและ CPU สำหรับ compaction และ clustering โดยเฉพาะในคลัสเตอร์ขนาดเล็ก

สรุป

Apache Hudi IoT Gateway เป็นโซลูชันที่มีประสิทธิภาพสูงสำหรับการจัดการข้อมูล IoT ในระดับ enterprise โดยเฉพาะในด้านการทำ upsert, incremental query, และการจัดการข้อมูล out-of-order ซึ่งเป็นความท้าทายหลักของระบบ IoT สมัยใหม่ ด้วยความสามารถในการทำงานร่วมกับ Spark Structured Streaming และระบบคลาวด์สตอเรจที่หลากหลาย Hudi จึงเป็นตัวเลือกอันดับต้นๆ สำหรับองค์กรที่ต้องการสร้าง data lake สำหรับ IoT ที่มีความน่าเชื่อถือและปรับขนาดได้

ในปี 2026 เราคาดการณ์ว่า Hudi จะได้รับการพัฒนาให้รองรับการทำงานแบบ serverless และมีเครื่องมือจัดการ UI ที่ดีขึ้น รวมถึงการ integration กับ Kubernetes ที่สมบูรณ์ยิ่งขึ้น สำหรับผู้ที่กำลังเริ่มต้น ขอแนะนำให้ทดลองกับข้อมูลตัวอย่างขนาดเล็กก่อน แล้วค่อยๆ ขยายขนาดโดยใช้ best practices ที่ได้กล่าวไว้ในบทความนี้

การลงทุนใน Apache Hudi IoT Gateway ไม่เพียงแต่ช่วยให้คุณจัดการข้อมูล IoT ได้อย่างมีประสิทธิภาพ แต่ยังเป็นการวางรากฐานสำหรับระบบวิเคราะห์ข้อมูลขั้นสูง เช่น ปัญญาประดิษฐ์ และ Machine Learning ที่จะขับเคลื่อนธุรกิจในยุคดิจิทัลต่อไป