ทีมผู้พัฒนานักสะสมเหตุการณ์ที่มีความหน่วงต่ำ 6 อันดับแรกใช้เพื่อสตรีมกิจกรรมผลิตภัณฑ์ไปยัง ClickHouse / BigQuery โดยไม่ต้องใช้ผู้ขายบุคคลที่สาม

ปัจจุบันทีมผลิตภัณฑ์อาศัยข้อมูลเชิงลึกแบบเรียลไทม์จากการโต้ตอบของผู้ใช้ การรวบรวมเหตุการณ์ที่มีเวลาแฝงต่ำเป็นพื้นฐานสำหรับการวิเคราะห์ผลิตภัณฑ์ การทดสอบการเติบโต และการเพิ่มประสิทธิภาพประสบการณ์ของลูกค้า องค์กรจำนวนมากต้องการข้อมูลเพื่อสตรีมแบบเรียลไทม์ไปยังแบ็กเอนด์เชิงวิเคราะห์ เช่น ClickHouse หรือ BigQuery แต่ไม่ต้องการพึ่งพาผู้ให้บริการบุคคลที่สามเนื่องจากการพิจารณาด้านการปฏิบัติตามข้อกำหนด ต้นทุน และการควบคุม

ทีแอลดีอาร์

หากคุณต้องการสตรีมกิจกรรมผลิตภัณฑ์ไปยัง ClickHouse หรือ BigQuery โดยมีความล่าช้าน้อยที่สุดและไม่มีผู้จำหน่ายบุคคลที่สาม นี่คือเครื่องมือหกทีมที่ทีมวิศวกรรมไว้วางใจมากที่สุด พวกเขาเสนอตัวเลือกโอเพ่นซอร์สหรือโฮสต์เองที่มีเวลาแฝงต่ำ รองรับการปรับแต่งและการปรับขนาด เครื่องมืออย่าง Redpanda, Vector และ Benthos มอบไปป์ไลน์ที่ยืดหยุ่น ในขณะที่ OpenTelemetry และ Kafka ให้คุณควบคุมข้อมูลการติดตามและการกระจายข้อความ สำรวจสิ่งที่เหมาะกับสแตกและข้อกำหนดด้านความปลอดภัยของคุณมากที่สุด

เหตุใดการรวบรวมเหตุการณ์ที่มีความหน่วงต่ำจึงมีความสำคัญ

ทีมผลิตภัณฑ์ยุคใหม่ต้องการฟีดแบ็กแบบเรียลไทม์ ไม่ว่าคุณจะใช้คุณสมบัติการทดสอบ A/B ติดตามโฟลว์ของผู้ใช้ หรือทำความเข้าใจประสิทธิภาพของผลิตภัณฑ์ ข้อมูลเหตุการณ์ที่เก่าหรือล่าช้าอาจนำไปสู่ข้อมูลเชิงลึกที่ไม่ถูกต้องได้ การสตรีมเหตุการณ์โดยตรงไปยังคลังสินค้า เช่น ClickHouse หรือ BigQuery ช่วยลดการพึ่งพาและเวลาในการตอบสนอง ช่วยให้ตัดสินใจได้เร็วขึ้นและปรับปรุงความสามารถในการสังเกต

การใช้โซลูชันการวิเคราะห์ของบุคคลที่สามเพียงอย่างเดียวสามารถแนะนำ:

• ค่าหน่วงเวลาแฝง จากความล่าช้าในการกำหนดเส้นทางและการประมวลผล
• ข้อกังวลเกี่ยวกับความเป็นส่วนตัวของข้อมูล เมื่อแบ่งปันข้อมูลพฤติกรรมกับภายนอก
• ค่าใช้จ่ายที่สูงขึ้น ที่เกี่ยวข้องกับสิทธิ์การใช้งานและราคาต่อเหตุการณ์

นี่คือจุดที่ผู้รวบรวมเหตุการณ์ที่จัดการด้วยตนเองกลายเป็นสิ่งที่ขาดไม่ได้

นักสะสมเหตุการณ์ที่มีความหน่วงต่ำ 6 อันดับแรก

1. Redpanda – แพลตฟอร์มสตรีมมิ่งที่รองรับ Kafka โดยไม่มี JVM

Redpanda เป็นเอ็นจิ้นสตรีมมิ่งประสิทธิภาพสูงที่เข้ากันได้กับ Kafka ซึ่งออกแบบมาเพื่อความหน่วงต่ำและประสิทธิภาพของทรัพยากร ต่างจาก Apache Kafka ตรงที่มันถูกนำไปใช้ใน C++ และทำงานบนไบนารี่เดียวโดยไม่ต้องใช้ Java Virtual Machine (JVM) ซึ่งช่วยลดการใช้หน่วยความจำและเวลาเริ่มต้นระบบ

คุณสมบัติที่ทำให้ Redpanda เหมาะอย่างยิ่งสำหรับการสตรีมกิจกรรมผลิตภัณฑ์แบบเรียลไทม์ ได้แก่:

• ความเข้ากันได้ของ Kafka API — บูรณาการกับผู้ผลิต Kafka และผู้บริโภคของคุณได้ทันที
• การดำเนินการไบนารีเดี่ยว — ลดความซับซ้อนในการดำเนินงาน
• เวลาแฝงต่ำ — กำหนดเป้าหมายที่เวลาแฝงตั้งแต่ต้นทางถึงปลายทางน้อยกว่า 1ms

คุณสามารถเชื่อมต่อ Redpanda ด้วยเครื่องมือ เช่น ClickHouse Sink Connector หรือนำเข้าเหตุการณ์โดยใช้คอนซูเมอร์ที่กำหนดเองซึ่งเขียนไปยัง API สตรีมมิงของ BigQuery

2. Vector – ไปป์ไลน์การสังเกตโอเพ่นซอร์สที่รวดเร็วและขยายได้

Vector โดย Datadog เป็นอีกหนึ่งทางเลือกที่โดดเด่นสำหรับการนำเข้ากิจกรรมผลิตภัณฑ์ เป็นเครื่องมือโอเพ่นซอร์สน้ำหนักเบาที่ออกแบบมาเพื่อรวบรวม แปลง และกำหนดเส้นทางบันทึก ตัวชี้วัด และเหตุการณ์ที่มีค่าใช้จ่ายต่ำมาก รองรับตรรกะแบบ WASM ทำให้เป็นเครื่องมือที่มีประสิทธิภาพสำหรับการปรับแต่งการเปลี่ยนแปลงเหตุการณ์ที่ขอบของโครงสร้างพื้นฐานของคุณ

ความสามารถที่สำคัญ:

• Sinks สำหรับ ClickHouse และ BigQuery — ส่งกิจกรรมโดยตรงโดยไม่ต้องใช้คิวกลาง
• การบังคับใช้สคีมา — สิ่งสำคัญสำหรับการรักษาคุณภาพข้อมูลในคลังสินค้า
• การติดตามแบบ Edge-to-core — ฝังข้อมูลการติดตามพร้อมกับตัวชี้วัดเหตุการณ์ได้อย่างง่ายดาย

ทีมงานมักจะปรับใช้ Vector เป็น daemonset บน Kubernetes โดยรวบรวมการส่งข้อมูลทางไกลส่วนหน้าและส่วนหลัง และกำหนดเส้นทางโดยตรงไปยัง ClickHouse แบบเรียลไทม์

3. Kafka พร้อม Fluent Bit – Power Duo ที่ปรับแต่งได้

หากคุณใช้ Apache Kafka อยู่แล้ว การจับคู่กับ Fluent Bit จะทำให้ได้ไปป์ไลน์เหตุการณ์ที่มีประสิทธิภาพ Fluent Bit คือตัวประมวลผลบันทึกโอเพ่นซอร์สและผู้ส่งต่อที่ได้รับการปรับให้เหมาะกับสภาพแวดล้อมที่มีน้ำหนักเบา สามารถแยกวิเคราะห์เหตุการณ์ผลิตภัณฑ์ที่มีโครงสร้างจากไมโครเซอร์วิสหรือการนำเข้าฟรอนต์เอนด์ และส่งต่อไปยังหัวข้อ Kafka

จาก Kafka คุณมีสองตัวเลือกการกำหนดเส้นทางที่มีประสิทธิภาพ:

• ใช้ Kafka Connect กับตัวเชื่อมต่อ sink สำหรับ ClickHouse หรือ Google BigQuery
• ใช้บริการแบบกำหนดเองที่ใช้การเปลี่ยนแปลงก่อนโหลดเข้าคลังสินค้าของคุณ

คำสั่งผสมนี้ช่วยให้ทีมจัดการปริมาณงานการสตรีมปริมาณมากโดยไม่ต้องแนะนำผู้จำหน่ายบุคคลที่สาม แม้ว่าจะไม่ใช่วิธีที่ง่ายที่สุดในการกำหนดค่า แต่ก็มีประโยชน์อย่างมากสำหรับไปป์ไลน์ ETL ที่ซับซ้อน

4. สัตว์หน้าดิน – ปรับปรุงข้อมูลโดยไม่ต้องเขียนโค้ด

Benthos เป็นเครื่องมือสตรีมมิ่งไบนารี่เดี่ยวที่ไม่ค่อยมีใครรู้จักแต่ทรงพลัง สร้างขึ้นโดยมีจุดประสงค์เพื่อความยืดหยุ่นในการเคลื่อนย้ายข้อมูล มีการกำหนดค่าแบบ YAML และไม่จำเป็นต้องเขียนโค้ดที่กำหนดเองเพื่อแยกวิเคราะห์ แก้ไข และกำหนดเส้นทางเหตุการณ์ของผลิตภัณฑ์

ประโยชน์ของการใช้ Benthos ได้แก่:

• ปลั๊กอินอินพุตและเอาท์พุตมากกว่า 100 รายการ — รวมถึง Kafka, HTTP, File และ sink ฐานข้อมูลโดยตรง
• ไปป์ไลน์ที่ยืดหยุ่น — ใช้การแยกสาขา ตัวกรอง การเพิ่มคุณค่าของข้อมูล และการแบ่งกลุ่ม
• ความสามารถในการสังเกตที่แข็งแกร่ง — รองรับการวัดและการติดตามด้วย Prometheus

Benthos เหมาะสำหรับทีมนักพัฒนาซอฟต์แวร์ที่ต้องการไปป์ไลน์ที่ยืดหยุ่นโดยไม่ต้องบำรุงรักษาโครงสร้างพื้นฐานเช่น Kafka และเชื่อมต่อกับ ClickHouse หรือ BigQuery ได้อย่างราบรื่นโดยตรงผ่านตัวเขียน HTTP หรือปลั๊กอินที่กำหนดเอง

5. OpenTelemetry Collector – Unified Ingest สำหรับเหตุการณ์ บันทึก และการติดตาม

แม้ว่า OpenTelemetry (OTel) จะขึ้นชื่อเรื่องการติดตามและการวัดเป็นหลัก แต่ OTel Collector ได้พัฒนาเป็นเครื่องมือที่มีประสิทธิภาพสำหรับการนำเข้าเหตุการณ์ โดยเฉพาะอย่างยิ่งเมื่อทีมต้องการความสม่ำเสมอในไปป์ไลน์ความสามารถในการสังเกตและการวิเคราะห์ผลิตภัณฑ์

ทำไมทีมวิศวกรถึงใช้มัน:

• รองรับโปรโตคอลและผู้ส่งออกอย่างกว้างขวาง รวมถึง HTTP, gRPC และ OTLP
• การกำหนดมาตรฐานของข้อมูลการวัดและส่งข้อมูลทางไกล ก่อนกำหนดเส้นทางไปยังแบ็กเอนด์การวิเคราะห์
• การผสานรวมที่แข็งแกร่งกับสแต็กแบบคลาวด์เนทีฟ เช่น Kubernetes, Prometheus และ Jaeger

คุณสามารถตั้งค่าผู้ส่งออกให้สตรีมการวัดและส่งข้อมูลทางไกลของเหตุการณ์ที่มีโครงสร้างจาก OTel Collector ไปยัง BigQuery โดยตรงผ่าน Pub/Sub หรือไปยัง ClickHouse ผ่านอะแดปเตอร์ที่กำหนดเอง

6. Snowplow Open Source – การวิเคราะห์เหตุการณ์พร้อมความเป็นเจ้าของข้อมูลผู้ใช้โดยสมบูรณ์

เดิมทีเป็นที่รู้จักในด้านการวิเคราะห์พฤติกรรม โซลูชันโอเพ่นซอร์สของ Snowplow ในปัจจุบันเพิ่มเป็นสองเท่าของไปป์ไลน์เหตุการณ์แบบเรียลไทม์ที่ทรงพลัง รองรับสคีมาเหตุการณ์ที่กำหนดเอง ทำให้เหมาะสำหรับทีมที่ต้องการความโปร่งใสเต็มรูปแบบและการควบคุมกลุ่มการรวบรวมกิจกรรมผลิตภัณฑ์ของตน

คุณสมบัติได้แก่:

• สตรีมมิ่งแบบเรียลไทม์ด้วย Kafka และ GCP Pub/Sub
• สร้างสถาปัตยกรรมไปป์ไลน์ของคุณเอง ตั้งแต่ตัวติดตามไปจนถึงตัวโหลด
• การตรวจสอบสคีมาที่แข็งแกร่ง พร้อมการรองรับสคีมา JSON

Snowplow สามารถสตรีมกิจกรรมไปยัง BigQuery โดยมีความล่าช้าน้อยที่สุด และผสานรวมกับ ClickHouse โดยใช้ตัวโหลดที่พัฒนาโดยชุมชน เหมาะสำหรับทีมผลิตภัณฑ์ที่เป็นผู้ใหญ่ที่ต้องการลงทุนในสแต็กการวิเคราะห์ที่ปรับแต่งได้สูง

ความคิดสุดท้าย

การเลือกสแต็กตัวรวบรวมเหตุการณ์ที่เหมาะสมจะขึ้นอยู่กับโครงสร้างพื้นฐานของทีม การตั้งค่าภาษา ความต้องการด้านเวลาแฝง และข้อกำหนดการปฏิบัติตามข้อกำหนด เครื่องมืออย่าง Redpanda และ Benthos มอบความเรียบง่ายและรวดเร็ว ในขณะที่โซลูชันอย่าง Kafka + Fluent Bit และ OpenTelemetry มอบความยืดหยุ่นอย่างมากและการสนับสนุนระบบนิเวศ

ที่สำคัญ เครื่องมือทั้ง 6 อย่างที่ไฮไลต์ไว้จะช่วยหลีกเลี่ยงการผูกมัดกับผู้จำหน่ายบุคคลที่สาม ทำให้ทีมของคุณ ควบคุมความเป็นส่วนตัวของข้อมูลและต้นทุนการดำเนินงานได้ดียิ่งขึ้น สำหรับทีมพัฒนายุคใหม่ที่ต้องการมองเห็นการใช้งานผลิตภัณฑ์แบบเรียลไทม์แบบ end-to-end การใช้เครื่องมือเหล่านี้สักหนึ่งหรือสองอย่างให้เชี่ยวชาญถือเป็นการเปลี่ยนแปลงเกม

แนะนำขั้นตอนถัดไป

• เริ่มต้น PoC โดยส่งหนึ่งในตัวรวบรวมเหล่านี้ไปยังอินสแตนซ์ ClickHouse หรือ BigQuery ของคุณ
• วัดเวลาแฝงตั้งแต่ต้นทางถึงปลายทางและความน่าเชื่อถือในการประมวลผลภายใต้โหลด
• ประเมินคุณสมบัติความสามารถในการสังเกต (ตัวชี้วัด บันทึก พฤติกรรมการลองใหม่)
• ประเมินความสามารถในการแปลงและการตรวจสอบสคีมา

การวิเคราะห์ผลิตภัณฑ์ที่มีเวลาแฝงต่ำไม่ได้มีไว้สำหรับเทคโนโลยีขนาดใหญ่เท่านั้นอีกต่อไป ด้วยเครื่องมือที่เหมาะสม ทีมใดๆ ก็สามารถสร้างไปป์ไลน์สตรีมมิ่งที่แข็งแกร่งและจัดการด้วยตนเองได้