Data Pipeline

สถาปัตยกรรมแบบรวม: ออกแบบ pipeline ตั้งแต่การส่งเหตุการณ์เข้า Kafka, การเก็บแบบ Event Store จนถึงการเรียกใช้ LLM สำหรับสรุปสถานะ

สถาปัตยกรรมแบบรวม: ออกแบบ pipeline ตั้งแต่การส่งเหตุการณ์เข้า Kafka, การเก็บแบบ Event Store จนถึงการเรียกใช้ LLM สำหรับสรุปสถานะ ในยุคที่ข้อมูลเกิดขึ้นอย่างรวดเร็วและต่อเนื่อง การออกแบบระบบที่สามารถรองรับการไหลของข้อมูลปริมาณมหาศาลพร้อมกับการประมวลผลที่ชาญฉลาดกลายเป็นหัวใจสำคัญของธุรกิจเทคโนโลยี สถาปัตยกรรมแบบรวม (Unified Architecture) จึงถูกนำมาใช้เพื่อเชื่อมโยงโลกของการประมวลผลแบบ Event-driven เข้ากับพลังของปัญญาประดิษฐ์อย่าง Large…

5 months ago

ออกแบบข้อมูลและแหล่งที่มา: กำหนดแหล่งข้อมูล การจัดรูปแบบสคีมา และการเลือกไฟล์/สตรีมสำหรับการดึงข้อมูล (Extract)

ออกแบบข้อมูลและแหล่งที่มา: กำหนดแหล่งข้อมูล การจัดรูปแบบสคีมา และการเลือกไฟล์/สตรีมสำหรับการดึงข้อมูล (Extract) ในยุคที่ข้อมูลเปรียบเสมือนน้ำมันดิบของโลกดิจิทัล การ ออกแบบข้อมูลและแหล่งที่มา จึงเป็นขั้นตอนที่สำคัญที่สุดก่อนที่องค์กรจะสามารถนำข้อมูลไปวิเคราะห์เพื่อสร้างมูลค่าได้ กระบวนการดึงข้อมูล (Extract) ไม่ใช่แค่การคัดลอกข้อมูลจากที่หนึ่งไปยังอีกที่หนึ่ง แต่เป็นการวางแผนอย่างเป็นระบบ ตั้งแต่การระบุต้นทาง การกำหนดโครงสร้าง (Schema) ไปจนถึงการตัดสินใจเลือกระหว่างการประมวลผลแบบไฟล์หรือแบบสตรีมมิ่ง เพื่อให้ได้ข้อมูลที่มีคุณภาพและพร้อมใช้งานมากที่สุด Pro Tip:…

5 months ago

สร้าง Data Pipeline ETL + RAG บน Snowflake Native App อย่างเป็นขั้นตอนเพื่อระบบค้นคืนความรู้ที่เชื่อถือได้

สร้าง Data Pipeline ETL + RAG บน Snowflake Native App อย่างเป็นขั้นตอนเพื่อระบบค้นคืนความรู้ที่เชื่อถือได้ในยุคที่ Generative AI เข้ามามีบทบาทสำคัญ การสร้างระบบที่สามารถดึงข้อมูลองค์กรมาตอบคำถามได้อย่างแม่นยำ หรือที่เรียกว่า Retrieval-Augmented Generation (RAG) กลายเป็นสิ่งที่ทุกธุรกิจต้องการ…

5 months ago

การออกแบบสถาปัตยกรรม: วิธีผสาน DAG, Operator, และการเรียก LLM (API/Server) สำหรับงานประมวลผลเอกสารขนาดใหญ่

การออกแบบสถาปัตยกรรม: วิธีผสาน DAG, Operator, และการเรียก LLM (API/Server) สำหรับงานประมวลผลเอกสารขนาดใหญ่ ในยุคที่ข้อมูลเอกสารมีปริมาณมหาศาล (Big Document Data) การสกัดความรู้ การสรุปผล และการจัดทำดัชนีจำเป็นต้องอาศัยระบบอัตโนมัติที่แข็งแกร่งและปรับขนาดได้ การออกแบบสถาปัตยกรรมที่เหมาะสมจึงเป็นหัวใจสำคัญ โดยเฉพาะอย่างยิ่งเมื่อต้องผสานรวมความสามารถของ Large Language Models…

7 months ago