สิ่งนี้คืออะไร

ตัวเชื่อมต่อข้อมูลเพื่อวัตถุประสงค์ทั่วไปที่ซิงค์ข้อมูลจากหลายแหล่งไปยังปลายทางพื้นที่จัดเก็บข้อมูลหลายประเภท (เช่น คลังข้อมูล, พื้นที่จัดเก็บข้อมูลบนคลาวด์, พื้นที่จัดเก็บข้อมูลดิบ, ฐานข้อมูล) โดยใช้การสำรวจ API สาธารณะตามรอบเวลาที่กำหนด การแปลงข้อมูลดิบเป็นรูปแบบมาตรฐาน และการโหลดข้อมูลเข้าปลายทางพื้นที่จัดเก็บที่คุณเลือก

กระบวนการข้อมูลที่จัดทำโดยเฉพาะซึ่งสร้างขึ้นและดูแลโดยทีมวิศวกรภายในของคุณทั้งหมด โดยจะเข้าถึง API สาธารณะเหมือนกับเครื่องมือ ETL ของบริษัทอื่น แต่สามารถปรับแต่งให้เหมาะกับความต้องการของคุณได้

กระบวนการแบบเนทีฟที่สร้างขึ้นและจัดการโดย Stripe ซึ่งซิงค์ข้อมูล Stripe กับคลังข้อมูลยอดนิยม (เช่น Snowflake, Amazon Redshift, Databricks) และปลายทางพื้นที่จัดเก็บข้อมูลบนคลาวด์ (เช่น Google Cloud Storage, Azure Blob Storage, Amazon S3) โดยไม่ต้องพึ่งพา API สาธารณะ

เนื่องจากเครื่องมือ ETL จะรับข้อมูลผ่าน API สาธารณะของ Stripe จึงต้องทำวิศวกรรมย้อนกลับโมเดลข้อมูลของ Stripe โดยต้องตรวจจับและปรับให้เข้ากับการเปลี่ยนแปลงสคีมาตามที่เกิดขึ้น ซึ่งอาจทำให้เกิดความล่าช้าหรือต้องป้อนข้อมูลทดแทนด้วยตัวเอง

ความเที่ยงตรงของข้อมูลพื้นฐานมีข้อจำกัดเหมือนกับ ETL ของบริษัทอื่น แต่ทีมวิศวกรของคุณมีอิสระมากขึ้นในการปรับแต่งวิธีที่ข้อมูลเข้าสู่คลังข้อมูล แทนที่จะต้องทำการเปลี่ยนแปลงหลังจากนั้น

Data Pipeline จะข้าม API สาธารณะทั้งหมด โดยทำสคีมาฐานข้อมูลภายในของ Stripe ขึ้นซ้ำเข้าคลังข้อมูลของคุณโดยตรง วิธีนี้ช่วยให้มั่นใจได้ว่าข้อมูลจะตรงกับแหล่งข้อมูลความจริงแบบหนึ่งต่อหนึ่ง เมื่อ Stripe เพิ่มฟีเจอร์หรือช่องข้อมูลใหม่ Data Pipeline จะเผยแพร่การเปลี่ยนแปลงเหล่านั้นไปยังคลังข้อมูลของคุณโดยที่คุณไม่ต้องดำเนินการใดๆ

API สาธารณะของ Stripe กำหนดขีดจำกัดอัตราเพื่อป้องกันไม่ให้ระบบได้รับปริมาณงานมากเกินไป ดังนั้นเพื่อให้อยู่ในขีดจำกัดเหล่านี้ เครื่องมือ ETL ของบริษัทอื่นจึงอาจจำเป็นต้องลดการรับข้อมูล วิธีนี้จะช่วยรับรองว่าการเชื่อมต่อจะเสถียรแต่อาจทำให้เกิดความล่าช้าของข้อมูลและการซิงค์บางส่วน ทำให้ข้อมูลคลังของคุณล่าช้าเล็กน้อย

ในการจัดการขีดจำกัดอัตราที่กำหนดโดย API สาธารณะของ Stripe ทีมวิศวกรของคุณจะต้องปรับใช้ตรรกะเพื่อจัดการจังหวะคำขอ ควบคุมการลองซ้ำ และรักษาความน่าเชื่อถือของการซิงค์เมื่อปริมาณข้อมูลเพิ่มขึ้น

เนื่องจาก Data Pipeline ไม่ต้องพึ่งพา API สาธารณะ จึงไม่ถูกจำกัดโดยขีดจำกัดอัตรา API แต่จะดำเนินงานเป็นบริการส่งออกที่มีการจัดการซึ่งส่งมอบข้อมูล Stripe ตรงไปยังคลังข้อมูลของคุณตามกำหนดเวลาเป็นประจำ ช่วยให้สามารถขยายการรับข้อมูลได้อย่างน่าเชื่อถือเมื่อปริมาณธุรกรรมเพิ่มขึ้น

เครื่องมือเหล่านี้ช่วยให้เข้าถึงชุดข้อมูลธุรกรรมหลักที่พร้อมใช้งานผ่าน API สาธารณะของ Stripe ได้ แต่รายงานทางการเงินสำเร็จรูป ชุดข้อมูล Stripe ที่รอบด้าน และผลลัพธ์จาก Stripe Sigma จะไม่ได้รับการทำซ้ำโดยอัตโนมัติ ต้องอาศัยขั้นตอนการส่งออกหรือการสร้างโมเดลข้อมูลเพิ่มเติม

การผสานการทำงานที่ทีมวิศวกรของคุณสร้างขึ้นจะถูกจำกัดอยู่กับชุดข้อมูลหลัก Stripe ที่พร้อมใช้งานผ่าน API ชุดเดียวกันเท่านั้น และจะต้องสร้างรายงานและชุดข้อมูล Stripe ที่ปรับแต่งได้ขึ้นซ้ำจำนวนมากขึ้นมาประกอบเป็นส่วนหนึ่งด้วย

นอกเหนือจากชุดข้อมูลหลักแล้ว Data Pipeline ยังส่งรายงานทางการเงินสำเร็จรูปมากกว่า 10 รายการ ชุดข้อมูลที่รอบด้าน 22 ชุด และรายงานที่กำหนดเองจาก Stripe Sigma ซึ่งหมายความว่าทีมไม่จำเป็นต้องสร้างโมเดลที่ซับซ้อนขึ้นซ้ำหรือดำเนินการส่งออกด้วยตัวเองอย่างต่อเนื่องเพื่อวิเคราะห์เมตริกหลัก เช่น MRR, การเลิกใช้บริการ/เลิกซื้อสินค้า และอัตราการฉ้อโกง มีการตรวจสอบเพื่อให้แน่ใจว่าข้อมูลครบถ้วนอย่างสอดคล้องกัน

โดยทั่วไปแล้ว เครื่องมือเหล่านี้จะเป็นไปตามมาตรฐานการรักษาความปลอดภัยที่เข้มงวด เช่น การปฏิบัติตามข้อกำหนด SOC 1 ประเภท 2 และ SOC 2 ประเภท 2 และการรับรอง ISO เครื่องมือบางตัวจะมีมาตรการควบคุมการรักษาความปลอดภัยขั้นสูงขึ้นอีก เช่น การรับรอง PCI DSS ระดับ 1 หรือ HITRUST แต่อาจจำกัดไว้เฉพาะสำหรับแพ็กเกจองค์กรระดับสูงขึ้น แม้จะเป็นเช่นนั้น แต่การใช้เครื่องมือ ETL หมายความว่าต้องมอบสิทธิ์ให้บริษัทอื่นเข้าถึงข้อมูลทางการเงินของคุณในระหว่างการส่งเข้าคลังของคุณ

การสร้างการผสานการทำงานที่ออกแบบเองหมายความว่าคุณเป็นผู้รับผิดชอบอย่างเต็มที่ต่อการรักษาความปลอดภัยของกระบวนการ กล่าวคือไม่มีการส่งข้อมูลไปยังบริษัทอื่น แต่คุณทำหน้าที่เป็นผู้ให้บริการด้านการรักษาความปลอดภัยแก่ตัวคุณเอง ทีมของคุณจะสร้างโครงสร้างพื้นฐานเพื่อปกป้องคีย์ API, บังคับใช้การเข้ารหัส และจัดการการควบคุมการเข้าถึง โดยทั่วไปแล้วแนวทางนี้ต้องอาศัยทีมการรักษาความปลอดภัยและวิศวกรรมข้อมูลเฉพาะทาง

เมื่อใช้ Data Pipeline ข้อมูลจะไม่ส่งผ่านหรืออยู่บนเซิร์ฟเวอร์ของบริษัทอื่นในระหว่างทางไปยังคลังข้อมูลของคุณ เพราะ Data Pipeline ทำงานบนโครงสร้างพื้นฐานที่ได้รับการควบคุมของ Stripe และอยู่ในสภาพแวดล้อมการรักษาความปลอดภัยของ Stripe โดยเป็นไปตามมาตรฐานการรักษาความปลอดภัยที่เข้มงวดของ Stripe รวมถึงการปฏิบัติตามข้อกำหนด PCI DSS ระดับ 1, SOC 1 และ SOC 2 ประเภท 2 และการรับรอง ISO

เครื่องมือ ETL ที่ทันสมัยได้รับการออกแบบมาเพื่อกระบวนการเริ่มต้นใช้งานที่รวดเร็ว การตั้งค่าส่วนใหญ่เป็นการกำหนดค่า UI โดยอนุมัติสิทธิ์เข้าถึง Stripe, เลือกสิ่งที่คุณต้องการซิงค์ และเลือกปลายทางพื้นที่จัดเก็บข้อมูล เพื่อให้ทีมต่างๆ สามารถรับส่งข้อมูลได้อย่างรวดเร็วโดยไม่ต้องเขียนโค้ด

เนื่องจากทีมของคุณกำลังสร้างกระบวนการแบบตั้งแต่ต้นทางถึงปลายทาง การผสานการทำงาน API ที่กำหนดเองจึงมักใช้เวลานานที่สุดในการตั้งค่าและมีค่าใช้จ่ายล่วงหน้าสูงที่สุด คุณสามารถปรับแต่งข้อมูลที่จะรับและวิธีการสร้างโมเดลข้อมูลได้อย่างเจาะจง แต่คุณจะต้องเผื่อเวลาทำวิศวกรรมพอสมควรเพื่อนำไปใช้และทำงานผลิต

Data Pipeline ได้รับการออกแบบมาให้เป็นแบบครบวงจร จึงตั้งค่าได้ง่ายไม่ซับซ้อน เพียงเลือกปลายทางพื้นที่จัดเก็บข้อมูลและเชื่อมต่อบัญชี โดยปกติแล้วข้อมูล Stripe ทั้งหมดจะพร้อมใช้งานในคลังข้อมูลภายใน 12 ชั่วโมง