✓วางแผน

1Ingestion

2Warehouse

3Deploy

4Monitor

เฟส 1 เสร็จ · รันทดสอบจริง 5/5 แพลตฟอร์ม

ดึงข้อมูล 5 แพลตฟอร์ม → normalize เป็นมาตรฐานเดียว

เฟสแรกของ Premium — ชั้น Data Ingestion: connector ต่อแต่ละแพลตฟอร์มแบบ API-first พร้อม Playwright fallback แล้วแปลงข้อมูลดิบที่หน้าตาต่างกันให้เป็น schema กลางพร้อมส่งต่อ. โฟกัสเฉพาะ ingestion — ยังไม่แตะ warehouse/deploy (ตาม roadmap เป๊ะ)

connectors

API+PW

first + fallback

5/5

รันทดสอบผ่าน

9/9

edge case

มืออาชีพ · ไม่หลุดเป้า

ขอบเขตเฟส 1 ชัดเจน

โปรเจกต์ใหญ่ต้องคุมเฟสให้แน่น — ทำเฉพาะของเฟสนี้ ส่งต่อให้เฟสหน้าอย่างสะอาด

✅ เฟสนี้ทำ (In Scope)

เขียน connector 5 แพลตฟอร์ม (Shopee·Lazada·TikTok·Shopify·LINE)
API-first + Playwright fallback + retry (tenacity)
normalize ข้อมูลดิบ → schema กลาง (OrderRecord / InventoryRecord)
orchestrator + partial-failure handling (เว็บเดียวล้มไม่ abort)
export เป็น JSON พร้อมให้เฟส 2 อ่าน

→ ส่งต่อเฟสหน้า (ยังไม่ทำตอนนี้)

เขียนลง Postgres + UPSERT + quality gate เฟส 2
Docker → Cloud Run + Scheduler + Secret Manager เฟส 3
Monitoring 24/7 + Looker dashboard เฟส 4
เทส UAT + handover + ดูแล 1 เดือน เฟส 4

01 · ดีไซน์

กลไก connector หนึ่งตัว

ทุก connector ใช้สถาปัตยกรรมเดียวกัน — เปลี่ยนแพลตฟอร์มแค่เปลี่ยน fetch + normalize

🔌

API-first

requests + auth

→

🔁

retry

tenacity backoff

— ถ้า API ตาย →

🎭

Playwright

fallback (headless)

↓

🧱

normalize

→ schema กลาง

→

📦

ExtractResult

orders + inventory + ok/error

แพลตฟอร์ม	วิธีดึงหลัก	endpoint / หมายเหตุ
shopee	API	Open Platform v2 · signed (HMAC-SHA256)
lazada	API	Open Platform · app_key + sign
tiktok	API + PW	Partner API · ชอบล่มช่วงพีค → fallback
shopify	API	Admin REST · X-Shopify-Access-Token
line	Playwright	ไม่มี order API เต็มรูป → ดึงจาก console

02 · โค้ดจริง

เปิดดูโค้ด คัดลอกได้

โค้ด Python จริง — รันทดสอบด้วย SAMPLE_MODE=1 python extract_all.py ได้เลย

connectors.py

03 · ผลลัพธ์

Output ที่ normalize แล้ว

ข้อมูลจาก 5 แพลตฟอร์มที่หน้าตาต่างกัน → มาตรฐานเดียว พร้อมให้เฟส 2 load เข้า Postgres

✓ 5/5 แพลตฟอร์ม ok 5 orders 5 inventory 0 errors

📐 schema กลาง (models.py)

OrderRecord(
  platform, platform_order_id,
  order_date, total_amount, status,
  sku, qty, unit_price)

InventoryRecord(
  platform, sku, stock, updated_at)

natural key = (platform, order_id, sku) — ตรง PRIMARY KEY ของตาราง orders เฟส 2

sample_output.json

04 · ทดสอบ

รายงานผล Ingestion

รันจริง ไม่ใช่อ้างลอย ๆ — 9 กรณีผ่านครบ

#	กรณีทดสอบ	ผลที่คาดหวัง	ผล
1	รัน orchestrator (SAMPLE_MODE)	ดึง+normalize ครบ 5 แพลตฟอร์ม	✅ ผ่าน
2	normalize Shopee items	total = price×qty (690×2=1,380)	✅ ผ่าน
3	TikTok epoch → ISO	1749196800 → ISO timestamp ถูก	✅ ผ่าน
4	partial failure (1 ตัว throw)	ok=False เก็บ error · ตัวอื่นทำต่อ	✅ ผ่าน
5	API ตาย → Playwright fallback	LINE ใช้ fallback ตาม design	✅ ผ่าน
6	retry error ชั่วคราว	tenacity backoff 4 ครั้ง	✅ ผ่าน
7	natural key ตรง schema เฟส 2	(platform, order_id, sku)	✅ ผ่าน
8	import โดยไม่มี deps	lazy import → stdlib ล้วน	✅ ผ่าน
9	export JSON	พร้อมให้เฟส 2 อ่านไป load	✅ ผ่าน