วิธีการสร้าง Data catalog

Data catalog

วิธีใช้ Analytics Tools สำหรับค้นหา transfer event สามารถใช้ SQL เพื่อวิเคราะห์ข้อมูลได้ดังนี้

1. หลังจากที่รัน Script TxEngine เรียบร้อยแล้ว เมื่อเปิด S3 เข้ามาจะเจอข้อมูลอย่างเช่นในรูป

2. หลังจากนั้นเปิดใช้งาน AWS Glue โดยทำการ Search ชื่อ Service (AWS Glue) จากนั้นทำการสร้าง Glue database

3. เริ่มดำเนินการตั้งชื่อ Glue Database

4. หลังจากสร้าง Glue database เสร็จสิ้น ทำการเพิ่ม Table โดยใช้ Crawler ทำการ Click add tables using crawler

5. หลังจากตั้งชื่อ Crawler เสร็จสิ้น ทำการ Add a data source

6. Click Browse S3 เพื่อทำการเลือก S3 Bucket ที่จัดเก็บข้อมูล Logs ของเรา

7. เลือก Bucket โดยกด Radio button หน้าชื่อ S3 bucket

8. จากนั้นทำการเพิ่ม IAM Role ให้กับ Glue crawler (สามารถดูวิธีการสร้าง IAM Role ได้จากบทความนี้)

9. ทำการเลือก Target database ให้เป็นชื่อ database ที่เราทำการสร้างครั้งแรก

10. หลังจากสร้าง Crawler เสร็จสิ้น ทำการสั่ง Run crawler เพื่อเป็นการสร้าง Datacatalog ครั้งแรก

11. หลังจากสั่ง Run crawler เสร็จสิ้น จะได้ผลลัพธ์ตามภาพ

เสร็จสิ้นไปเรียบร้อยแล้วสำหรับการสร้าง Datacatalog สำหรับทำให้ข้อมูลใน S3 สามารถใช้ Query โดย SQL (AWS Athena) ในบทความถัดไป

เพิ่มเติมสำหรับ aws glue

1. https://www.vultureprime.com/how-to/how-to-create-table-with-glue-crawler-2

2. https://www.vultureprime.com/how-to/how-to-create-database-in-glue-catalog

‍

สำหรับครั้งนี้เราจะสอนใช้งาน TXEngine เป็น Open Source Data Ingestion and Validation ซึ่งสามารถใช้งานร่วมกับ AWS Glue, AWS Athena และ AWS Quicksight เพื่อสร้าง On chain analyst engine (Dune analytics-like) ของตัวเอง https://github.com/vultureprime/tx-engine

1. Data Ingestion
2. Data Catalog
3. Query
4. Visualization