Data Engineer ทำหน้าที่พัฒนา ทดสอบ และดูแลระบบโครงสร้างของข้อมูลดิบทั้งหมด โดยจะเน้นไปที่การออกแบบวิธีการจัดเก็บ และเรียกใช้งานข้อมูล รวมถึงการทำ Data Pipeline และการเลือกใช้ Storage เพื่อให้เราสามารถดึงข้อมูลมาใช้ได้ง่าย ส่งต่อข้อมูลได้สะดวก และมีข้อมูลที่พร้อมนำไปใช้ นอกจากงานในส่วนของการพัฒนาและติดตั้งแล้ว Data Engineer ยังมีหน้าที่คอยดูแลและรักษาระบบต่าง ๆ ให้ทำงานได้อย่างลื่นไหล รวมถึงมองหาช่องโหว่ หรือโอกาสในการพัฒนาระบบให้ทำงานได้ดีขึ้นอยู่เสมอ อาชีพนี้เน้นความสามารถด้านการเขียนโปรแกรมและความรู้เกี่ยวกับเครื่องมือในการจัดการ Data Data Scientist คือคนที่ช่วยวิเคราะห์ข้อมูลและสร้างโมเดล โดยทำหน้าที่นำข้อมูลจากหลาย ๆ แหล่ง มาผ่านวิธีการต่าง ๆ เช่น Data Mining, Machine Learning, Optimization เพื่อวิเคราะห์เชิงทำนายผล (Predictive Analytics) เช่น คาดการณ์ยอดขายล่วงหน้า รวมถึงทำการวิเคราะห์ในเชิงพัฒนา (Prescriptive Analytics) เช่น การเข้าไปพัฒนากระบวนการทำงาน เน้นความรู้ด้านคณิตศาสตร์ ไม่จำเป็นต้องเก่งด้าน Software Engineering มากนัก แต่ควรจะเขียนโค้ดได้ในระดับหนึ่ง เพราะในปัจจุบัน ภาษา R และ Python มี Library ที่ช่วยให้ชีวิตการวิเคราะห์ข้อมูลหรือทำโมเดลง่ายขึ้นเยอะมาก ๆ และสิ่งที่ Data Scientist จะต้องส่งต่อให้ลูกค้า ก็คือการสร้างเครื่องมือหรือโมเดลที่สามารถวิเคราะห์ข้อมูลเหล่านี้ให้กับลูกค้าได้อัตโนมัติ บางคนอาจสงสัยแล้ว Data Analyst หล่ะทำหน้าที่อะไร Data Analyst เน้นการวิเคราะห์ข้อมูลและสรุปส่งเป็น Report ให้กับทีมบริหารหรือทีมที่ต้องการใช้ โดยไม่ได้ใช้รูปแบบ Model จะใช้ข้อมูลทางสถิติมาช่วยในการวิเคราะห์มากกว่า
หากพูดถึงโปรเจค Data Science จะมี 2 ตัวละครหลักคือ Data Engineer และ Data Scientist
ในบทความของ Oreilly เค้าแนะนำว่า สัดส่วนของ Data Engineer ต่อ Data Scientist ควรเป็น 2 – 5 Data Engineer : 1 Data Scientist
เป็นคนแบบนี้ควรทำตำแหน่งไหน? (อ้างอิงข้อมูลจาก บทความของ SERTIS )
แต่อย่างไรก็ตาม ทั้ง 3 ตำแหน่งมีบทบาทสำคัญไม่แพ้กัน ลองนึกภาพว่า หากไม่มีคนเตรียมข้อมูลและคอยดูแลระบบการจัดเก็บ แล้วองค์กรจะมีแหล่งข้อมูลที่พร้อมใช้ได้อย่างไร หากมีแหล่งข้อมูลพร้อมใช้แต่ใช้งานไม่เต็มประสิทธิภาพ ข้อมูลนั้นจะเกิดประโยชน์ได้อย่างไร
อ้างอิงข้อมูลจาก:
Data Engineer, Data Scientist และ Data Analyst ต่างกันอย่างไร
โลกนี้ไม่ได้ต้องการ Data Scientist แต่ต้องการ Data Engineer ต่างหาก ? - เข้าใจ Data ง่าย ๆ กับ DataTH
Data Engineer และ Data Scientist คืออะไร? และต่างกันอย่างไร?