Job Benefit
Laptop Insurance Travel opportunities Uniform Incentive bonus Health checkup Training & Development Annual Leave Job Description
Tổng quan vai trò:
Data Engineer chịu trách nhiệm thiết kế, xây dựng và vận hành các pipeline dữ liệu cốt lõi của Smart Data Hub: thu thập – chuẩn hoá – kiểm soát chất lượng – lưu trữ – phân phối dữ liệu tin cậy phục vụ báo cáo, phân tích và các tính năng sản phẩm. Vai trò này tập trung vào Data Pipeline, Processing (Spark), Orchestration (Airflow) và các lớp Metadata/Governance (MDM, Data Catalog, Data Policy) Phạm vi hệ thống & tech stack:
Orchestration: Apache Airflow (DAG scheduling, backfill, SLA). Processing: Apache Spark (batch/near-real-time), file formats Parquet/ORC. Integration (phối hợp): Apache Camel / HTTP / JDBC / message broker...