Học Data Engineer từ số 0: Lộ trình 6 tháng để xây nền tảng vững chắc
Data Engineer, hay kỹ sư dữ liệu, là người xây dựng và vận hành hệ thống giúp dữ liệu đi từ nơi phát sinh đến nơi có thể sử dụng.
Khi một doanh nghiệp muốn xem doanh thu trên dashboard, phân tích hành vi khách hàng, dự báo tồn kho hoặc xây AI Agent, dữ liệu phía sau phải được thu thập, kiểm tra, lưu trữ và cập nhật đúng. Phần việc này nằm ở trung tâm của Data Engineering.
Người mới tìm hiểu nghề thường gặp một danh sách công nghệ rất dài: SQL, Python, Linux, Git, Docker, Airflow, Data Warehouse, Cloud, Spark, Kafka, dbt và nhiều công cụ khác.
Nếu học từng công nghệ như một môn độc lập, kiến thức rất dễ rời rạc.
Biết SQL nhưng không biết dữ liệu đó đến từ đâu. Biết Airflow nhưng chưa hiểu pipeline cần chạy lại thế nào khi lỗi. Biết Spark nhưng chưa từng xây một Data Warehouse hoàn chỉnh.
Một lộ trình tốt vì vậy không nên bắt đầu bằng câu hỏi:
“Data Engineer phải học bao nhiêu công nghệ?”
Câu hỏi phù hợp hơn là:
“Một hệ thống dữ liệu hoàn chỉnh hoạt động như thế nào, và mỗi công nghệ giải quyết vấn đề gì trong hệ thống đó?”
Các chương trình và tài liệu chính thức của Google Cloud, AWS và Microsoft đều mô tả Data Engineer rộng hơn việc viết pipeline. Công việc còn liên quan đến lưu trữ, mô hình dữ liệu, xử lý theo lô hoặc gần thời gian thực, chất lượng dữ liệu, bảo mật, giám sát, chi phí và khả năng phục hồi khi hệ thống gặp lỗi.
AI đang làm nghề này thay đổi nhanh hơn.
AI có thể hỗ trợ viết SQL, Python, cấu hình pipeline, giải thích lỗi hoặc tạo test. Nhưng AI không tự biết một dòng dữ liệu đại diện cho điều gì, doanh thu nên ghi nhận theo ngày nào, một pipeline có đang nhân đôi giao dịch hay dữ liệu khách hàng được phép sử dụng tới đâu.
Người học vẫn cần nền tảng đủ chắc để kiểm tra kết quả do AI tạo ra.
Lộ trình sáu tháng trong bài được thiết kế cho người mới muốn xây nền tảng Data Engineering có hệ thống, với điều kiện duy trì thời gian học đều đặn và thực hành thực sự.
Sáu tháng không biến một người từ số 0 thành Senior Data Engineer.
Nhưng sáu tháng có thể đủ để xây nền tảng SQL, Python, Data Pipeline, Data Warehouse, Cloud và một dự án Portfolio đủ nghiêm túc để bắt đầu ứng tuyển những vị trí phù hợp.
Điều quan trọng không nằm ở việc đã xem bao nhiêu video.
Nó nằm ở việc người học có thể xây, giải thích, kiểm thử và chạy lại một hệ thống dữ liệu hay không.
Mục lục
- PHẦN I — Hiểu nghề trước khi chọn công cụ
- PHẦN II — Nguyên tắc học Data Engineer trong 6 tháng
- PHẦN III — Tháng 1: SQL và nền tảng dữ liệu
- PHẦN IV — Tháng 2: Python, Linux và Git
- PHẦN V — Tháng 3: Data Pipeline, Data Warehouse và dbt
- PHẦN VI — Tháng 4: Docker, Airflow và vận hành
- PHẦN VII — Tháng 5: Cloud, Big Data và Streaming
- PHẦN VIII — Tháng 6: Dự án hoàn chỉnh, Portfolio và ứng tuyển
- PHẦN IX — AI hỗ trợ người học Data Engineer
- PHẦN X — Data Quality, bảo mật và trách nhiệm
- PHẦN XI — Một ví dụ tổng thể trong 6 tháng
- Câu hỏi thường gặp
- Kết luận
PHẦN I — HIỂU NGHỀ TRƯỚC KHI CHỌN CÔNG CỤ
1. Data Engineer thực sự làm những công việc gì?
Data Engineer kết nối các hệ thống phát sinh dữ liệu như phần mềm bán hàng, ERP, CRM, website, ứng dụng và thiết bị với nền tảng phân tích.
ERP có thể hiểu đơn giản là hệ thống quản lý hoạt động doanh nghiệp. CRM là hệ thống quản lý khách hàng và hoạt động bán hàng.
Nhưng lấy được dữ liệu mới chỉ là bước đầu.
Dữ liệu còn phải được làm sạch, chuẩn hóa, kiểm tra và tổ chức sao cho Data Analyst, BI Team, Data Scientist hoặc AI Agent có thể sử dụng đúng.
Một ngày của Data Engineer có thể gồm kiểm tra một pipeline bị lỗi, thêm nguồn dữ liệu mới, xử lý một cột vừa đổi kiểu, tối ưu truy vấn Cloud đang tốn chi phí hoặc trao đổi với Finance về cách tính doanh thu.
Pipeline có thể hiểu là một chuỗi bước tự động đưa dữ liệu từ nguồn tới nơi sử dụng.
Công việc vì vậy nằm ở giao điểm giữa lập trình, dữ liệu, hệ thống và nghiệp vụ doanh nghiệp.
2. Data Engineer tạo ra sản phẩm gì?
Sản phẩm của Data Engineer không chỉ là code.
Một hệ thống dữ liệu tốt có thể gồm pipeline chạy theo lịch, bảng dữ liệu được định nghĩa rõ, Data Warehouse, kiểm thử chất lượng, tài liệu nguồn–đích, phân quyền và cảnh báo khi có sự cố.
Ví dụ doanh nghiệp có bảng daily_sales.
Người sử dụng cần biết:
Dữ liệu lấy từ hệ thống nào?
Một dòng đại diện cho điều gì?
Đơn hoàn trả được tính thế nào?
Dữ liệu cập nhật lúc mấy giờ?
Nếu số liệu sai thì ai chịu trách nhiệm kiểm tra?
Đây mới là sản phẩm dữ liệu hoàn chỉnh.
Nếu dashboard hiển thị 100 tỷ đồng doanh thu nhưng không ai biết con số đó được tạo ra như thế nào, hệ thống chưa thực sự đáng tin cậy.
3. Data Engineer khác Data Analyst như thế nào?
Data Analyst tập trung nhiều hơn vào việc sử dụng dữ liệu để trả lời câu hỏi kinh doanh.
Ví dụ:
Doanh thu giảm ở đâu?
Khách hàng nào có xu hướng mua lại?
Campaign nào hoạt động tốt?
Data Engineer tập trung vào việc đảm bảo dữ liệu cần cho những phân tích đó đến đúng nơi, đúng cấu trúc và đủ tin cậy.
Hai nghề có nhiều kỹ năng giao nhau.
Data Analyst cần SQL.
Data Engineer cũng cần SQL.
Cả hai đều nên hiểu Data Modeling và Data Quality.
Nhưng trọng tâm khác nhau.
Data Analyst thường đi từ Data đến Insight.
Data Engineer tập trung nhiều hơn vào hành trình Source đến Data Platform.
4. Data Engineer khác Software Engineer như thế nào?
Data Engineer sử dụng rất nhiều nguyên tắc của Software Engineering.
Cũng phải viết code.
Cũng phải dùng Git.
Cũng phải kiểm thử, triển khai và giám sát hệ thống.
Điểm khác biệt là dữ liệu có thêm những vấn đề riêng.
Một API lỗi có thể trả lỗi ngay.
Một pipeline dữ liệu có thể chạy báo “Success” nhưng số liệu vẫn sai vì nguồn thiếu 20% giao dịch.
Do đó Data Engineer không chỉ kiểm tra chương trình có chạy hay không.
Còn phải kiểm tra dữ liệu được tạo ra có đúng hay không.
5. Có cần giỏi toán để học Data Engineer?
Phần lớn vị trí Data Engineer không yêu cầu toán cao cấp như một số lĩnh vực Machine Learning hoặc nghiên cứu AI.
Người học cần tư duy logic, đại số cơ bản, hiểu thống kê mô tả và khả năng suy luận từ dữ liệu.
Thách thức chính thường nằm ở SQL, lập trình, cơ sở dữ liệu, hệ thống và cách xử lý lỗi.
Nếu mới bắt đầu, không nên trì hoãn việc học Data Engineering chỉ vì chưa học giải tích hoặc xác suất nâng cao.
SQL, Python, database và tư duy hệ thống nên được ưu tiên trước.
PHẦN II — NGUYÊN TẮC HỌC DATA ENGINEER TRONG 6 THÁNG
Sáu tháng là khoảng thời gian khá ngắn với một nghề có phạm vi rộng.
Vì vậy, lộ trình phải có ưu tiên.
Người mới không thể học sâu PostgreSQL, MySQL, SQL Server, GCP, AWS, Azure, Snowflake, Databricks, Spark và Kafka cùng lúc.
Mục tiêu của sáu tháng đầu nên là xây được một đường đi hoàn chỉnh của dữ liệu.
6. Học theo một dòng chảy dữ liệu hoàn chỉnh
Hãy hình dung một đơn hàng được tạo trên website.
Dữ liệu được lấy qua API.
Bản gốc được lưu lại.
Python hoặc SQL xử lý dữ liệu.
Pipeline đưa dữ liệu vào Data Warehouse.
Data Model tổ chức lại dữ liệu.
Cuối cùng Power BI hoặc một công cụ BI đọc dữ liệu để tạo báo cáo.
Dòng chảy đó giúp người học hiểu mỗi công nghệ đang làm gì.
SQL không còn là một môn riêng.
Python không còn là một môn riêng.
Airflow cũng không phải một công cụ để học chỉ vì xuất hiện trong JD.
Tất cả trở thành những phần của cùng một hệ thống.
7. Sáu tháng cần học với cường độ nào?
Nếu bắt đầu hoàn toàn từ số 0, sáu tháng đòi hỏi sự đều đặn.
Một nhịp tương đối phù hợp có thể là khoảng 12–20 giờ mỗi tuần tùy nền tảng.
Không nhất thiết ngày nào cũng học nhiều giờ.
Quan trọng là không dành toàn bộ thời gian để xem bài giảng.
Ít nhất một nửa thời gian nên dành cho thực hành, sửa lỗi và làm dự án.
Ví dụ nếu có 15 giờ mỗi tuần, có thể dành khoảng sáu giờ cho kiến thức mới và chín giờ cho bài tập hoặc dự án.
Data Engineering rất khó học chỉ bằng cách xem người khác code.
8. Mỗi tháng phải có một sản phẩm đầu ra
Mốc sản phẩm giúp việc học không kéo dài vô tận.
Tháng 1 có database và bộ SQL query.
Tháng 2 có một chương trình Python lấy dữ liệu từ API.
Tháng 3 có Data Warehouse.
Tháng 4 có pipeline tự động bằng Airflow.
Tháng 5 có phiên bản chạy trên Cloud.
Tháng 6 có dự án hoàn chỉnh và Portfolio.
Không cần sản phẩm nào quá lớn.
Điều quan trọng là mỗi tháng đều tạo ra thứ có thể chạy, kiểm tra và giải thích.
9. Học sâu phần nền, học vừa đủ công cụ
SQL, lập trình, database, Linux, Data Modeling và Data Quality là những kỹ năng chuyển được giữa nhiều công nghệ.
Một giao diện Cloud có thể thay đổi.
Một công cụ mới có thể xuất hiện.
Nhưng vấn đề JOIN bị nhân bản dữ liệu vẫn tồn tại.
Pipeline vẫn phải chạy lại được.
Quyền truy cập vẫn phải được kiểm soát.
Dữ liệu vẫn phải được đối soát.
Vì vậy, sáu tháng đầu nên ưu tiên nguyên tắc hơn việc sưu tập công cụ.
10. Không học theo toàn bộ danh sách trong Job Description
Một JD có thể ghi:
Python.
SQL.
Spark.
Kafka.
Airflow.
AWS.
Snowflake.
Docker.
Terraform.
Kubernetes.
Điều đó không có nghĩa Junior Data Engineer phải thành thạo toàn bộ trước khi nộp CV.
Một doanh nghiệp có thể đang mô tả toàn bộ stack của đội.
Người mới nên chọn một bộ công nghệ đại diện.
Ví dụ:
PostgreSQL.
Python.
Git.
Docker.
Airflow.
dbt.
BigQuery.
Một công cụ BI.
Sau khi hiểu hệ thống bằng một stack, chuyển sang công nghệ tương đương thường dễ hơn.
PHẦN III — THÁNG 1: SQL VÀ NỀN TẢNG DỮ LIỆU
Tháng đầu tiên nên dành phần lớn thời gian cho SQL và cách cơ sở dữ liệu hoạt động.
SQL là một trong những kỹ năng quan trọng nhất của Data Engineer.
Nếu SQL còn yếu, việc học Spark, dbt hoặc Data Warehouse sau này sẽ khó hơn đáng kể.
11. Trước SQL phải hiểu bảng, dòng, cột và khóa
Một bảng dữ liệu không đơn giản là một file Excel được đặt trong database.
Người học cần biết một dòng đại diện cho điều gì.
Ví dụ bảng Orders có thể có một dòng cho mỗi đơn hàng.
Bảng Order Items lại có một dòng cho mỗi sản phẩm trong đơn.
Một đơn có năm sản phẩm sẽ xuất hiện năm dòng ở Order Items.
Khái niệm này thường được gọi là grain, có thể hiểu là mức chi tiết của bảng.
Nếu không hiểu grain, phép JOIN rất dễ làm số liệu sai.
Đây là kiến thức nền tảng phải hiểu trước khi cố học SQL nâng cao.
12. SQL cơ bản cần học những gì?
Người mới cần học chắc:
SELECT.
WHERE.
ORDER BY.
GROUP BY.
HAVING.
CASE WHEN.
INNER JOIN.
LEFT JOIN.
Các hàm tổng hợp như SUM, COUNT, AVG, MIN và MAX.
Nhưng không nên chỉ học cú pháp.
Bài tập nên đặt trong câu hỏi thật.
Ví dụ:
Doanh thu từng tháng là bao nhiêu?
Khách hàng nào chưa quay lại?
Sản phẩm nào có tỷ lệ hoàn trả cao?
Cửa hàng nào không có giao dịch trong bảy ngày gần nhất?
Sau mỗi truy vấn, cần tập thói quen kiểm tra kết quả.
13. SQL trung cấp nên học ngay trong tháng đầu
Sau phần cơ bản, tiếp tục với:
Subquery.
CTE.
Window Function.
Hàm xử lý ngày.
Các kỹ thuật xử lý NULL.
Window Function đặc biệt quan trọng.
Nó giúp giải quyết nhiều bài toán phổ biến như xếp hạng, tính tổng lũy kế, so sánh với dòng trước hoặc tìm giao dịch đầu tiên của khách hàng.
Người học chưa cần trở thành chuyên gia tối ưu database.
Nhưng nên biết đọc Execution Plan ở mức cơ bản và hiểu tại sao một truy vấn có thể chậm.
14. Học PostgreSQL thay vì chỉ học SQL trên website
PostgreSQL là lựa chọn phù hợp cho môi trường thực hành vì miễn phí, phổ biến và đủ mạnh.
Ngoài truy vấn, cần học:
Tạo bảng.
Primary Key và Foreign Key.
Constraint.
Index.
View.
Transaction.
User và Permission cơ bản.
Transaction có thể hiểu đơn giản là một nhóm thay đổi phải hoàn thành đầy đủ hoặc được hoàn tác khi có lỗi.
Hiểu database giúp Data Engineer nhìn SQL dưới góc độ hệ thống thay vì chỉ là câu lệnh.
15. Sản phẩm cuối tháng 1
Xây một database bán lẻ nhỏ.
Có thể gồm:
Customers.
Products.
Stores.
Orders.
Order Items.
Returns.
Tạo khoảng 20–30 câu truy vấn từ cơ bản đến trung cấp.
Không chỉ lưu SQL.
README nên giải thích câu hỏi, logic và những kiểm tra đã thực hiện.
Hãy chủ động đưa vào một số tình huống như đơn hủy, dữ liệu thiếu hoặc đơn hoàn trả.
Đây là viên gạch đầu tiên của Portfolio.
PHẦN IV — THÁNG 2: PYTHON, LINUX VÀ GIT
Sau SQL, người học cần khả năng đưa dữ liệu từ một nơi sang nơi khác bằng code.
Python là lựa chọn phổ biến vì dễ học, hệ sinh thái lớn và được dùng rộng rãi trong Data Engineering.
16. Python cho Data Engineer cần học tới đâu?
Không cần dành nhiều tháng để học lập trình tổng quát trước khi chạm vào dữ liệu.
Cần nắm:
Biến và kiểu dữ liệu.
Điều kiện.
Vòng lặp.
Function.
Module.
List và Dictionary.
Đọc và ghi file.
Exception Handling.
Sau đó nhanh chóng chuyển sang công việc gần Data Engineering:
Đọc CSV.
Đọc JSON.
Gọi API.
Kết nối PostgreSQL.
Ghi log.
Xử lý dữ liệu theo batch.
Mục tiêu là viết được chương trình nhỏ nhưng có thể chạy lại.
17. Học cách chương trình thất bại
Một script lấy API có thể hoạt động rất tốt trong demo.
Nhưng môi trường thật có nhiều tình huống khác.
API hết thời gian chờ.
Server trả lỗi.
Một field biến mất.
Dữ liệu trả về rỗng.
API giới hạn số request.
Chương trình đang chạy thì mất mạng.
Người học cần tập xử lý những trường hợp này.
Ví dụ nếu API có 100 trang và chương trình lỗi ở trang 70, hệ thống có nhất thiết phải tải lại từ trang 1?
Có thể lưu checkpoint hay không?
Nếu chạy lại, có ghi trùng 69 trang cũ không?
Đây là tư duy Data Engineering.
18. Linux học vừa đủ để vận hành
Phần lớn hệ thống dữ liệu cuối cùng sẽ chạy trên server hoặc Cloud, nơi Linux rất phổ biến.
Người mới cần biết:
Di chuyển giữa thư mục.
Tạo, đổi tên và xóa file.
Đọc log.
Tìm kiếm trong file.
Quản lý quyền cơ bản.
Biến môi trường.
Process.
Disk Usage.
Chạy Python từ Terminal.
Không cần trở thành Linux Administrator.
Mục tiêu là khi pipeline lỗi, người học không bị mất phương hướng chỉ vì không còn giao diện đồ họa.
19. Git phải được sử dụng từ đầu
Git giúp lưu lịch sử thay đổi code.
Một dự án Data Engineer nên được quản lý như dự án phần mềm.
Người học cần nắm:
Repository.
Commit.
Branch.
Merge hoặc Pull Request cơ bản.
.gitignore.
Không commit password hoặc API Key.
Commit message cũng nên có ý nghĩa.
Không cần tạo hàng trăm commit để GitHub trông “đẹp”.
Lịch sử thay đổi rõ ràng quan trọng hơn số lượng.
20. Sản phẩm cuối tháng 2
Xây chương trình Python lấy dữ liệu từ một API công khai.
Chương trình cần:
Gọi API.
Xử lý phân trang nếu có.
Lưu raw data.
Đưa dữ liệu vào PostgreSQL.
Có log.
Có Retry hợp lý.
Không ghi trùng khi chạy lại.
Tạo một số test cho dữ liệu rỗng, field thiếu hoặc ngày sai định dạng.
Sau tháng 2, người học đã có một pipeline nhỏ chạy được bằng code.
PHẦN V — THÁNG 3: DATA PIPELINE, DATA WAREHOUSE VÀ DBT
Đây là tháng các kỹ năng bắt đầu kết nối thành một hệ thống.
Người học không còn chỉ lấy dữ liệu.
Dữ liệu phải được tổ chức để phục vụ phân tích.
21. Hiểu ETL và ELT
ETL là Extract, Transform, Load.
Tức lấy dữ liệu, xử lý rồi đưa vào nơi lưu trữ cuối.
ELT là Extract, Load, Transform.
Tức lấy dữ liệu, đưa bản gốc vào nền tảng trước rồi mới biến đổi bằng sức mạnh của Data Warehouse hoặc Lakehouse.
Không có lựa chọn nào luôn tốt hơn.
Điều quan trọng là hiểu khi nào nên giữ raw data và tại sao khả năng chạy lại rất quan trọng.
Nếu một logic xử lý sai, có raw data giúp hệ thống xây lại dữ liệu mà không cần quay về nguồn.
22. Data Warehouse là gì?
Data Warehouse là kho dữ liệu được tổ chức để phục vụ báo cáo và phân tích.
Nó thường lấy dữ liệu từ nhiều hệ thống khác nhau.
Ví dụ:
ERP.
CRM.
Website.
Advertising Platform.
File Excel.
Data Warehouse không chỉ là nơi “chứa thật nhiều dữ liệu”.
Giá trị nằm ở việc tạo ra một lớp dữ liệu có cấu trúc và định nghĩa chung cho doanh nghiệp.
Ví dụ thay vì Finance và Sales mỗi bên tự tính Revenue, Data Warehouse có thể cung cấp một định nghĩa chuẩn.
23. Fact và Dimension
Một trong những mô hình phổ biến là Star Schema.
Ở giữa là Fact.
Xung quanh là Dimension.
Fact thường chứa các sự kiện cần đo.
Ví dụ:
Sales.
Orders.
Payments.
Inventory Movements.
Dimension chứa thông tin mô tả.
Ví dụ:
Customer.
Product.
Store.
Date.
Nếu fact_sales có một dòng cho mỗi sản phẩm trong một hóa đơn, grain đó phải được ghi rõ.
Một Data Model tốt giúp SQL và BI đơn giản hơn rất nhiều.
24. Học dbt vừa đủ để tổ chức SQL
dbt giúp quản lý SQL Transformation có cấu trúc hơn.
Người học có thể chia dữ liệu thành:
Staging.
Intermediate.
Mart.
Staging chủ yếu chuẩn hóa dữ liệu từ nguồn.
Intermediate chứa logic dùng lại.
Mart phục vụ các mục đích phân tích cụ thể.
dbt cũng giúp thêm test và documentation.
Ví dụ có thể kiểm tra:
Customer ID không được NULL.
Order ID phải Unique.
Product ID trong Sales phải tồn tại trong Product Dimension.
Đây là bước đầu đưa Data Quality vào pipeline.
25. Sản phẩm cuối tháng 3
Nâng cấp dữ liệu bán lẻ thành một Data Warehouse nhỏ.
Tạo:
Fact Sales.
Dim Customer.
Dim Product.
Dim Store.
Dim Date.
Xây lớp Staging và Mart.
Thêm Data Quality Test.
Thêm tài liệu mô tả bảng và cột quan trọng.
Cuối cùng có thể dùng Power BI hoặc một BI Tool đơn giản để đọc Data Mart.
Dashboard không phải trọng tâm.
Nó chỉ chứng minh dữ liệu phía dưới thực sự sử dụng được.
PHẦN VI — THÁNG 4: DOCKER, AIRFLOW VÀ VẬN HÀNH PIPELINE
Đến tháng 4, hệ thống đã có dữ liệu, code và Data Warehouse.
Bước tiếp theo là làm cho tất cả các thành phần chạy có tổ chức.
26. Docker dùng để làm gì?
Một chương trình chạy được trên laptop của người viết chưa chắc chạy được trên máy khác.
Có thể thiếu Python Package.
Khác phiên bản.
Khác cấu hình.
Docker giúp đóng gói môi trường cần thiết thành Container.
Người học cần hiểu:
Image.
Container.
Volume.
Network.
Docker Compose.
Không cần đi quá sâu vào hạ tầng Container.
Mục tiêu là có thể chạy PostgreSQL, Python pipeline và Airflow trong một môi trường được định nghĩa rõ.
27. Airflow giải quyết vấn đề gì?
Giả sử hệ thống cần:
Lấy dữ liệu lúc 1 giờ sáng.
Kiểm tra dữ liệu.
Load Data Warehouse.
Chạy dbt.
Kiểm tra chất lượng.
Nếu thành công thì báo hoàn tất.
Nếu thất bại thì gửi cảnh báo.
Airflow giúp điều phối các bước này.
Trong Airflow, DAG mô tả các task và quan hệ phụ thuộc giữa chúng.
Điều cần học không chỉ là viết DAG.
Mỗi task cần có trách nhiệm rõ ràng.
Không nên bỏ cả pipeline vài nghìn dòng vào một task duy nhất.
28. Retry, Backfill và Idempotency
Đây là ba khái niệm rất quan trọng.
Retry là thử chạy lại khi lỗi tạm thời.
Backfill là chạy dữ liệu cho khoảng thời gian trong quá khứ.
Idempotency có thể hiểu đơn giản là chạy lại không làm dữ liệu sai hoặc bị nhân đôi.
Ví dụ pipeline ngày 10/9 bị lỗi.
Ngày 11/9 người vận hành phải có khả năng chạy lại riêng ngày 10/9 mà không tạo thêm một bản ghi cho mỗi đơn hàng đã có.
Đây là khác biệt giữa demo và pipeline có khả năng vận hành.
29. Observability: biết hệ thống đang xảy ra chuyện gì
Một pipeline báo màu xanh chưa chắc dữ liệu đúng.
Ví dụ bình thường mỗi ngày có 100.000 Orders.
Hôm nay chỉ còn 15.000.
Pipeline vẫn chạy thành công.
Nhưng rõ ràng có vấn đề.
Do đó Data Engineer cần theo dõi cả:
Pipeline Status.
Runtime.
Row Count.
Data Freshness.
Error Rate.
Data Quality.
Chi phí nếu chạy trên Cloud.
Cảnh báo cũng phải đủ thông tin để hành động.
Không nên chỉ báo:
“Pipeline Error.”
Tốt hơn là:
“Sales Pipeline thất bại tại task load_orders lúc 02:17. API trả HTTP 500. Đã retry ba lần.”
30. Sản phẩm cuối tháng 4
Đóng gói dự án bằng Docker Compose.
Airflow điều phối:
Extract.
Raw Load.
Transform.
Data Quality.
Mart.
Mô phỏng ít nhất ba trường hợp lỗi.
Ví dụ:
API không phản hồi.
Một cột nguồn thay đổi.
Dữ liệu bị duplicate.
Sau đó ghi rõ hệ thống phát hiện lỗi như thế nào và phải làm gì để phục hồi.
Tới đây, Portfolio đã bắt đầu giống một hệ thống Data Engineering thật hơn.
PHẦN VII — THÁNG 5: CLOUD, BIG DATA VÀ STREAMING
Một tháng không đủ để học sâu cả Cloud, Spark và Kafka.
Vì vậy, cần ưu tiên.
Cloud là bắt buộc trong tháng này. Spark và Kafka nên được học ở mức nền tảng rồi chọn một công nghệ để thực hành sâu hơn.
31. Chọn một Cloud duy nhất
AWS, Google Cloud và Azure đều có những thành phần tương tự:
Object Storage.
Database.
Data Warehouse.
Compute.
IAM.
Monitoring.
Người học không cần ba Cloud trong sáu tháng đầu.
Nếu chọn Google Cloud, có thể tập trung vào:
Cloud Storage.
BigQuery.
IAM.
Cloud Run hoặc Compute phù hợp.
Cloud Logging/Monitoring.
Nếu chọn AWS hoặc Azure, áp dụng các nguyên tắc tương tự với dịch vụ tương ứng.
Điều quan trọng là hiểu kiến trúc.
Không phải nhớ tên toàn bộ sản phẩm.
32. Cloud không đơn giản là “đưa code lên Internet”
Khi chuyển hệ thống lên Cloud, xuất hiện thêm nhiều vấn đề.
Ai được đọc dữ liệu?
Ai được ghi?
Dữ liệu nằm ở vùng nào?
Chi phí tính thế nào?
Pipeline chạy bằng tài khoản nào?
Log ở đâu?
Secret được lưu ở đâu?
Người mới phải bắt đầu làm quen với IAM, Budget Alert và nguyên tắc cấp quyền tối thiểu.
Đây là những kỹ năng có giá trị thực tế hơn việc chỉ deploy thành công một demo.
33. Spark cần học tới mức nào?
Spark được thiết kế để xử lý dữ liệu phân tán.
Nó đặc biệt hữu ích khi khối lượng dữ liệu hoặc phép xử lý vượt khả năng thuận tiện của một máy hoặc khi doanh nghiệp đã sử dụng hệ sinh thái Spark.
Người mới cần hiểu:
Spark DataFrame.
Transformation.
Action.
Partition.
Lazy Evaluation.
Shuffle.
Không cần cố xây một cluster khổng lồ.
Điều quan trọng là hiểu tại sao một số thao tác tốn chi phí hơn những thao tác khác.
Và quan trọng hơn nữa:
Không phải dữ liệu lớn hơn Excel một chút là cần Spark.
34. Kafka và Streaming cần học tới mức nào?
Kafka là nền tảng truyền sự kiện liên tục giữa các hệ thống.
Một hệ thống bán hàng có thể phát sinh sự kiện:
Order Created.
Payment Completed.
Order Shipped.
Inventory Updated.
Kafka cho phép các hệ thống khác nhau nhận những sự kiện đó.
Người học cần hiểu:
Producer.
Consumer.
Topic.
Partition.
Offset.
Consumer Group.
Sau đó có thể chạy một demo nhỏ.
Ví dụ chương trình Python tạo sự kiện đơn hàng và một Consumer đọc chúng rồi ghi vào database.
Không cần ngay lập tức xây hệ thống real-time phức tạp.
35. Sản phẩm cuối tháng 5
Đưa phần quan trọng của dự án lên Cloud.
Ví dụ:
Raw Data vào Cloud Storage.
Data Warehouse dùng BigQuery.
IAM được phân quyền.
SQL Transformation chạy trên Cloud.
Có Budget Alert.
Có Monitoring cơ bản.
Sau đó chọn Spark hoặc Kafka làm phần mở rộng.
Nếu hướng tới Data Platform hoặc Analytics Engineering, Spark có thể phù hợp hơn.
Nếu hướng tới streaming, Event-driven Architecture hoặc hệ thống real-time, Kafka có thể phù hợp hơn.
Viết rõ tại sao chọn.
Không cần nhét cả hai vào dự án chỉ để CV dài hơn.
PHẦN VIII — THÁNG 6: DỰ ÁN HOÀN CHỈNH, PORTFOLIO VÀ ỨNG TUYỂN
Tháng cuối không nên tiếp tục học thêm hàng loạt công nghệ mới.
Đây là lúc tích hợp, sửa lỗi và biến những gì đã học thành bằng chứng năng lực.
36. Chọn một bài toán kinh doanh đủ rõ
Dự án cuối nên bắt đầu bằng một tình huống mà người không làm công nghệ cũng hiểu.
Ví dụ:
Hợp nhất doanh thu từ cửa hàng, website và sàn thương mại điện tử.
Theo dõi tồn kho của chuỗi bán lẻ.
Phân tích dữ liệu vận chuyển.
Xây Data Platform cho báo cáo Marketing.
Điều quan trọng là có người sử dụng dữ liệu.
Không nên bắt đầu bằng:
“Xây Modern Data Platform sử dụng 12 công nghệ.”
Hãy bắt đầu bằng vấn đề.
Kiến trúc đi sau.
37. Yêu cầu tối thiểu của dự án cuối
Một dự án Data Engineer trong Portfolio nên có ít nhất:
Hai loại nguồn dữ liệu.
Raw Data.
Incremental Pipeline.
Data Warehouse.
Data Model.
Data Quality Test.
Orchestration.
Logging.
Xử lý Retry.
Backfill.
Permission cơ bản.
Documentation.
Một lớp Serving để chứng minh dữ liệu sử dụng được.
Serving có thể chỉ là một Dashboard nhỏ hoặc tập truy vấn cho Data Analyst.
Không cần biến dự án thành sản phẩm thương mại hoàn chỉnh.
38. Bắt buộc review tình huống lỗi
Một Data Engineer được đánh giá rất nhiều qua cách xử lý khi hệ thống không hoạt động như mong đợi.
Hãy tự hỏi:
Nếu API đổi schema thì sao?
Nếu dữ liệu hôm qua đến trễ hôm nay thì sao?
Nếu pipeline chạy hai lần thì sao?
Nếu BigQuery nhận duplicate thì sao?
Nếu credentials hết hạn thì sao?
Nếu Cloud Cost tăng mạnh thì sao?
Nếu bảng nguồn mất một nửa dữ liệu thì sao?
Dự án Portfolio tốt phải có ít nhất một phần giải thích các tình huống này.
39. Hoàn thiện GitHub và tài liệu
README chính nên giúp người xem hiểu dự án mà chưa cần đọc code.
Có thể gồm:
Business Problem.
Architecture.
Data Sources.
Data Flow.
Data Model.
Data Quality.
How to Run.
Security.
Monitoring.
Known Limitations.
Sơ đồ kiến trúc cần rõ.
Không cần hàng chục icon Cloud.
Người xem phải nhìn được dữ liệu đi từ đâu đến đâu.
40. Chuẩn bị phỏng vấn
Hãy luyện hai phiên bản trình bày.
Phiên bản hai phút.
Giải thích bài toán, kiến trúc, thách thức lớn nhất và kết quả.
Phiên bản mười phút.
Đi sâu vào nguồn dữ liệu, pipeline, Data Model, Data Quality, lỗi đã gặp và cách giải quyết.
Một câu hỏi phỏng vấn tốt có thể rất đơn giản:
“Nếu chạy lại pipeline ngày hôm qua thì có duplicate không?”
Nếu dự án do chính người học xây, câu hỏi này phải trả lời được.
41. Bắt đầu ứng tuyển trước khi cảm thấy “học xong hết”
Data Engineering là lĩnh vực quá rộng để có một ngày người học cảm thấy mình đã học xong.
Sau sáu tháng, nếu đã có SQL, Python, Data Warehouse, pipeline, Airflow, Cloud và một dự án tốt, có thể bắt đầu ứng tuyển những vị trí phù hợp.
Tin tuyển dụng cũng chính là dữ liệu để tiếp tục học.
Nếu nhiều vị trí mục tiêu yêu cầu Spark, hãy đào sâu Spark.
Nếu thị trường mục tiêu dùng Azure, chuyển kiến thức GCP sang Azure.
Nếu vị trí tập trung Data Warehouse, học sâu Data Modeling và dbt.
Roadmap không dừng sau sáu tháng.
Sáu tháng đầu tạo nền móng.
PHẦN IX — AI HỖ TRỢ NGƯỜI HỌC DATA ENGINEER
42. AI Assistant nên được dùng như một người review
AI có thể giúp rất nhiều trong sáu tháng này.
Ví dụ:
Giải thích câu SQL.
Tìm lỗi Python.
Đề xuất test.
Giải thích Airflow DAG.
Review Dockerfile.
Đặt câu hỏi phỏng vấn.
Giải thích log.
Nhưng cách sử dụng quan trọng hơn công cụ.
Thay vì nói:
“Viết cho tôi toàn bộ pipeline.”
có thể hỏi:
“Pipeline này có những trường hợp lỗi nào tôi chưa xử lý?”
hoặc:
“Hãy review SQL này và chỉ ra nguy cơ duplicate.”
AI trở thành công cụ giúp học nhanh hơn.
Không trở thành nơi làm dự án thay người học.
43. AI Agent khác AI Assistant ở đâu?
AI Assistant thường đợi câu hỏi.
AI Agent có thể được cấp công cụ và quyền để thực hiện nhiều bước.
Ví dụ một Data Operations Agent có thể:
Đọc cảnh báo Airflow.
Mở log.
Kiểm tra Row Count.
Chạy một truy vấn chẩn đoán.
Tóm tắt nguyên nhân có thể xảy ra.
Tạo ticket cho Data Engineer.
Nhưng trong môi trường thật, Agent không nên tự ý xóa dữ liệu hoặc sửa Production nếu không được cấp quyền rõ ràng.
Human Approval vẫn quan trọng đối với hành động rủi ro cao.
44. AI làm kỹ năng nào trở nên quan trọng hơn?
AI làm cú pháp dễ hơn.
Nhưng điều đó khiến khả năng kiểm tra càng quan trọng.
Data Engineer tương lai cần đặc biệt mạnh ở:
Data Modeling.
Data Quality.
System Thinking.
Security.
Cost.
Observability.
Testing.
Business Context.
Nếu AI tạo một câu SQL rất nhanh nhưng người dùng không biết câu SQL đó đang nhân đôi doanh thu, tốc độ không tạo ra giá trị.
AI giúp viết nhanh hơn. Kỹ sư vẫn phải biết điều gì là đúng.
PHẦN X — DATA QUALITY, BẢO MẬT VÀ TRÁCH NHIỆM
45. Data Quality phải có ngay từ đầu
Data Quality không phải công việc chỉ làm khi dashboard sai.
Một pipeline tốt cần kiểm tra dữ liệu ở nhiều điểm.
Ví dụ:
Schema có đúng không?
Primary Key có bị trùng không?
Giá trị quan trọng có NULL không?
Ngày có nằm trong phạm vi hợp lý không?
Row Count hôm nay có bất thường không?
Doanh thu có đối soát được không?
Một giá trị Discount 150% có thể đúng kiểu dữ liệu nhưng vô lý về nghiệp vụ.
Đây là lý do Data Quality không thể chỉ dựa vào schema.
46. Bảo mật không phải việc để đến cuối dự án
Data Engineer thường tiếp xúc với rất nhiều dữ liệu nhạy cảm.
Thông tin khách hàng.
Số điện thoại.
Email.
Doanh thu.
Dữ liệu tài chính.
Thông tin nhân sự.
Không phải ai cũng được quyền xem tất cả.
Pipeline account chỉ nên có những quyền cần thiết.
API Key không được để trong GitHub.
Log không nên in toàn bộ thông tin khách hàng.
Nguyên tắc quyền tối thiểu nên được hình thành ngay từ khi học.
47. Data Lineage giúp biết dữ liệu từ đâu tới
Data Lineage có thể hiểu là bản đồ cho biết dữ liệu đi từ nguồn nào, qua những bước nào và cuối cùng được sử dụng ở đâu.
Ví dụ:
ERP Orders.
Staging Orders.
Fact Sales.
Sales Mart.
Executive Dashboard.
Nếu ERP đổi tên cột order_amount, lineage giúp xác định những tài sản phía sau có thể bị ảnh hưởng.
Dự án nhỏ không cần một nền tảng lineage chuyên nghiệp.
Sơ đồ và tài liệu tốt đã là bước đầu quan trọng.
48. Chi phí cũng là một yêu cầu kỹ thuật
Cloud làm việc thử nghiệm dễ hơn nhưng cũng có thể gây chi phí nếu dùng không đúng.
Một query quét vài terabyte mỗi giờ có thể chạy đúng về kỹ thuật nhưng sai về kinh tế.
Một Spark Cluster bị quên không tắt cũng vậy.
Người học nên hình thành thói quen:
Kiểm tra Pricing.
Đặt Budget Alert.
Theo dõi dữ liệu được quét.
Tắt tài nguyên khi không dùng.
Data Engineer không chỉ làm hệ thống chạy.
Hệ thống phải chạy ở mức chi phí hợp lý.
PHẦN XI — MỘT VÍ DỤ TỔNG THỂ: XÂY DATA PLATFORM CHO CHUỖI BÁN LẺ TRONG 6 THÁNG
49. Bối cảnh
Giả sử một chuỗi bán lẻ có 100 cửa hàng.
Doanh thu đến từ POS tại cửa hàng, website và sàn thương mại điện tử.
Tồn kho nằm trong ERP.
Thông tin khách hàng nằm trong CRM.
Hiện tại, các phòng ban xuất Excel riêng nên số liệu doanh thu thường không khớp và báo cáo cập nhật chậm.
Đây sẽ là bài toán xuyên suốt sáu tháng.
50. Tháng 1: xây nền dữ liệu và SQL
Người học thiết kế PostgreSQL với:
Customers.
Products.
Stores.
Orders.
Order Items.
Returns.
SQL được dùng để tính doanh thu, đơn hàng và hoàn trả.
Một số dữ liệu lỗi được đưa vào để kiểm tra duplicate, NULL và JOIN.
Cuối tháng đã có database và một bộ truy vấn có thể giải thích.
51. Tháng 2: tự động lấy dữ liệu
Python lấy đơn hàng từ một API giả lập và đọc dữ liệu sàn từ file.
Chương trình có:
Pagination.
Logging.
Retry.
Checkpoint.
Cơ chế chống duplicate.
Git quản lý lịch sử code.
Linux được sử dụng để chạy pipeline từ command line.
Đến cuối tháng, dữ liệu không còn phải nhập thủ công.
52. Tháng 3: xây Data Warehouse
Dữ liệu nguồn được giữ ở lớp Raw.
dbt chuẩn hóa dữ liệu và xây:
Fact Sales.
Dim Product.
Dim Customer.
Dim Store.
Dim Date.
Data Quality Test được thêm vào.
Cuối cùng Power BI đọc Sales Mart để chứng minh hệ thống phục vụ được Analytics.
53. Tháng 4: tự động hóa và vận hành
Docker đóng gói các thành phần.
Airflow chạy pipeline theo lịch.
Hệ thống có task:
Extract.
Load.
Transform.
Test.
Publish Mart.
Pipeline được thử với một số tình huống lỗi.
Người học ghi Runbook đơn giản để giải thích cách phục hồi.
54. Tháng 5: chuyển lên Cloud
Raw Data được đưa lên Cloud Storage.
Data Mart được xây trong BigQuery hoặc Data Warehouse tương đương.
IAM kiểm soát quyền.
Budget Alert được bật.
Một phần mở rộng được thêm vào bằng Spark hoặc Kafka tùy hướng nghề nghiệp.
Đây là bước đưa những nguyên tắc đã học từ local environment sang Cloud.
55. Tháng 6: hoàn thiện như một dự án Portfolio
Tháng cuối tập trung vào những phần thường bị bỏ quên:
Documentation.
Architecture Diagram.
Data Quality.
Security.
Cost.
Monitoring.
Backfill.
Failure Recovery.
README.
Video Demo.
Người học cũng chuẩn bị cách trình bày trong phỏng vấn.
AI có thể giúp review code hoặc đặt câu hỏi phản biện, nhưng mọi logic quan trọng đều phải được kiểm tra thủ công.
Sau sáu tháng, sản phẩm cuối cùng không phải một dashboard.
Nó là một câu chuyện hoàn chỉnh:
Dữ liệu phát sinh ở đâu, được lấy như thế nào, lưu ở đâu, xử lý ra sao, kiểm tra thế nào và cuối cùng được sử dụng bởi ai.
Đây chính là cách một dự án Portfolio bắt đầu chứng minh tư duy Data Engineering.
CÂU HỎI THƯỜNG GẶP
56. Học Data Engineer trong 6 tháng có xin việc được không?
Có thể bắt đầu ứng tuyển sau sáu tháng nếu người học duy trì cường độ đủ tốt và thực sự hoàn thành dự án.
Tuy nhiên, không có lộ trình nào đảm bảo việc làm.
Kết quả còn phụ thuộc nền tảng ban đầu, số giờ học, chất lượng Portfolio, tiếng Anh, khả năng phỏng vấn và nhu cầu thị trường.
Sáu tháng nên được xem là giai đoạn xây nền móng để bước vào nghề, không phải thời gian để trở thành chuyên gia.
57. Nếu hoàn toàn không biết lập trình thì có theo kịp không?
Có thể, nhưng tháng đầu và tháng thứ hai sẽ khá nặng.
Người mới hoàn toàn nên ưu tiên SQL và Python cơ bản thay vì cố theo kịp quá nhiều công nghệ.
Nếu cần thêm thời gian cho nền tảng, việc kéo lộ trình thành bảy hoặc tám tháng hoàn toàn bình thường.
Mục tiêu không phải hoàn thành đúng lịch.
Mục tiêu là thật sự hiểu.
58. Có cần học cả Spark và Kafka trong sáu tháng không?
Không.
Người mới nên hiểu khái niệm của cả hai nhưng chỉ cần thực hành sâu hơn một công nghệ theo hướng nghề nghiệp.
SQL, Python, Database, Data Pipeline, Data Warehouse, Airflow và Cloud nên được ưu tiên trước.
Một nền tảng chắc có giá trị hơn việc biết sơ qua rất nhiều công cụ.
59. Có cần học cả AWS, Azure và GCP không?
Không.
Hãy chọn một Cloud.
Khi hiểu Object Storage, Data Warehouse, IAM, Compute, Monitoring và Cost trên một nền tảng, việc chuyển sang Cloud khác sẽ dễ hơn nhiều.
Thị trường mục tiêu và doanh nghiệp muốn ứng tuyển có thể quyết định nên chọn nền tảng nào.
60. Có cần chứng chỉ Cloud?
Không bắt buộc.
Chứng chỉ có thể giúp tạo cấu trúc học hoặc vượt một số vòng lọc hồ sơ.
Nhưng chứng chỉ không thay thế khả năng xây và giải thích một hệ thống.
Nếu ngân sách hạn chế, Portfolio và thực hành nên được ưu tiên.
61. Có cần học Kubernetes không?
Không phải ưu tiên trong sáu tháng đầu đối với phần lớn người mới.
Docker và kiến thức Cloud cơ bản đã đủ cho mục tiêu nền tảng.
Kubernetes có thể học sau nếu vị trí mục tiêu hoặc hệ thống thực tế yêu cầu.
Việc học quá sớm dễ làm lộ trình bị phân tán.
62. Người đang làm Data Analyst có thể học nhanh hơn không?
Thường là có.
Data Analyst đã có SQL, dữ liệu và một phần Business Context nên có thể rút ngắn tháng đầu.
Thời gian tiết kiệm được nên dành cho Python, pipeline, Cloud, orchestration và system design.
Đây cũng là một hướng chuyển nghề tương đối tự nhiên.
63. Học với mentor có lợi ích gì?
Mentor không thay việc tự học.
Giá trị lớn nhất nằm ở việc giúp phát hiện lỗi tư duy sớm.
Ví dụ:
JOIN đang nhân dữ liệu.
Pipeline không idempotent.
Data Model sai grain.
Security đang cấp quyền quá rộng.
Architecture quá phức tạp so với bài toán.
Một vòng review tốt có thể tiết kiệm rất nhiều thời gian đi sai hướng.
Chương trình Khóa học Data Engineer tại TechData.AI được xây theo hướng kết nối SQL, Python, Data Warehouse, Cloud, Big Data và các dự án thực hành trong cùng một hệ thống thay vì học từng công cụ tách rời.
KẾT LUẬN
Học Data Engineer từ số 0 trong sáu tháng là một mục tiêu tham vọng nhưng khả thi nếu phạm vi được lựa chọn đúng.
Điều quan trọng nhất là không biến sáu tháng thành cuộc chạy đua sưu tập công nghệ.
Tháng đầu nên xây SQL và nền tảng dữ liệu.
Tháng thứ hai đưa Python, Linux và Git vào công việc thực tế.
Tháng thứ ba xây Data Warehouse và Data Model.
Tháng thứ tư học cách pipeline được điều phối và phục hồi khi lỗi.
Tháng thứ năm đưa hệ thống lên Cloud và làm quen với Big Data hoặc Streaming.
Tháng cuối cùng dành cho dự án hoàn chỉnh, review, tài liệu và chuẩn bị ứng tuyển.
Sau sáu tháng, người học chưa cần biết mọi thứ về Data Engineering.
Nhưng cần hiểu được một hệ thống dữ liệu từ đầu đến cuối.
Dữ liệu đến từ đâu?
Pipeline lấy nó như thế nào?
Làm sao chạy lại khi lỗi?
Dữ liệu được tổ chức ra sao?
Chất lượng được kiểm tra thế nào?
Ai được quyền xem?
Chi phí ra sao?
Người dùng cuối sử dụng dữ liệu để làm gì?
AI có thể giúp viết SQL, Python, Airflow DAG hoặc Terraform nhanh hơn trong tương lai.
Nhưng nền tảng Data Engineering vẫn nằm ở khả năng hiểu hệ thống và chịu trách nhiệm với dữ liệu.
Vì vậy, câu hỏi nên đặt ở cuối sáu tháng không phải:
“Đã học được bao nhiêu công nghệ?”
Mà là:
“Có thể tự xây, giải thích, kiểm thử và phục hồi một hệ thống dữ liệu hoàn chỉnh hay chưa?”
Nếu câu trả lời bắt đầu là có, người học đã xây được nền móng quan trọng nhất để bước vào nghề Data Engineer.
Tài liệu tham khảo
- Google Cloud — Professional Data Engineer
- Google Cloud Architecture Framework
- AWS Certified Data Engineer – Associate
- Microsoft Certified: Fabric Data Engineer Associate
- PostgreSQL Tutorial
- Python Documentation
- Docker Get Started
- Apache Airflow Documentation
- Apache Spark Documentation
- Apache Kafka Documentation
- dbt Documentation
TechData.AI - Leading the Future.
Tham khảo khoá học theo link: https://techdata.ai/data-engineer/
Hoàng Minh.