Tìm hiểu data engineering là gì, sự khác biệt giữa data science và data engineering, phạm vi trong lĩnh vực này và cách học data engineering.
Giới thiệu
Dữ liệu ở khắp mọi nơi. Trong những năm gần đây, với số lượng ngày càng tăng của các thiết bị được kết nối và việc mở rộng phạm vi sử dụng của chúng, thế giới đã tạo ra một lượng dữ liệu khổng lồ không thể xử lý bằng các phương pháp truyền thống nữa.
Theo Statista, con số khổng lồ vào năm 2022 là 42,62 tỷ thiết bị được kết nối với Internet và 58% trong số đó là thiết bị IoT (thiết bị nhà thông minh, ô tô tự lái có kết nối, thiết bị công nghiệp, v.v.) và 42% còn lại là thiết bị không phải IoT (máy tính xách tay, điện thoại thông minh, v.v.). Điều này có nghĩa là ngày nay dữ liệu có thể đến từ nhiều nguồn khác nhau. Một số trong số này là:
- Hoạt động của người dùng: Mọi hành động của người dùng đều tạo ra dữ liệu và thậm chí cả dữ liệu phản ánh vị trí và tần suất chúng ta nhấn vào các ứng dụng dành cho thiết bị di động mà chúng ta sử dụng đều có giá trị. Mọi phần dữ liệu chứa loại thông tin này cần được lưu giữ và phân phối đến các trung tâm dữ liệu của ứng dụng.
- Thiết bị “Internet of Things”: Các thiết bị này tạo ra một lượng thông tin khổng lồ, chẳng hạn như dữ liệu cảm biến được tạo ở nhiều vị trí khác nhau. Tất cả dữ liệu này cần được truy xuất và gửi đến nhóm dữ liệu để phân tích thêm.
- Nhật ký chương trình: Các ứng dụng máy tính ngày nay bao gồm nhiều thành phần và tất cả các thành phần đó đều tạo ra nhật ký chương trình. Các nhật ký này được gửi đến một kênh kỹ thuật dữ liệu để phân tích thêm.
Tất cả các dữ liệu có cấu trúc khác nhau mà thế giới tạo ra cần được chuyển đến các thành phần khác trong cấu trúc phần mềm hoặc được các nhà phân tích kinh doanh và nhà khoa học dữ liệu trực quan hóa và giải thích. Tuy nhiên, việc giao hàng này không phải là một nhiệm vụ đơn giản. Có một số yêu cầu quan trọng về cách cung cấp dữ liệu:
- Dữ liệu cần được phân phối trong một cấu trúc tiêu chuẩn hóa
- Dữ liệu không được có bất kỳ xung đột nào
- Sao chép dữ liệu có thể cần phải được loại bỏ
- Dữ liệu cần đáng tin cậy
- Việc cung cấp dữ liệu phải được thực hiện với độ trễ tối thiểu
Do đó, việc cung cấp thông tin này là một quá trình phức tạp và nếu không được thực hiện đúng cách thì có thể rất khó khăn, đặc biệt là đối với các công ty quy mô vừa và lớn. Đây là lúc các data engineer phát huy tác dụng.
Trong bài viết này, bạn sẽ tìm hiểu những kiến thức cơ bản về kỹ thuật dữ liệu, đó là:
1. Kỹ thuật dữ liệu là gì và tại sao phải đảm bảo đường dẫn dữ liệu mạnh mẽ
2. Sự khác biệt giữa khoa học dữ liệu và kỹ thuật dữ liệu
3. Lý do đằng sau sự phổ biến ngày càng tăng của kỹ thuật dữ liệu
4. Các kỹ năng của một kỹ sư dữ liệu giỏi
Trách nhiệm của một data engineer là gì?
Để có thể dễ hiểu hơn, data engineers là:
- Nhằm mục đích làm cho dữ liệu dễ dàng truy cập và có sẵn cho các Data Science và kỹ sư Business Intelligence (hoặc bất kỳ ai làm việc với dữ liệu)
- Tối ưu hóa kiến trúc hệ thống dữ liệu lớn của các công ty
- Thiết kế và cấu hình cơ sở dữ liệu
- Cộng tác với các nhóm kỹ sư business intelligence engineers, data scientists, và data analysts
- Khám phá và chuyển đổi dữ liệu Để thực hiện tất cả các tác vụ này, trước tiên, các Data engineering cần thiết lập các ETL pipelines.
ETL pipelines
ETL pipelinesnhận dữ liệu phức tạp theo các khoảng thời gian đều đặn và xử lý dữ liệu đó với mục đích lưu trữ dữ liệu ở dạng có thể sử dụng được. Các kỹ sư dữ liệu có trách nhiệm thiết lập và duy trì các pipelines này.
Có 3 loại ETL pipelines:
- Extract(Trích xuất) Một lượng lớn dữ liệu do các nguồn dữ liệu tạo ra được thu thập ở các định dạng khác nhau
- Transform(chuyển đổi) Vì dữ liệu có các định dạng khác nhau và do nguồn không nhất quán nên dữ liệu được xử lý để trở nên chuẩn hóa nhất có thể. Điều này làm tăng khả năng khám phá và khả năng sử dụng của dữ liệu cho các bước tiếp theo.
- Load (nạp)Sau khi dữ liệu ở định dạng có thể phát hiện và sử dụng được, dữ liệu thường được lưu trữ trong kho dữ liệu. Điều này làm cho dữ liệu có sẵn mọi lúc để phân tích thêm.
Data warehouses( Kho dữ liệu)
Kho dữ liệu là nơi lưu trữ dữ liệu chuẩn hóa. Chúng được tối ưu hóa để lọc và đọc khối lượng lớn dữ liệu. Trong kho dữ liệu hiện đại, cả dữ liệu có cấu trúc và phi cấu trúc đều có thể được lưu trữ, bởi vì điều quan trọng là phải lưu trữ dữ liệu không thể phân loại, chẳng hạn như ảnh và video.
Data engineering và data science
Sự khác biệt giữa vai trò của kỹ sư dữ liệu và nhà khoa học dữ liệu là rất quan trọng. Một mặt, các nhà khoa học dữ liệu có vai trò quan trọng trong các công ty vì họ góp phần vào việc ra quyết định dựa trên dữ liệu. Tuy nhiên, thành công của các nhà khoa học dữ liệu chỉ tốt như dữ liệu mà họ có sẵn.
Mặt khác, các kỹ sư dữ liệu là những người thiết kế các hệ thống cung cấp dữ liệu cho các nhà khoa học dữ liệu một cách có tổ chức và nhất quán. Sau khi các kỹ sư dữ liệu cung cấp thông tin cho họ, các nhà khoa học dữ liệu sẽ cố gắng tìm các mẫu trong dữ liệu để đưa ra kết luận, sử dụng định dạng do các kỹ sư dữ liệu cung cấp.
Kỹ sư dữ liệu và nhà khoa học dữ liệu rõ ràng làm việc chặt chẽ với nhau. Chúng ta có thể coi nó như một trận đấu bóng đá. Trong bóng đá, chính huấn luyện viên là người phát triển các chiến lược sẽ tạo ra các cơ hội ghi bàn và chính huấn luyện viên là người đặt các cầu thủ vào những vị trí nhất định. Trong bối cảnh này, huấn luyện viên là kỹ sư dữ liệu, vì vậy chúng ta có thể coi quả bóng là dữ liệu và cầu thủ ghi bàn là nhà khoa học dữ liệu. Phần còn lại của đội là cơ s
Tại sao data engineering ngày càng phổ biến?
Theo nghiên cứu được thực hiện trên nền tảng Burning Glass Nova, các tin tuyển dụng cho "kỹ sư dữ liệu" đã tăng 88,3% vào năm 2022. Theo nghiên cứu này, nhu cầu về kỹ sư dữ liệu đã tăng lên kể từ năm 2020. Một thông tin thú vị khác là số lượng cơ hội việc làm cho các kỹ sư dữ liệu cao hơn gần 5 lần so với cơ hội việc làm cho các nhà khoa học dữ liệu. Mức lương của một kỹ sư dữ liệu cũng cao hơn 20-30% so với mức lương của một nhà khoa học dữ liệu.
Như đã nêu ở trên, các nhà khoa học dữ liệu là mắt xích cuối cùng trong chuỗi xử lý dữ liệu. Họ cần dữ liệu được kỹ sư dữ liệu xử lý để thực hiện công việc của họ. Khi số lượng nguồn dữ liệu và loại dữ liệu tăng lên, nhu cầu về kỹ sư dữ liệu cũng tăng lên. Vì lý do này, các công ty gần đây đã bắt đầu đầu tư nhiều hơn vào việc khai thác và phân phối dữ liệu.
Trong Hình 3.1, biểu đồ kim tự tháp hiển thị hệ thống phân cấp nhu cầu của khoa học dữ liệu. Trong hệ thống phân cấp này, các nhiệm vụ được giao cho các kỹ sư dữ liệu nằm ở đáy của kim tự tháp, điều này giải thích tầm quan trọng của các kỹ sư dữ liệu đối với các công ty.
Hình 3.1: Hệ thống phân cấp nhu cầu khoa học dữ liệu.Source: hackernoon
Một data engineer cần những kỹ năng gì?
Kỹ năng của kỹ sư dữ liệu thường đan xen với kỹ năng của kỹ sư phần mềm và nhà khoa học dữ liệu, như trong Hình 4.1.
Hình 4.1: Vai trò và các kĩ năng cho các ngành data Source: RyanSwanstrom
Vai trò của data engnieering gần với vai trò của software engineer hay vai trò của Data science không?
Công việc trước đây của một nhóm kỹ sư dữ liệu được hiển thị trong Hình 5.1. Theo con số này, hơn 40% trong số họ có nền tảng về công nghệ phần mềm. Điều này không chỉ có nghĩa là công nghệ dữ liệu và công nghệ phần mềm gần hơn đáng kể so với những gì chúng ta nghĩ ban đầu, mà còn có nghĩa là các kỹ sư phần mềm ngày nay có nhiều khả năng chuyển sang kỹ thuật dữ liệu hơn bất kỳ lĩnh vực nào khác.
Hình 5.1: Kỹ sư dữ liệu theo vai trò trước đó (top 10).Source: stitchdata
Tại TechData.AI, chúng tôi tin rằng những kỹ năng sau đây là kỹ năng của một kỹ sư dữ liệu giỏi:
Nền tảng về kỹ thuật phần mềm Kỹ sư dữ liệu cần có nền tảng về kỹ thuật phần mềm, vì họ cần tiếp cận các thách thức về kỹ thuật dữ liệu bằng kiến thức về lập trình hướng đối tượng, cấu trúc dữ liệu và thuật toán. Kỹ sư dữ liệu phải có kinh nghiệm về Python, Scala hoặc Java.
Công cụ Các kỹ sư dữ liệu cần thành thạo với các công cụ kỹ thuật dữ liệu như Airflow, Apache hoặc Kafka.
Công nghệ cơ sở dữ liệu Một kỹ sư dữ liệu phải có kiến thức về nhiều loại cơ sở dữ liệu.
Công nghệ đám mây Các kỹ sư dữ liệu nên cảm thấy thoải mái khi sử dụng nhiều nền tảng đám mây như Amazon Web Services, Google Cloud Platform và Microsoft Azure. Họ cũng cần có kinh nghiệm về kiến trúc đám mây và công cụ DevOps, vì họ chịu trách nhiệm tự động hóa phần luồng dữ liệu của hệ thống.
Tham khảo khoá Data Engineer tại TechData.AI
Chi tiết: TechData.AI - Data Engineer Course