Apache Airflow 2.6.0 đã được phát hành!

Tôi vui mừng thông báo rằng Apache Airflow 2.6.0 đã được phát hành, mang lại nhiều tính năng và cải tiến nhỏ cho cộng đồng.

Apache Airflow 2.6.0 chứa hơn 500 cam kết, bao gồm 42 tính năng mới, 58 cải tiến, 38 bản sửa lỗi và 17 thay đổi tài liệu.

Chi tiết:

📦 PyPI: https://pypi.org/project/apache-airflow/2.6.0/
📚 Docs: https://airflow.apache.org/docs/apache-airflow/2.6.0/
🛠 Release Notes: https://airflow.apache.org/docs/apache-airflow/2.6.0/release_notes.html
🐳 Docker Image: “docker pull apache/airflow:2.6.0”
🚏 Constraints: https://github.com/apache/airflow/tree/constraints-2.6.0

Vì nhật ký thay đổi khá lớn, sau đây là một số tính năng mới đáng chú ý được cung cấp trong bản phát hành này.

Nhật ký kích hoạt hiện có thể được xem trong máy chủ web

Nhật ký kích hoạt hiện đã được thêm vào nhật ký tác vụ. Chúng xuất hiện ngay bên cạnh phần còn lại của nhật ký từ tác vụ của bạn.

Việc thêm tính năng này yêu cầu các thay đổi trên toàn bộ ngăn xếp ghi nhật ký Luồng khí, vì vậy hãy đảm bảo cập nhật nhà cung cấp của bạn nếu bạn đang sử dụng tính năng ghi nhật ký từ xa.

Grid view improvements

Chế độ xem dạng lưới đã nhận được một số cải tiến nhỏ trong bản phát hành này. Đáng chú ý nhất là hiện có một tab biểu đồ trong chế độ xem lưới.

Điều này cung cấp một biểu diễn đồ thị tích hợp hơn của DAG, trong đó việc chọn một tác vụ trong lưới hoặc biểu đồ sẽ làm nổi bật cùng một tác vụ trong cả hai chế độ xem.

Bạn cũng có thể lọc ngược dòng và xuôi dòng từ một tác vụ. Ví dụ: trong ảnh chụp màn hình ở trên, description_integrity là tác vụ được chọn. Nếu bạn chọn lọc xuôi dòng, đây là kết quả:

Giao diện người dùng kích hoạt dựa trên thông số cấp độ DAG

Một biểu mẫu thân thiện với người dùng hiện được hiển thị cho người dùng kích hoạt chạy DAG với thông số cấp độ DAG.

Xem tài liệu Params docs để biết thêm chi tiết.

Hợp nhất xử lý các nhiệm vụ xếp hàng bị mắc kẹt

Luồng không khí hiện có một cấu hình duy nhất, [scheduler] task_queued_timeout, để xử lý các tác vụ bị kẹt trong hàng đợi quá lâu. Với cách triển khai đơn giản hơn so với mã gửi đi xử lý các tác vụ này, các tác vụ bị mắc kẹt trong hàng đợi sẽ không còn lọt qua kẽ hở và bị mắc kẹt.

Móc chính sách cụm có thể đến từ plugin

Móc chính sách cụm (ví dụ: dag_policy), giờ đây có thể đến từ các plugin Airflow ngoài cài đặt cục bộ của Airflow. Bằng cách cho phép xác định nhiều hook, nhiều nhóm có thể chạy hook trong một phiên bản Airflow đơn lẻ dễ dàng hơn.

Đã thêm hỗ trợ thông báo

Khung thông báo cho phép bạn gửi tin nhắn đến các hệ thống bên ngoài khi một phiên bản tác vụ/chạy DAG thay đổi trạng thái. Ví dụ: bạn có thể dễ dàng đăng một tin nhắn lên Slack

with DAG(
    “slack_notifier_example”,
    start_date=datetime(2023, 1, 1),
    on_success_callback=[
        send_slack_notification(
            text="The DAG {{ dag.dag_id }} succeeded",
            channel="#general",
            username="Airflow",
        )
    ],
):

Tính đến hôm nay, Slack là hệ thống duy nhất được hỗ trợ ngay lập tức. Tuy nhiên, hãy theo dõi không gian này vì nhiều tích hợp sẽ sớm được bổ sung.

Cảm ơn những người đóng góp

Cảm ơn tất cả những người đã đóng góp cho bản phát hành này, bao gồm Andrey Anshin, Ash Berlin-Taylor, Brent Bovenzi, Daniel Standish, Ephraim Anierobi, Hussein Awala, Jarek Potiuk, Jed Cunningham, Josh Fell, Michael Petro, Niko Oliveira, Pierre Jeambrun, Tzu- ping Chung, Victor Chiapaikeo, và hơn 120 người khác!

Tôi đặc biệt muốn cảm ơn người quản lý phát hành của chúng tôi, Ephraim, vì đã đưa bản phát hành này ra khỏi cửa.

Tôi hy vọng bạn thích sử dụng Apache Airflow 2.6.0!

Tham khảo lộ trình khoá Data Engineer tại TechData.AI

Chi tiết: TechData.AI - Data Engineer Course