Series dbt: Từ SQL đến Analytics Engineering · Bài 10/10. Một pipeline chạy thành công trên máy cá nhân mới giải quyết được một phần công việc. Khi báo cáo được dùng mỗi sáng, chúng ta cần biết dữ liệu đã sẵn sàng chưa, lần chạy gần nhất có thành công không và phải làm gì khi một model bị lỗi. Bài cuối cùng ghép các thành phần đã học thành một quy trình vận hành có lịch chạy, kiểm thử, nhật ký và hướng khôi phục rõ ràng.
Bạn sẽ tiếp tục project bán hàng dùng PostgreSQL ở bài 2–9, bổ sung kiểm tra độ mới của nguồn, viết một script chạy có khóa chống chồng lấn, lưu kết quả theo từng lần chạy và tạo CI trên GitHub Actions. Các ví dụ giữ dbt Core 1.9.8, dbt-postgres 1.9.1 và PostgreSQL 16.6 để thống nhất môi trường của series. Đây là lab nền tảng; việc triển khai thật cần điều chỉnh quyền, tài nguyên, dữ liệu nguồn và yêu cầu phục hồi của doanh nghiệp.
1. Hiểu đúng một lần chạy pipeline
Hãy hình dung một cửa hàng gửi dữ liệu vào kho trước khi nhân viên phân tích lập báo cáo. Việc tính toán nhanh không giúp ích nếu xe hàng chưa đến. Tương tự, dbt biến đổi dữ liệu đã có trong database; job dbt trong bài này không tự lấy đơn hàng từ API hay tự đồng bộ dữ liệu nguồn.
| Bước | Mục đích | Điều kiện để đi tiếp |
|---|---|---|
| Kiểm tra kết nối | Xác nhận profile, quyền và database có thể truy cập | dbt debug thành công |
| Source freshness | Đo tuổi dữ liệu đã được nạp | Không vượt ngưỡng error |
| Snapshot | Ghi nhận trạng thái khách hàng quan sát được | Snapshot chạy thành công |
| Build và test | Tạo model theo DAG và kiểm tra chất lượng | Không có model/test lỗi |
| Tổng hợp và tài liệu | Lưu trạng thái, artifact và catalog | Có kết quả của đúng lần chạy |
Lệnh dbt build có thể chạy cả snapshot trong tập tài nguyên được chọn. Ở đây chúng ta vẫn chạy snapshot riêng trước build để nhìn rõ một giai đoạn vận hành quan trọng. Chạy lại snapshot khi dữ liệu và updated_at không đổi không được tạo thêm một phiên bản mới. Thứ tự này cũng giúp các model lịch sử đọc trạng thái snapshot vừa cập nhật.
Trước khi bắt đầu, project cần có đầy đủ model và test của các bài trước, profile nằm trong profiles/profiles.yml, môi trường Python trong .venv và dữ liệu thực hành đã được khôi phục sau các thử nghiệm. Với fixture gốc: fact có 7 dòng chi tiết; 3 đơn paid tạo doanh thu 400.000, gồm 5 dòng hàng và tổng số lượng 9. Đừng trộn các lệnh cố tình gây lỗi hoặc đơn thử 1006 vào dữ liệu khởi tạo CI.
2. Kiểm tra dữ liệu nguồn đã sẵn sàng
Một job có thể báo thành công dù nguồn đã ngừng cập nhật từ hôm qua. Vì vậy cần kiểm tra freshness trước khi xây báo cáo. Cột _loaded_at thể hiện thời điểm dữ liệu được nạp vào vùng raw. Nó khác updated_at của nghiệp vụ: một đơn hàng cũ có thể được nạp hôm nay, và thời điểm khách hàng sửa đơn không nhất thiết trùng thời điểm ingestion.
Tạo init/04_freshness_column.sql:
alter table raw.orders
add column if not exists _loaded_at timestamptz
not null default current_timestamp;
Áp dụng vào database đang chạy. Ví dụ dùng tên service postgres của Docker Compose trong series:
docker compose exec -T postgres psql -v ON_ERROR_STOP=1 \
-U dbt_lab -d retail < init/04_freshness_column.sql
DEFAULT chỉ cung cấp giá trị khi thêm dữ liệu, không tự cập nhật timestamp khi sửa một dòng. Trong hệ thống thật, ingestion phải ghi thời điểm nạp đúng nghĩa. Với bảng lab đã tồn tại, việc thêm cột khởi tạo mốc quan sát cho dữ liệu hiện có; đây không phải bằng chứng dữ liệu nghiệp vụ đã được đồng bộ đầy đủ.
Thay nội dung file khai báo source _sources.yml bằng khai báo đầy đủ dưới đây, tránh tạo trùng source shop ở hai file. Cú pháp này dành cho phiên bản Core 1.9 của lab:
version: 2
sources:
- name: shop
schema: raw
tables:
- name: customers
- name: products
- name: orders
loaded_at_field: _loaded_at
config:
freshness:
warn_after: {count: 1, period: hour}
error_after: {count: 2, period: hour}
- name: order_items
dbt source freshness --profiles-dir profiles --select source:shop.orders
Giả sử lần nạp gần nhất cách hiện tại 90 phút: vượt ngưỡng warn 1 giờ nhưng chưa vượt error 2 giờ, nên bạn cần quan sát cảnh báo. Khi quá 2 giờ, lệnh trả về trạng thái lỗi và script bên dưới dừng. Dữ liệu lab đứng yên sẽ tự trở thành cũ; đó là hành vi đúng, không phải lý do để cập nhật hàng loạt _loaded_at cho qua kiểm tra.
Freshness thường dựa trên timestamp mới nhất. Chỉ một dòng mới có thể khiến phép kiểm tra qua dù một phân vùng khác còn thiếu. Do đó cần kết hợp kiểm tra số lượng, đối soát tiền, mốc batch hoặc trạng thái ingestion. Nguồn ít phát sinh sự kiện cũng cần cách đánh giá riêng: không có đơn mới không đồng nghĩa ingestion hỏng. Mốc hoàn tất batch có thể phù hợp hơn việc yêu cầu phải có giao dịch mỗi giờ.
3. Đọc kết quả và giữ bằng chứng
Khi có lỗi, câu hỏi đầu tiên là “lỗi ở đâu và thuộc lần chạy nào?”. Nếu mọi lệnh ghi chung vào target, artifact của lệnh sau có thể thay nội dung của lệnh trước. Tệ hơn, lỗi parse có thể khiến bạn đọc nhầm run_results.json cũ. Bài này dùng thư mục riêng cho từng lần chạy và từng giai đoạn.
| Tệp | Cho biết điều gì? | Giới hạn |
|---|---|---|
| manifest.json | Tài nguyên, cấu hình và quan hệ phụ thuộc | Không phải bản sao lưu dữ liệu warehouse |
| run_results.json | Trạng thái, thời gian và thông báo của các tài nguyên đã chạy | Cần gắn với đúng lệnh và invocation |
| sources.json | Kết quả source freshness | Không thay thế kết quả build/test |
| catalog.json | Metadata thu thập khi tạo tài liệu | Không chứng minh dữ liệu kinh doanh chính xác |
| dbt.log và job.log | Diễn biến thực thi phục vụ điều tra | Có thể chứa SQL và thông tin cần kiểm soát truy cập |
Tạo scripts/summarize_results.py. Script in thống kê và trả mã lỗi nếu thiếu kết quả hoặc có tài nguyên lỗi. Trong lab, skipped cũng được xem là cần xử lý vì model phía sau có thể chưa được cập nhật. Nếu hệ thống chủ đích có trường hợp skip hợp lệ, hãy điều chỉnh chính sách theo tài nguyên cụ thể.
import json
import sys
from collections import Counter
from pathlib import Path
path = Path(sys.argv[1])
if not path.is_file():
raise SystemExit(f'Missing build artifact: {path}')
data = json.loads(path.read_text(encoding='utf-8'))
results = data.get('results', [])
print('Invocation:', data.get('metadata', {}).get('invocation_id'))
print('Statuses:', dict(Counter(r.get('status') for r in results)))
if not results:
raise SystemExit('No resource results; check selection and command')
bad_statuses = {'error', 'fail', 'skipped', 'runtime error'}
bad = [r for r in results if r.get('status') in bad_statuses]
for result in bad:
print(result.get('unique_id'), result.get('status'), result.get('message'))
raise SystemExit(1 if bad else 0)
Script tổng hợp là lớp quan sát bổ sung. Nó không được dùng để che exit code của dbt. Một lệnh build thất bại phải khiến toàn job thất bại, kể cả khi một công cụ báo cáo vẫn đọc được artifact. Cảnh báo warn được in ra nhưng chưa bị nâng thành lỗi theo chính sách của ví dụ.
4. Script vận hành có khóa và exit code

Trên Linux, flock có thể giữ một khóa file trong suốt thời gian tiến trình chạy. Cách này phù hợp khi cron và script cùng chạy trên một máy. Nó không phải khóa phân tán giữa nhiều máy, nhiều container có filesystem riêng hoặc nhiều scheduler độc lập.
Ở thư mục gốc project, tạo .env.runtime bằng trình soạn thảo, đặt DBT_PASSWORD trùng mật khẩu database hiện có. Không đưa mật khẩu thật vào Git. File này được source như mã shell nên chỉ người có quyền vận hành đáng tin cậy được sửa.
DBT_PASSWORD='replace_with_your_lab_password'
mkdir -p scripts runs
chmod 600 .env.runtime
Bổ sung .gitignore:
.env.runtime
.venv/
target/
logs/
runs/
.dbt-job.lock
Tạo scripts/run_pipeline.sh. Nếu project không nằm tại $HOME/dbt-retail, sửa đường dẫn mặc định hoặc cung cấp DBT_PROJECT_DIR bằng đường dẫn tuyệt đối. Script dùng executable trong .venv nên cron không cần activate môi trường trước.
#!/usr/bin/env bash
set -Eeuo pipefail
umask 077
cd "${DBT_PROJECT_DIR:-$HOME/dbt-retail}"
PROJECT_DIR="$PWD"
DBT="$PROJECT_DIR/.venv/bin/dbt"
PYTHON="$PROJECT_DIR/.venv/bin/python"
exec 9> "$PROJECT_DIR/.dbt-job.lock"
if flock -n -E 75 9; then
:
else
lock_code=$?
printf "Cannot acquire job lock; exit=%s\n" "$lock_code" >&2
exit "$lock_code"
fi
set -a
source "$PROJECT_DIR/.env.runtime"
set +a
: "${DBT_PASSWORD:?Missing DBT_PASSWORD}"
run_dir="$PROJECT_DIR/runs/$(date -u +%Y%m%dT%H%M%SZ)-$$"
mkdir -p "$run_dir"
printf "Run directory: %s\n" "$run_dir"
exec >> "$run_dir/job.log" 2>&1
finish() {
result=$?
trap - EXIT
printf "%s\n" "$result" > "$run_dir/exit-code.txt"
printf "Finished %s exit=%s\n" "$(date -u +%FT%TZ)" "$result"
exit "$result"
}
trap finish EXIT
run_stage() {
local stage="$1"
shift
mkdir -p "$run_dir/$stage"
if "$DBT" --log-path "$run_dir/$stage/logs" "$@" \
--profiles-dir profiles --target-path "$run_dir/$stage"; then
printf "0\n" > "$run_dir/$stage/exit-code.txt"
else
local stage_code=$?
printf "%s\n" "$stage_code" > "$run_dir/$stage/exit-code.txt"
return "$stage_code"
fi
}
"$DBT" debug --profiles-dir profiles
run_stage freshness source freshness --select source:shop.orders
run_stage snapshot snapshot --select snap_customers
run_stage build build
"$PYTHON" scripts/summarize_results.py "$run_dir/build/run_results.json"
run_stage docs docs generate
set -e giúp dừng khi một lệnh quan trọng thất bại; -u phát hiện biến chưa khai báo; pipefail tránh tình huống lỗi ở đầu pipeline shell bị lệnh cuối che mất. Tuy vậy vẫn phải hiểu các nhánh if: run_stage chủ động lưu exit code của dbt rồi trả mã đó về hàm gọi. Trap EXIT ghi kết quả toàn job trước khi kết thúc.
umask 077 làm cho tệp mới có quyền hạn chế hơn. Mỗi run_dir có timestamp UTC và PID; các giai đoạn freshness, snapshot, build, docs được tách riêng. Lỗi trước khi tạo job.log, chẳng hạn không lấy được khóa hoặc thiếu file môi trường, phải được thu nhận từ stderr của scheduler. Exit 75 thể hiện khóa đang bận; đây là tín hiệu cần theo dõi, không phải một lần chạy thành công.
chmod +x scripts/run_pipeline.sh
./scripts/run_pipeline.sh
ls -lt runs
Mở job.log và exit-code.txt của đúng thư mục vừa in ra. Nếu lỗi ở freshness thì build chưa chạy là điều mong muốn. Không thêm “|| true” để cron trông có vẻ xanh. Ví dụ này lưu log và mã thoát; nó chưa tự gửi email, Telegram hay thông báo cho người trực.
5. Lập lịch nhưng vẫn kiểm soát phụ thuộc
Sau khi chạy tay thành công, thêm lịch bằng crontab -e. Ví dụ chạy ở phút 15 mỗi giờ, thay /home/your-user bằng đường dẫn thực tế:
15 * * * * /bin/bash /home/your-user/dbt-retail/scripts/run_pipeline.sh
Cron sử dụng múi giờ được cấu hình cho môi trường chạy. Mốc 08:15 trên máy đặt UTC khác 08:15 tại Việt Nam; timestamp UTC trong tên thư mục chỉ giúp đối chiếu log, không tự đổi múi giờ cron. Hãy ghi rõ timezone và lịch nghiệp vụ trong tài liệu vận hành.
Nếu ingestion hoàn tất lúc 08:20 mà cron chạy lúc 08:15, bạn vẫn có thể tính báo cáo trên batch hôm trước. Freshness chỉ là một hàng rào. Khi phải chờ nhiều upstream hoặc cần retry theo từng task, hãy dùng một orchestrator và đặt phụ thuộc vào trạng thái hoàn tất ingestion. Chỉ cho một cơ chế sở hữu lịch ghi production; tránh vừa cron vừa scheduler khác cùng chạy một project.
Một lần chạy kéo dài hơn một giờ sẽ khiến lịch kế tiếp gặp khóa bận. Khóa bảo vệ warehouse khỏi hai writer cùng hoạt động, nhưng không giải quyết nguyên nhân chậm. Cần theo dõi thời gian chạy, số lần bị bỏ qua vì khóa và tuổi của lần thành công gần nhất. Một job chưa từng được kích hoạt sẽ không có log lỗi để bạn đọc, nên phải giám sát cả sự vắng mặt của lần chạy.
6. Kiểm thử thay đổi bằng GitHub Actions

CI là bước kiểm tra tự động mỗi khi gửi thay đổi SQL lên Git. Chúng ta tạo PostgreSQL dùng một lần, nạp fixture cố định rồi chạy pipeline. Cách này kiểm tra cấu hình và logic trên dữ liệu biết trước, đồng thời giữ PR không chạm database thật. Nó không chứng minh truy vấn sẽ đáp ứng hiệu năng trên hàng tỷ dòng.
Tạo requirements-ci.txt:
dbt-core==1.9.8
dbt-postgres==1.9.1
Đây là hai dependency trực tiếp, chưa khóa toàn bộ dependency gián tiếp. Workflow lưu pip freeze để điều tra môi trường thực tế. Khi triển khai nghiêm túc, dùng lockfile đã được kiểm thử và cập nhật có kiểm soát, thay vì mặc định xem hai dòng pin là môi trường tái lập tuyệt đối.
Tạo profiles-ci/profiles.yml. Tên profile retail_analytics phải khớp profile trong dbt_project.yml:
retail_analytics:
target: ci
outputs:
ci:
type: postgres
host: 127.0.0.1
port: 55432
user: dbt_lab
password: "{{ env_var('DBT_PASSWORD') }}"
dbname: retail
schema: ci
threads: 2
connect_timeout: 10
Các schema tùy chỉnh của project sẽ được ghép với target ci theo cơ chế generate_schema_name mặc định, chẳng hạn ci_staging và ci_marts. Quan trọng hơn, đây là database nằm trong service container riêng của CI. Chỉ đổi tên schema nhưng vẫn dùng credential production không tạo ra mức cô lập tương đương.
Tạo scripts/load_ci_fixture.py. Cần commit bốn file init của series; file không tồn tại hoặc SQL lỗi phải khiến bước này dừng, không được bỏ qua âm thầm:
import os
from pathlib import Path
import psycopg2
files = [
'init/01_raw.sql',
'init/02_incremental_columns.sql',
'init/03_customer_history_columns.sql',
'init/04_freshness_column.sql',
]
with psycopg2.connect(
host='127.0.0.1', port=55432, dbname='retail',
user='dbt_lab', password=os.environ['DBT_PASSWORD']
) as connection:
with connection.cursor() as cursor:
for filename in files:
cursor.execute(Path(filename).read_text(encoding='utf-8'))
print('Loaded', filename)
Database CI mới chỉ có trạng thái khách hàng gốc. Snapshot ban đầu có 4 khách hàng là bình thường; nó không tự có 6 phiên bản lịch sử như môi trường đã làm các bước đổi thành phố ở bài 8. Muốn kiểm thử chuỗi lịch sử đó, cần một test riêng lần lượt cập nhật nguồn và chạy snapshot theo từng mốc.
Tạo .github/workflows/dbt-ci.yml:
name: dbt CI
on:
pull_request:
push:
branches: [main]
permissions:
contents: read
jobs:
build:
runs-on: ubuntu-22.04
timeout-minutes: 20
env:
DBT_PASSWORD: ci_only_disposable_password
services:
postgres:
image: postgres:16.6
env:
POSTGRES_USER: dbt_lab
POSTGRES_PASSWORD: ci_only_disposable_password
POSTGRES_DB: retail
ports:
- 55432:5432
options: >-
--health-cmd "pg_isready -U dbt_lab -d retail"
--health-interval 5s
--health-timeout 5s
--health-retries 12
steps:
- uses: actions/checkout@v6
with:
persist-credentials: false
- uses: actions/setup-python@v6
with:
python-version: '3.11'
cache: pip
cache-dependency-path: requirements-ci.txt
- name: Install dbt
run: |
python -m pip install -r requirements-ci.txt
python -m pip check
python -m pip freeze > ci-resolved-requirements.txt
- name: Load isolated fixture
run: python scripts/load_ci_fixture.py
- name: Check connection
run: dbt debug --profiles-dir profiles-ci
- name: Check source freshness
run: dbt source freshness --profiles-dir profiles-ci --select source:shop.orders --target-path target/freshness
- name: Capture snapshot
run: dbt snapshot --profiles-dir profiles-ci --select snap_customers --target-path target/snapshot
- name: Build and test
run: dbt build --profiles-dir profiles-ci --target-path target/build
- name: Summarize build
if: always()
run: python scripts/summarize_results.py target/build/run_results.json
- name: Generate docs
run: dbt docs generate --profiles-dir profiles-ci --target-path target/docs
- name: Preserve diagnostics
if: always()
uses: actions/upload-artifact@v4
with:
name: dbt-ci-diagnostics
retention-days: 7
if-no-files-found: warn
path: |
target/
logs/
ci-resolved-requirements.txt
Mật khẩu trong workflow chỉ dành cho service PostgreSQL dùng một lần, không có dữ liệu thật và được hủy sau job. Không thay nó bằng mật khẩu production. Job chạy trực tiếp trên runner nên kết nối qua 127.0.0.1:55432; nếu chuyển job vào container, cần điều chỉnh hostname và port theo mạng container.
Bước tổng hợp và lưu artifact dùng always() để còn bằng chứng khi bước trước lỗi. Nếu build chưa chạy, tổng hợp báo thiếu artifact thay vì vô tình đọc kết quả cũ. Bước docs chỉ chạy khi các bước trước đạt điều kiện thành công mặc định. Tệp artifact có thể chứa SQL, cấu trúc dữ liệu và thông tin vận hành; cần kiểm soát quyền truy cập, thời gian lưu và nội dung trước khi chia sẻ.
Các action được tham chiếu bằng major tag trong ví dụ để dễ đọc. Tổ chức yêu cầu kiểm soát chuỗi cung ứng nên pin commit SHA đã review và có quy trình cập nhật. Không dùng pull_request_target để chạy mã PR không tin cậy với credential có quyền cao. CI ở đây chỉ kiểm tra và lưu chẩn đoán; nó chưa tự triển khai vào production.
7. Giám sát và xử lý sự cố

Một dashboard giám sát tối thiểu cần trả lời được: lần thành công gần nhất khi nào, hôm nay có chạy đúng lịch không, dữ liệu nguồn cũ bao lâu và lỗi đang nằm ở giai đoạn nào. Chỉ theo dõi CPU hoặc chỉ đọc mã thoát của tiến trình đều chưa đủ.
| Triệu chứng | Cần kiểm tra | Cách xử lý ban đầu |
|---|---|---|
| debug không kết nối | Host, port, service, profile và quyền | Sửa nguyên nhân kết nối; không retry vô hạn |
| Freshness error | Timestamp nạp mới nhất và trạng thái ingestion | Kiểm tra upstream; không làm mới timestamp giả |
| Test doanh thu hoặc grain fail | Dòng lỗi, join, khóa và quy tắc trạng thái | Giữ bằng chứng, sửa dữ liệu hoặc model rồi chạy lại |
| Incremental thiếu dữ liệu cũ | Watermark, lookback và late arrival | Xác định phạm vi backfill; đánh giá full-refresh riêng |
| Snapshot có lịch sử bất thường | unique_key, updated_at và nhiều writer | Dừng ghi chồng lấn; điều tra trước khi sửa lịch sử |
| Exit 75 thường xuyên | Thời gian chạy và lịch trùng | Tìm job giữ khóa; tối ưu hoặc đổi lịch có chủ đích |
| Không có lần chạy mới | Cron, máy chủ, timezone và heartbeat | Cảnh báo từ bên ngoài tiến trình dbt |
Retry chỉ phù hợp với lỗi có khả năng tạm thời như mất kết nối ngắn. Một phép join nhân bản doanh thu không tự đúng sau ba lần chạy. Giới hạn số lần retry và thời gian chờ; khi hết ngưỡng phải có người chịu trách nhiệm. Các lần chạy lại cần giữ lịch sử log riêng để không làm mất dấu lần thất bại ban đầu.
Runbook điều tra nên ghi revision Git, phiên bản dependency, thời điểm bắt đầu và kết thúc, nguồn dữ liệu được quan sát, invocation_id cùng đường dẫn artifact. Không đưa mật khẩu vào biên bản. Sau khi sửa, chạy lại phạm vi phụ thuộc phù hợp và đối soát số liệu BI; cache của dashboard có thể còn hiển thị kết quả cũ dù warehouse đã đổi.
Có thể kiểm tra script tổng hợp bằng một fixture JSON riêng, không chỉnh artifact thật. Tạo scratch_examples/failing_run_results.json:
{"metadata":{"invocation_id":"demo"},"results":[{"unique_id":"test.demo","status":"fail","message":"intentional fixture"}]}
python scripts/summarize_results.py scratch_examples/failing_run_results.json
Kỳ vọng: in test.demo, trạng thái fail và trả mã thoát 1. Đổi status trong fixture thành pass thì kỳ vọng mã 0. Thử freshness fail hoặc khóa bận trong database/môi trường thử riêng. Một kiểm thử lỗi có chủ đích cần xác nhận đúng tín hiệu được phát ra, không chỉ xác nhận câu lệnh chạy được.
8. Triển khai và khôi phục an toàn
Một quy trình triển khai đơn giản gồm review SQL và test, CI đạt trên dữ liệu cố định, xác định ảnh hưởng downstream, triển khai revision đã duyệt, chạy job rồi đối soát. Người triển khai cần biết thay đổi chỉ là phép tính trong view hay thay đổi cấu trúc một bảng incremental đang lưu nhiều năm dữ liệu.
Rollback code và rollback dữ liệu là hai việc khác nhau. Checkout revision cũ không tự phục hồi các dòng đã bị xóa, các phiên bản snapshot bị sửa hay một bảng đã full-refresh bằng logic mới. Với thay đổi dữ liệu quan trọng, cần kế hoạch backup/restore hoặc dựng bảng mới, đối soát và chuyển lớp phục vụ theo cơ chế của nền tảng.
dbt build cũng không làm toàn bộ warehouse trở thành một giao dịch nguyên khối. Một số model đầu có thể đã cập nhật trước khi test ở model sau thất bại. Nếu doanh nghiệp yêu cầu người xem chỉ thấy một phiên bản hoàn chỉnh, phải thiết kế thêm lớp publish, swap hoặc cơ chế tương đương phù hợp database. Script của bài không triển khai cơ chế chuyển phiên bản đó.
Snapshot lưu lịch sử quan sát được nên không thể tái tạo đầy đủ chỉ từ bảng nguồn hiện tại. Trước khi xóa hoặc dựng lại snapshot, hãy kiểm tra bản sao lưu và mục tiêu phục hồi. Với incremental, xác định rõ khoảng dữ liệu cần backfill và các khóa phải cập nhật. Full-refresh có thể tốn tài nguyên lớn và làm mất trạng thái cần giữ nếu dùng sai đối tượng.
Tài khoản dbt_lab có quyền rộng để học thuận tiện. Khi triển khai thật, tách quyền ingestion, biến đổi dữ liệu và đọc BI; chỉ cấp quyền dbt cần để tạo hoặc thay đổi tài nguyên trong phạm vi được quản lý. Thiết lập thời gian lưu log, artifact và bản sao lưu theo yêu cầu truy vết, chi phí và độ nhạy cảm dữ liệu.
9. Bài lab nghiệm thu cuối series
Hoàn thành lần lượt các kiểm tra sau trong môi trường lab. Mỗi mục cần có kết quả hoặc bằng chứng cụ thể; một dòng chữ “pipeline success” không thay thế được kiểm chứng dữ liệu.
- Tạo database CI mới, nạp đủ bốn file init và chạy thành công debug, freshness, snapshot, build, docs.
- Xác nhận fact giữ grain một dòng chi tiết đơn hàng; khóa, relationships và non-negative test hoạt động.
- Đối soát fixture gốc: 7 dòng fact, 3 đơn paid, 5 dòng hàng paid, 9 đơn vị và doanh thu 400.000.
- Thử insert, update, soft delete và late arrival của incremental; chỉ rõ trường hợp nằm ngoài lookback cần backfill.
- Chạy snapshot hai lần khi nguồn không đổi và xác nhận không thêm phiên bản; kiểm tra khoảng hiệu lực không chồng lấn.
- Kiểm tra compiled SQL của macro và các đầu vào không hợp lệ đã học ở bài 9.
- Xác nhận lỗi trả mã khác 0, khóa bận có tín hiệu riêng và artifact được lưu đúng giai đoạn, đúng lần chạy.
- Dừng scheduler trong môi trường thử và xác nhận hệ thống theo dõi bên ngoài phát hiện thiếu lần chạy.
- Viết kế hoạch rollback code riêng với phục hồi dữ liệu, đặc biệt cho snapshot và incremental.
Sau series, bạn đã đi từ SQL đơn lẻ đến project có source, DAG, staging, marts, fact/dimension, test, incremental, snapshot, macro và quy trình vận hành. Mục tiêu thực tế là một pipeline dễ đọc, dễ kiểm chứng và dễ điều tra khi có sự cố. Hãy giữ bài toán nhỏ nhưng hoàn chỉnh trước khi mở rộng số lượng model hoặc dữ liệu.
Đọc lại bài 9 về Jinja và Macro, hoặc bắt đầu từ bài 1: dbt là gì? để theo toàn bộ hành trình.
