在做資料清洗和轉換時，時常會需要進行日期時間的清洗和轉換，用來篩選特定時間的資料或統一格式。

在 Python，可以透過 datetime 物件的 strptime 和 strftime 函數來實現，而在 PostgreSQL 中則可以利用內建的日期函數和格式化工具達成。

本教學將介紹如何分別使用 Python 和 PostgreSQL 處理日期的各種轉換操作，包括今天日期、昨天日期與上個月的格式化處理。

Python 範例

以下使用 datetime 模組來完成日期轉換：

from datetime import datetime, timedelta

# 1. 得到今天日期，格式（yyyymmdd），型態 date
today_date = datetime.today().date()
print("今天日期 (date):", today_date)

# 2. 將今天日期轉為字串
today_str = today_date.strftime('%Y%m%d')
print("今天日期 (字串):", today_str)

# 3. 取得昨天日期，型態 date
yesterday_date = today_date - timedelta(days=1)
print("昨天日期 (date):", yesterday_date)

# 4. 將昨天日期轉為字串
yesterday_str = yesterday_date.strftime('%Y%m%d')
print("昨天日期 (字串):", yesterday_str)

# 5. 取得上個月，格式（yyyymm），型態字串
last_month = (today_date.replace(day=1) - timedelta(days=1)).strftime('%Y%m')
print("上個月 (字串):", last_month)

輸出範例：

今天日期 (date): 2024-12-08
今天日期 (字串): 20241208
昨天日期 (date): 2024-12-07
昨天日期 (字串): 20241207
上個月 (字串): 202411

PostgreSQL 範例

在 PostgreSQL 中，可以使用 SQL 查詢進行類似的日期操作：

OpenMetadata 會將日誌文件自動存儲到指定的 log 目錄中，但目前無法透過官方提供的 openmetadata.yaml 配置文件直接實現 logrotate 功能。這導致當日誌文件（如 catalog.log）不斷增長時，可能會造成存儲空間壓力和管理困難。

原本考慮利用 Linux 系統內建的 logrotate 工具解決這一問題，但發現一個限制：當 catalog.log 被刪除後，即使重新建立（如通過 touch catalog.log），OpenMetadata 的應用程式無法繼續將日誌寫入新生成的文件。因此，無法使用傳統的 logrotate 方法將 catalog.log 重命名為例如 catalog-{yesterday-date}.log 並重新創建新的日誌文件。

解決方案

為了解決刪除 catalog.log 後無法繼續記錄日誌的問題，採用以下方法：

1. 將現有的 catalog.log 文件內容複製到備份文件中。

2. 清空原始 catalog.log 文件，而不是直接刪除。

3. 壓縮備份文件，並刪除七天以上的舊備份。

以下是具體實現的 Bash 腳本：

#!/bin/bash

# 設定日誌文件路徑
LOG_FILE="/opt/openmetadata/logs/catalog.log"
BACKUP_DIR="/opt/openmetadata/logs"  
TODAY=$(date +%Y-%m-%d)
YESTERDAY=$(date -d "yesterday" +%Y-%m-%d)

# 1. 複製當前的 catalog.log 為 catalog-{前一天日期}.log
cp "$LOG_FILE" "$BACKUP_DIR/catalog-$YESTERDAY.log"

# 2. 清空 catalog.log
> "$LOG_FILE"

# 3. 壓縮前一天的 log
gzip "$BACKUP_DIR/catalog-$YESTERDAY.log"

# 4. 刪除七天前的日誌備份
find "$BACKUP_DIR" -name "catalog-*.log.gz" -mtime +7 -exec rm {} \;

腳本說明

1. 複製日誌文件：