DataWorks 数据运维
DataWorks 运维中心助手,用于任务与工作流运维、告警规则创建与管理。
支持周期、手动和触发式任务 / 工作流(不含实时 / 流式任务)。
安装
前置检查:需要 Aliyun CLI >= 3.3.3
运行aliyun version确认 >= 3.3.3。若未安装或版本过低,
运行curl -fsSL https://aliyuncli.alicdn.com/setup.sh | bash更新,
或见 references/cli-installation-guide.md 获取安装说明。
前置检查:需要更新 Aliyun CLI 插件
[必须] 运行aliyun configure set --auto-plugin-install true启用插件自动安装。
[必须] CLI AI-Mode 与 User-Agent —— 执行任何业务 CLI 命令前:
aliyun configure ai-mode enable
aliyun configure ai-mode set-user-agent --user-agent "AlibabaCloud-Agent-Skills/alibabacloud-dataworks-data-ops"
aliyun plugin update
工作流完成后:
aliyun configure ai-mode disable
环境变量
aliyun CLI 默认超时可能导致无限挂起。执行任何 API 命令前,你必须设置以下环境变量:
| 变量 | 说明 | 默认值 |
|---|---|---|
ALIBABA_CLOUD_CONNECT_TIMEOUT | 连接超时(毫秒) | 10000 |
ALIBABA_CLOUD_READ_TIMEOUT | 读取超时(毫秒) | 30000 |
对于大批量查询(例如 500+ 结果的分页任务实例列表),ALIBABA_CLOUD_READ_TIMEOUT 可增加到 60000 ms。
如果 API 调用超时,[必须] 用翻倍的读取超时值重试一次。如果第二次也失败,向用户报告超时并建议检查网络连通性、项目 ID 有效性或 RAM 权限。
无其他特殊环境变量要求。
鉴权
前置检查:需要阿里云凭证
安全规则:
- 绝不读取、回显或打印 AK/SK 值(例如echo $ALIBABA_CLOUD_ACCESS_KEY_ID是禁止的)
- 绝不要求用户在对话或命令行中直接输入 AK/SK
- 绝不使用字面凭证值运行aliyun configure set
- 只使用aliyun configure list检查凭证状态
```bash
aliyun configure list
```
检查输出中是否有有效 profile(AK、STS 或 OAuth 身份)。
如果不存在有效 profile,就此停止。
1. 从阿里云控制台获取凭证
2. 在本会话之外配置凭证(通过终端中的aliyun configure或 shell profile 中的环境变量)
3. 待aliyun configure list显示有效 profile 后再返回并重试
RAM 权限
本 Skill 需要以下 RAM 权限:
任务管理
| API | 权限动作 | 说明 |
|---|---|---|
| GetTask | dataworks:GetTask | 获取任务详情 |
| ListTasks | dataworks:ListTasks | 查询任务列表 |
| ListUpstreamTasks | dataworks:ListUpstreamTasks | 查询上游任务列表 |
| ListDownstreamTasks | dataworks:ListDownstreamTasks | 查询下游任务列表 |
| ListTaskOperationLogs | dataworks:ListTaskOperationLogs | 查询任务操作日志 |
任务实例管理
| API | 权限动作 | 说明 |
|---|---|---|
| ListTaskInstances | dataworks:ListTaskInstances | 查询任务实例列表 |
| GetTaskInstance | dataworks:GetTaskInstance | 获取任务实例详情 |
| GetTaskInstanceLog | dataworks:GetTaskInstanceLog | 获取任务实例日志 |
| ListUpstreamTaskInstances | dataworks:ListUpstreamTaskInstances | 查询上游任务实例 |
| ListDownstreamTaskInstances | dataworks:ListDownstreamTaskInstances | 查询下游任务实例 |
| ListTaskInstanceOperationLogs | dataworks:ListTaskInstanceOperationLogs | 查询任务实例操作日志 |
工作流(运维中心,只读)
| API | 权限动作 | 说明 |
|---|---|---|
| GetWorkflow | dataworks:GetWorkflow | 获取工作流详情 |
| ListWorkflows | dataworks:ListWorkflows | 查询工作流列表 |
工作流实例(运维中心,只读)
| API | 权限动作 | 说明 |
|---|---|---|
| ListWorkflowInstances | dataworks:ListWorkflowInstances | 查询工作流实例列表 |
| GetWorkflowInstance | dataworks:GetWorkflowInstance | 获取工作流实例详情 |
告警规则(自定义监控,只读)
| API | 权限动作 | 说明 |
|---|---|---|
| ListAlertRules | dataworks:ListAlertRules | 查询告警规则列表 |
| GetAlertRule | dataworks:GetAlertRule | 获取告警规则详情 |
[必须] 权限失败处理: 当任何命令或 API 调用在执行过程中因权限错误失败时,遵循以下流程:
1. 阅读references/ram-policies.md获取本 Skill 所需的完整权限列表
2. 使用ram-permission-diagnoseskill 引导用户申请必要权限
3. 暂停并等待用户确认所需权限已授予
参数确认
重要:参数确认 —— 执行任何命令或 API 调用前,
所有用户可自定义的参数(例如 ProjectId、RegionId、bizdate、实例 ID 等)
都必须与用户确认。未经用户明确批准,不要假设或使用默认值。
| 参数 | 必填 / 可选 | 说明 | 默认值 |
|---|---|---|---|
| Region | 必填 | 目标地域 | 无 |
| ProjectId | 必填 | DataWorks 工作空间 ID | 无 |
| Bizdate | 必填(实例相关) | 业务日期(毫秒时间戳) | 今日业务日期 |
实例状态枚举值(用于 --status 参数):
NotRun- 未运行Running- 运行中Failure- 失败Success- 成功WaitTime- 等待时间WaitResource- 等待资源
工作流实例类型枚举值(用于 --type 参数):
Normal- 正常调度Manual- 手动运行SmokeTest- 冒烟测试SupplementData- 补数据ManualWorkflow- 手动工作流TriggerWorkflow- 触发式工作流
核心工作流
0. 确认目标地域
与用户确认目标地域。常用地域:
cn-hangzhou- 华东 1(杭州)cn-shanghai- 华东 2(上海)cn-beijing- 华北 2(北京)cn-shenzhen- 华南 1(深圳)
任务管理
查询任务列表
aliyun dataworks-public list-tasks \
--region <REGION> \
--project-id <PROJECT_ID> \
[--name <TASK_NAME>] \
[--page-size <SIZE>] \
--user-agent AlibabaCloud-Agent-Skills/alibabacloud-dataworks-data-ops
获取任务详情
aliyun dataworks-public get-task \
--region <REGION> \
--id <TASK_ID> \
--user-agent AlibabaCloud-Agent-Skills/alibabacloud-dataworks-data-ops
> 更多命令参数和完整命令列表,见 [references/related-commands.md](references/related-commands.md)
---
### 任务实例管理
查询任务实例列表(按状态过滤)
aliyun dataworks-public list-task-instances \
--region <REGION> \
--project-id <PROJECT_ID> \
--bizdate <BIZDATE_TIMESTAMP> \
[--status NotRun|Running|Failure|Success|WaitTime|WaitResource] \
[--task-name <TASK_NAME>] \
--user-agent AlibabaCloud-Agent-Skills/alibabacloud-dataworks-data-ops
获取任务实例详情(用上方列表中的实例 ID)
aliyun dataworks-public get-task-instance \
--region <REGION> \
--id <TASK_INSTANCE_ID> \
--user-agent AlibabaCloud-Agent-Skills/alibabacloud-dataworks-data-ops
获取任务实例日志
aliyun dataworks-public get-task-instance-log \
--region <REGION> \
--id <TASK_INSTANCE_ID> \
--user-agent AlibabaCloud-Agent-Skills/alibabacloud-dataworks-data-ops
> 更多命令(实例详情、上下游实例、操作日志等)见 [references/related-commands.md](references/related-commands.md)
---
### 工作流(运维中心,只读)
查询工作流列表
aliyun dataworks-public list-workflows \
--region <REGION> \
--project-id <PROJECT_ID> \
[--name <WORKFLOW_NAME>] \
--user-agent AlibabaCloud-Agent-Skills/alibabacloud-dataworks-data-ops
获取工作流详情
aliyun dataworks-public get-workflow \
--region <REGION> \
--id <WORKFLOW_ID> \
--user-agent AlibabaCloud-Agent-Skills/alibabacloud-dataworks-data-ops
---
### 工作流实例(运维中心,只读)
查询工作流实例列表
aliyun dataworks-public list-workflow-instances \
--region <REGION> \
--project-id <PROJECT_ID> \
--biz-date <BIZDATE_TIMESTAMP> \
[--type Normal|Manual|SmokeTest|SupplementData|ManualWorkflow|TriggerWorkflow] \
--user-agent AlibabaCloud-Agent-Skills/alibabacloud-dataworks-data-ops
获取工作流实例详情
aliyun dataworks-public get-workflow-instance \
--region <REGION> \
--id <WORKFLOW_INSTANCE_ID> \
--user-agent AlibabaCloud-Agent-Skills/alibabacloud-dataworks-data-ops
---
### 告警规则(自定义监控,只读)
查询告警规则列表
aliyun dataworks-public list-alert-rules \
--region <REGION> \
--page-number <PAGE_NUMBER> \
--page-size <PAGE_SIZE> \
[--name <RULE_NAME>] \
[--owner <OWNER_UID>] \
[--receiver <RECEIVER_UID>] \
[--task-ids <ID1> <ID2> ...] \
[--types <TYPE1> <TYPE2> ...] \
--user-agent AlibabaCloud-Agent-Skills/alibabacloud-dataworks-data-ops
获取告警规则详情
aliyun dataworks-public get-alert-rule \
--region <REGION> \
--id <ALERT_RULE_ID> \
--user-agent AlibabaCloud-Agent-Skills/alibabacloud-dataworks-data-ops
---
### 命令示例
步骤 1:查询失败的任务实例
aliyun dataworks-public list-task-instances \
--region cn-hangzhou \
--project-id 240863 \
--bizdate 1775404800000 \
--status Failure \
--page-size 100 \
--user-agent AlibabaCloud-Agent-Skills/alibabacloud-dataworks-data-ops
步骤 2:查看实例日志
aliyun dataworks-public get-task-instance-log \
--region cn-hangzhou \
--id <INSTANCE_ID> \
--user-agent AlibabaCloud-Agent-Skills/alibabacloud-dataworks-data-ops
成功验证
- 查询验证:
ListTaskInstances返回TaskInstances列表,含实例 ID、状态、任务名等信息 - 日志验证:
GetTaskInstanceLog返回TaskInstanceLog字段,含日志内容
清理
本 Skill 不创建资源。无需清理。
最佳实践
- 业务日期计算:
Bizdate通常是调度日期前一天 00:00:00 的毫秒时间戳 - 分页查询:用
--page-number和--page-size分页,每页最大 500 - 操作前检查:建议先查看实例日志确认状态,避免重复失败
参考资料
| 文档 | 说明 |
|---|---|
| references/ram-policies.md | RAM 权限策略 |
| references/related-commands.md | CLI 命令快速参考 |
| references/verification-method.md | 成功验证方法 |
| related_apis.yaml | 完整 API 列表 |
阿里云skills
◯ 评论 0