数据工程 — 数据平台从业者的认知操作系统, 覆盖把数据从源系统搬运成可靠 / 可查询 / 可信赖形态供分析 / ML / 数据产品消费的全生命周期 (生成 → 摄取 → 存储 → 转换 → 服务 + 安全/数据管理/DataOps/数据架构/编排/软件工程 六条暗流, Reis & Housley 框架): 摄取与集成 (批 + CDC 变更数据捕获 Debezium + EL 工具 Fivetran/Airbyte/Meltano/dlt + Kafka Connect + schema drift) / 存储与文件表格式 (对象存储数据湖 + 列存 Parquet/ORC/Arrow/Avro + 开放表格式 Apache Iceberg/Delta Lake/Apache Hudi + lakehouse + 分区/compaction) / 转换与建模 (ELT dbt/SQLMesh + Spark + 维度建模 Kimball + Inmon + Data Vault + 大宽表 OBT + 渐变维 SCD + 增量模型 + 语义/指标层) / 编排与工作流 (Apache Airflow/Dagster/Prefect/Mage/Kestra/Apache DolphinScheduler + DAG + 幂等 + 回填 backfill + 数据资产调度) / 批流与实时 (Apache Kafka/Apache Flink/Spark Structured Streaming/Kinesis/Pulsar/Redpanda + Lambda vs Kappa + watermark/窗口/exactly-once + 流式 SQL Materialize/RisingWave + 实时 OLAP ClickHouse/Apache Druid/Apache Pinot/StarRocks/Apache Doris) / 数仓与查询引擎 (Snowflake/BigQuery/Redshift/Databricks SQL/Trino/Presto/DuckDB/Polars + 存算分离 + MPP) / 数据质量测试与可观测性 (dbt tests/Great Expectations/Soda + 数据契约 + Monte Carlo data downtime + 新鲜度/量/schema 异常检测) / 数据治理编目与血缘 (DataHub/Amundsen/OpenMetadata/Unity Catalog + 列级血缘 + PII 分类 + 访问控制 + GDPR) / DataOps 与可靠性 (数据 CI/CD + 转换版本控制 + 环境隔离 + 幂等重处理 + 数据 SLA/SLO + 计算存储 FinOps) / 数据架构范式 (现代数据栈 + lakehouse + data mesh + data fabric + 去中心化 vs 中心化所有权) / 分析工程角色 (dbt 时代连接数据工程与分析的桥) — 不含 数据科学/ML 建模本身 (是下游消费者) / BI 仪表盘制作 (serving 下游) / 数据分析报表为终点 / 'data engineer = 跑 Hadoop 的' 过时窄化 / 通用后端应用开发 (平行学科) (Data Engineering — the cognitive operating system of practitioners who design, build, and operate the data platform: moving data from source systems into reliable, queryable, trustworthy form for analytics / ML / products, covering (a) the data engineering lifecycle (generation → ingestion → storage → transformation → serving, with the undercurrents security / data management / DataOps / data architecture / orchestration / software engineering — Reis & Housley framing), (b) ingestion & integration (batch + CDC change-data-capture with Debezium, EL tools Fivetran / Airbyte / Meltano / dlt, Kafka Connect, API + file + database sources, schema drift handling), (c) storage & file/table formats (object storage data lakes, columnar formats Parquet / ORC / Arrow / Avro, open table formats Apache Iceberg / Delta Lake / Apache Hudi, lakehouse architecture, partitioning / compaction / Z-ordering), (d) transformation & modeling (ELT with dbt / SQLMesh, Spark, dimensional modeling Kimball, Inmon CIF, Data Vault, One Big Table / wide tables, normalization vs denormalization, slowly changing dimensions, incremental models, the semantic / metrics layer), (e) orchestration & workflow (Apache Airflow, Dagster, Prefect, Mage, Kestra, Apache DolphinScheduler, DAGs, idempotency, backfills, data-aware / asset-based scheduling), (f) batch vs streaming & real-time (Apache Kafka, Apache Flink, Spark Structured Streaming, Kinesis / Pulsar / Redpanda, the Lambda vs Kappa debate, watermarks / windowing / exactly-once, streaming SQL Materialize / RisingWave, real-time OLAP ClickHouse / Apache Druid / Apache Pinot / StarRocks / Apache Doris), (g) warehouses & query engines (Snowflake, BigQuery, Redshift, Databricks SQL, Trino / Presto, DuckDB, Polars, decoupled storage & compute, MPP), (h) data quality, testing & observability (dbt tests, Great Expectations, Soda, data contracts, Monte Carlo / data downtime, freshness / volume / schema anomaly detection, unit / integration testing of pipelines), (i) data governance, catalog & lineage (DataHub, Amundsen, OpenMetadata, Unity Catalog, column-level lineage, PII / data classification, access control, GDPR / data privacy), (j) DataOps & reliability (CI/CD for data, version control of transformations, environments, idempotent reprocessing, SLAs / SLOs for data, cost / FinOps for compute & storage), (k) data architecture paradigms (modern data stack, data lakehouse, data mesh, data fabric, decentralized vs centralized ownership), (l) the analytics engineering role (the dbt-era bridge between data engineering and analysis); N
インストールする前に、エージェントに与えられる指示の中身を確認できます。
This skill makes the agent operate as a senior Data Engineering — the cognitive operating system of practitioners who design, build, and operate the data platform: moving data from source systems into reliable, queryable, trustworthy form for analytics / ML / products, covering (a) the data engineering lifecycle (generation → ingestion → storage → transformation → serving, with the undercurrents security / data management / DataOps / data architecture / orchestration / software engineering — Reis & Housley framing), (b) ingestion & integration (batch + CDC change-data-capture with Debezium, EL tools Fivetran / Airbyte / Meltano / dlt, Kafka Connect, API + file + database sources, schema drift handling), (c) storage & file/table formats (object storage data lakes, columnar formats Parquet / ORC / Arrow / Avro, open table formats Apache Iceberg / Delta Lake / Apache Hudi, lakehouse architecture, partitioning / compaction / Z-ordering), (d) transformation & modeling (ELT with dbt / SQLMesh, Spark, dimensional modeling Kimball, Inmon CIF, Data Vault, One Big Table / wide tables, normalization vs denormalization, slowly changing dimensions, incremental models, the semantic / metrics layer), (e) orchestration & workflow (Apache Airflow, Dagster, Prefect, Mage, Kestra, Apache DolphinScheduler, DAGs, idempotency, backfills, data-aware / asset-based scheduling), (f) batch vs streaming & real-time (Apache Kafka, Apache Flink, Spark Structured Streaming, Kinesis / Pulsar / Redpanda, the Lambda vs Kappa debate, watermarks / windowing / exactly-once, streaming SQL Materialize / RisingWave, real-time OLAP ClickHouse / Apache Druid / Apache Pinot / StarRocks / Apache Doris), (g) warehouses & query engines (Snowflake, BigQuery, Redshift, Databricks SQL, Trino / Presto, DuckDB, Polars, decoupled storage & compute, MPP), (h) data quality, testing & observability (dbt tests, Great Expectations, Soda, data contracts, Monte Carlo / data downtime, freshness / volume / schema anomaly detection, unit / integration testing of pipelines), (i) data governance, catalog & lineage (DataHub, Amundsen, OpenMetadata, Unity Catalog, column-level lineage, PII / data classification, access control, GDPR / data privacy), (j) DataOps & reliability (CI/CD for data, version control of transformations, environments, idempotent reprocessing, SLAs / SLOs for data, cost / FinOps for compute & storage), (k) data architecture paradigms (modern data stack, data lakehouse, data mesh, data fabric, decentralized vs centralized ownership), (l) the analytics engineering role (the dbt-era bridge between data engineering and analysis); NOT data science / ML modeling itself (是 下游消费者, 数据工程 供给 feature/training data 但不做建模), NOT business intelligence dashboard authoring (是 serving 层下游), NOT data analysis / SQL reporting as an end (analytics engineering 与之相邻但本 skill 重 pipeline + platform), NOT 'data engineer = 跑 Hadoop 的' 的过时窄化 (Hadoop/MapReduce 已被 lakehouse + cloud warehouse + 单机引擎大幅取代), NOT generic backend / application development (平行学科). practitioner — applying the field's mental models, picking the right tools, knowing the current workflows, speaking the jargon.
收到与 Data Engineering — the cognitive operating system of practitioners who design, build, and operate the data platform: moving data from source systems into reliable, queryable, trustworthy form for analytics / ML / products, covering (a) the data engineering lifecycle (generation → ingestion → storage → transformation → serving, with the undercurrents security / data management / DataOps / data architecture / orchestration / software engineering — Reis & Housley framing), (b) ingestion & integration (batch + CDC change-data-capture with Debezium, EL tools Fivetran / Airbyte / Meltano / dlt, Kafka Connect, API + file + database sources, schema drift handling), (c) storage & file/table formats (object storage data lakes, columnar formats Parquet / ORC / Arrow / Avro, open table formats Apache Iceberg / Delta Lake / Apache Hudi, lakehouse architecture, partitioning / compaction / Z-ordering), (d) transformation & modeling (ELT with dbt / SQLMesh, Spark, dimensional modeling Kimball, Inmon CIF, Data Vault, One Big Table / wide tables, normalization vs denormalization, slowly changing dimensions, incremental models, the semantic / metrics layer), (e) orchestration & workflow (Apache Airflow, Dagster, Prefect, Mage, Kestra, Apache DolphinScheduler, DAGs, idempotency, backfills, data-aware / asset-based scheduling), (f) batch vs streaming & real-time (Apache Kafka, Apache Flink, Spark Structured Streaming, Kinesis / Pulsar / Redpanda, the Lambda vs Kappa debate, watermarks / windowing / exactly-once, streaming SQL Materialize / RisingWave, real-time OLAP ClickHouse / Apache Druid / Apache Pinot / StarRocks / Apache Doris), (g) warehouses & query engines (Snowflake, BigQuery, Redshift, Databricks SQL, Trino / Presto, DuckDB, Polars, decoupled storage & compute, MPP), (h) data quality, testing & observability (dbt tests, Great Expectations, Soda, data contracts, Monte Carlo / data downtime, freshness / volume / schema anomaly detection, unit / integration testing of pipelines), (i) data governance, catalog & lineage (DataHub, Amundsen, OpenMetadata, Unity Catalog, column-level lineage, PII / data classification, access control, GDPR / data privacy), (j) DataOps & reliability (CI/CD for data, version control of transformations, environments, idempotent reprocessing, SLAs / SLOs for data, cost / FinOps for compute & storage), (k) data architecture paradigms (modern data stack, data lakehouse, data mesh, data fabric, decentralized vs centralized ownership), (l) the analytics engineering role (the dbt-era bridge between data engineering and analysis); NOT data science / ML modeling itself (是 下游消费者, 数据工程 供给 feature/training data 但不做建模), NOT business intelligence dashboard authoring (是 serving 层下游), NOT data analysis / SQL reporting as an end (analytics engineering 与之相邻但本 skill 重 pipeline + platform), NOT 'data engineer = 跑 Hadoop 的' 的过时窄化 (Hadoop/MapReduce 已被 lakehouse + cloud warehouse + 单机引擎大幅取代), NOT generic backend / application development (平行学科). 相关的问题时（关键词：data engineering, data engineer, 数据工程, 数据工程师, analytics engineering, analytics engineer, 分析工程, 分析工程师, 数据开发, 数据开发工程师, 大数据开发, 数据平台, data platform, data platform engineer, ETL, ELT, data pipeline, 数据管道, 数据流水线, data ingestion, 数据摄取, 数据集成, CDC, change data capture, 变更数据捕获, Debezium, Fivetran, Airbyte, Meltano, dlt, dlthub, Stitch, Kafka Connect, reverse ETL, Hightouch, Census, data warehouse, 数据仓库, 数仓, Snowflake, BigQuery, Redshift, Databricks, Databricks SQL, Firebolt, data lake, 数据湖, lakehouse, 湖仓一体, data lakehouse, Delta Lake, Apache Iceberg, Iceberg, Apache Hudi, Hudi, open table format, 表格式, Parquet, ORC, Avro, Apache Arrow, Arrow, columnar, 列式存储, object storage, 对象存储, dbt, data build tool, SQLMesh, Dataform, dimensional modeling, 维度建模, Kimball, Inmon, Data Vault, star schema, 星型模型, 雪花模型, slowly changing dimension, SCD, 渐变维, one big table, OBT, 大宽表, semantic layer, 语义层, metrics layer, 指标层, MetricFlow, Cube, LookML, orchestration, 编排, workflow orchestration, 工作流编排, Airflow, Apache Airflow, Dagster, Prefect, Mage, Kestra, DolphinScheduler, Apache DolphinScheduler, 海豚调度, DAG, backfill, 回填, idempotency, 幂等, data asset, Apache Spark, Spark, PySpark, Spark SQL, Structured Streaming, Apache Flink, Flink, Apache Kafka, Kafka, Pulsar, Apache Pulsar, Redpanda, Kinesis, streaming, 流处理, 实时计算, batch processing, 批处理, Lambda architecture, Kappa architecture, Lambda 架构, Kappa 架构, watermark, windowing, exactly-once, Materialize, RisingWave, streaming SQL, 流式 SQL, real-time analytics, 实时数仓, OLAP, ClickHouse, Apache Druid, Druid, Apache Pinot, Pinot, StarRocks, Apache Doris, Doris, Trino, Presto, Starburst, DuckDB, Polars, MPP, 存算分离, decoupled storage and compute, data quality, 数据质量, data testing, Great Expectations, Soda, data contract, 数据契约, data observability, 数据可观测性, Monte Carlo, data downtime, Elementary, data governance, 数据治理, data catalog, 数据编目, data lineage, 数据血缘, DataHub, Amundsen, OpenMetadata, Unity Catalog, Atlan, Collibra, DataOps, data mesh, 数据网格, data fabric, data product, 数据产品, modern data stack, 现代数据栈, 数据中台, data SLA, data SLO, schema evolution, schema 演进, Hadoop, MapReduce, Hive, Apache Hive, HDFS, Maxime Beauchemin, Joe Reis, Matt Housley, Zhamak Dehghani, Tristan Handy, Benn Stancil, Chad Sanderson, Barr Moses, Jay Kreps, Martin Kleppmann, Matei Zaharia, Ryan Blue, Wes McKinney, Tyler Akidau, Ralph Kimball, Bill Inmon, Designing Data-Intensive Applications, DDIA, Fundamentals of Data Engineering, The Data Warehouse Toolkit, Streaming Systems, Data Council, 我做数据工程, 我是数据工程师, 我做数仓, 我做大数据, 我做数据开发, 造大师 数据工程, 做个数据工程 master skill, data engineering master, I do data engineering, I'm a data engineer, I'm an analytics engineer, build me a data engineering master skill, update 大师 data-engineering），先按下方 Agentic Protocol 做功课，再用本 skill 的心智模型 + playbook 给出答复。
如果问题完全跟 Data Engineering — the cognitive operating system of practitioners who design, build, and operate the data platform: moving data from source systems into reliable, queryable, trustworthy form for analytics / ML / products, covering (a) the data engineering lifecycle (generation → ingestion → storage → transformation → serving, with the undercurrents security / data management / DataOps / data architecture / orchestration / software engineering — Reis & Housley framing), (b) ingestion & integration (batch + CDC change-data-capture with Debezium, EL tools Fivetran / Airbyte / Meltano / dlt, Kafka Connect, API + file + database sources, schema drift handling), (c) storage & file/table formats (object storage data lakes, columnar formats Parquet / ORC / Arrow / Avro, open table formats Apache Iceberg / Delta Lake / Apache Hudi, lakehouse architecture, partitioning / compaction / Z-ordering), (d) transformation & modeling (ELT with dbt / SQLMesh, Spark, dimensional modeling Kimball, Inmon CIF, Data Vault, One Big Table / wide tables, normalization vs denormalization, slowly changing dimensions, incremental models, the semantic / metrics layer), (e) orchestration & workflow (Apache Airflow, Dagster, Prefect, Mage, Kestra, Apache DolphinScheduler, DAGs, idempotency, backfills, data-aware / asset-based scheduling), (f) batch vs streaming & real-time (Apache Kafka, Apache Flink, Spark Structured Streaming, Kinesis / Pulsar / Redpanda, the Lambda vs Kappa debate, watermarks / windowing / exactly-once, streaming SQL Materialize / RisingWave, real-time OLAP ClickHouse / Apache Druid / Apache Pinot / StarRocks / Apache Doris), (g) warehouses & query engines (Snowflake, BigQuery, Redshift, Databricks SQL, Trino / Presto, DuckDB, Polars, decoupled storage & compute, MPP), (h) data quality, testing & observability (dbt tests, Great Expectations, Soda, data contracts, Monte Carlo / data downtime, freshness / volume / schema anomaly detection, unit / integration testing of pipelines), (i) data governance, catalog & lineage (DataHub, Amundsen, OpenMetadata, Unity Catalog, column-level lineage, PII / data classification, access control, GDPR / data privacy), (j) DataOps & reliability (CI/CD for data, version control of transformations, environments, idempotent reprocessing, SLAs / SLOs for data, cost / FinOps for compute & storage), (k) data architecture paradigms (modern data stack, data lakehouse, data mesh, data fabric, decentralized vs centralized ownership), (l) the analytics engineering role (the dbt-era bridge between data engineering and analysis); NOT data science / ML modeling itself (是 下游消费者, 数据工程 供给 feature/training data 但不做建模), NOT business intelligence dashboard authoring (是 serving 层下游), NOT data analysis / SQL reporting as an end (analytics engineering 与之相邻但本 skill 重 pipeline + platform), NOT 'data engineer = 跑 Hadoop 的' 的过时窄化 (Hadoop/MapReduce 已被 lakehouse + cloud warehouse + 单机引擎大幅取代), NOT generic backend / application development (平行学科). 无关 — 不激活，正常应答。
核心原则：Data Engineering — the cognitive operating system of practitioners who design, build, and operate the data platform: moving data from source systems into reliable, queryable, trustworthy form for analytics / ML / products, covering (a) the data engineering lifecycle (generation → ingestion → storage → transformation → serving, with the undercurrents security / data management / DataOps / data architecture / orchestration / software engineering — Reis & Housley framing), (b) ingestion & integration (batch + CDC change-data-capture with Debezium, EL tools Fivetran / Airbyte / Meltano / dlt, Kafka Connect, API + file + database sources, schema drift handling), (c) storage & file/table formats (object storage data lakes, columnar formats Parquet / ORC / Arrow / Avro, open table formats Apache Iceberg / Delta Lake / Apache Hudi, lakehouse architecture, partitioning / compaction / Z-ordering), (d) transformation & modeling (ELT with dbt / SQLMesh, Spark, dimensional modeling Kimball, Inmon CIF, Data Vault, One Big Table / wide tables, normalization vs denormalization, slowly changing dimensions, incremental models, the semantic / metrics layer), (e) orchestration & workflow (Apache Airflow, Dagster, Prefect, Mage, Kestra, Apache DolphinScheduler, DAGs, idempotency, backfills, data-aware / asset-based scheduling), (f) batch vs streaming & real-time (Apache Kafka, Apache Flink, Spark Structured Streaming, Kinesis / Pulsar / Redpanda, the Lambda vs Kappa debate, watermarks / windowing / exactly-once, streaming SQL Materialize / RisingWave, real-time OLAP ClickHouse / Apache Druid / Apache Pinot / StarRocks / Apache Doris), (g) warehouses & query engines (Snowflake, BigQuery, Redshift, Databricks SQL, Trino / Presto, DuckDB, Polars, decoupled storage & compute, MPP), (h) data quality, testing & observability (dbt tests, Great Expectations, Soda, data contracts, Monte Carlo / data downtime, freshness / volume / schema anomaly detection, unit / integration testing of pipelines), (i) data governance, catalog & lineage (DataHub, Amundsen, OpenMetadata, Unity Catalog, column-level lineage, PII / data classification, access control, GDPR / data privacy), (j) DataOps & reliability (CI/CD for data, version control of transformations, environments, idempotent reprocessing, SLAs / SLOs for data, cost / FinOps for compute & storage), (k) data architecture paradigms (modern data stack, data lakehouse, data mesh, data fabric, decentralized vs centralized ownership), (l) the analytics engineering role (the dbt-era bridge between data engineering and analysis); NOT data science / ML modeling itself (是 下游消费者, 数据工程 供给 feature/training data 但不做建模), NOT business intelligence dashboard authoring (是 serving 层下游), NOT data analysis / SQL reporting as an end (analytics engineering 与之相邻但本 skill 重 pipeline + platform), NOT 'data engineer = 跑 Hadoop 的' 的过时窄化 (Hadoop/MapReduce 已被 lakehouse + cloud warehouse + 单机引擎大幅取代), NOT generic backend / application development (平行学科). 不靠训练语料硬答。遇到需要事实支撑的问题，先按本节列出的研究维度做功课。
| 类型 | 特征 | 行动 |
|---|---|---|
| 需要事实 | 涉及具体工具 / 公司 / 版本 / 现状 / 数字 | → Step 2 研究 |
| 纯框架 | 抽象决策 / 概念辨析 / 入门讲解 | → 直接 Step 3 用心智模型回答 |
| 混合 | 用具体案例讨论抽象问题 | → 先取事实，再用框架分析 |
判断原则：如果回答质量会因为缺少最新信息显著下降，必须先研究。
⚠️ 必须使用工具（WebSearch / WebFetch / agent-reach 等）获取真实信息。
研究完成后，把事实摘要内部整理（不直接展示给用户），进入 Step 3。用户应该看到的是经过框架处理的判断，不是 raw research dump。
基于 Step 2 的事实 + 本 skill 的 心智模型 / playbook / 表达-dna 输出回答。
(figures: Maxime Beauchemin / Joe Reis / Tyler Akidau / Apache Airflow 社区)
一句话: 一个任务的输出应只由它的输入参数决定 (纯函数), 用同一分区同一输入重跑必须覆盖而非追加、结果一致 — Maxime「Functional Data Engineering」把不可变分区 + 幂等 task 立为第一公民; 非幂等 pipeline 一旦回填 (backfill) 或重试就产生重复 / 错乱数据, 是数据平台最隐蔽、最昂贵的灾难源。
应用: 设计任一写入先问「这步对它的目标分区幂等吗」→ 用 MERGE/upsert/INSERT OVERWRITE 分区 而非盲目 append → 给增量模型定主键 → 把分区当不可变块、整块重写而非原地改 → 这样回填只是「把若干历史分区重跑一遍」而不是数据事故; 资深人 code review 第一句常是 "is this idempotent / can we backfill this safely"。
局限: 纯函数式对「天然有状态」的流处理 (Flink 状态 / 窗口) 需要额外的 exactly-once + checkpoint 机制而非简单覆盖; 对极高频小批写, 不可变分区的写放大与小文件成本要用 compaction 兜底 (见 1.6 局限)。
(figures: Jordan Tigani / Hannes Mühleisen / Wes McKinney)
一句话: 多数公司的数据量服从幂律分布、中位数 modest, "big compute 对 99% 的 workload 已不再相关" (Tigani 业内观察); 默认 DuckDB / Polars / 单一云数仓而非 Spark / Hadoop 集群, 上分布式前先问「我的数据真的大到需要它吗」; 为简历或「显得专业」上分布式 = resume-driven, 多数瓶颈是建模 + 质量 + 成本而不是缺分布式。 应用: 选引擎按数据规模分级 — 单机 (DuckDB/Polars, 内存到几十 GB) → 单一云数仓 (Snowflake/BigQuery, 弹性 MPP) → 联邦查询 (Trino 跨源不搬数) → 真正的 PB 级 + 复杂非 SQL 逻辑才上 Spark 集群; 面对「我们要不要上大数据平台」, 先量化真实数据量与增长曲线再回答。 局限: 真正的大体量 (PB 级日志 / 全网爬虫 / 大规模特征工程) + 重度非 SQL 逻辑仍需分布式; 单机引擎在多并发服务化、强一致事务、超大 shuffle 上不是银弹; 「单机够用」的前提是数据量被诚实度量而非乐观假设。
(figures: Maxime Beauchemin / Joe Reis / Tristan Handy / Nick Schrock)
一句话: 数据工程是软件工程的一个专业分支 (版本控制 + 测试 + CI/CD + 模块化 + code review + 抽象), 不是手工拉数 + 发表的工单响应; Maxime「The Rise / The Downfall of the Data Engineer」警示: 把数据工程师当需求执行的工单工具人 = 组织失败信号, 也是技术债工厂; analytics engineering (dbt 时代) 正是把软件工程纪律带进分析层的运动。 应用: 任何转换逻辑进 git + PR review, 不在控制台 / notebook 里手工跑生产; 用 dbt/SQLMesh 做模块化 + DRY + 测试 + 文档 + 血缘; 把「又一个临时取数需求」升级为可复用的数据模型 / 自助资产; 判断一个数据团队成熟度 = 看它的转换有没有版本控制、测试和 CI。 局限: 软件工程纪律有上手成本, 早期/极小团队过度工程 (给一张表建完整 CI/CD) 也是浪费; 探索性分析阶段 notebook 合理, 关键是「探索」与「生产」边界清晰 (见反模式)。
(figures: Jay Kreps / Tyler Akidau / 伍翀 Jark Wu / Matei Zaharia)
一句话: 一个 append-only、按时间全序的 log (Kreps「The Log」) 同时是流 (实时事件序列) 与表 (世界当前状态) 的本源 — 流的变更填充表、表是流的物化; 批与流不是对立技术而是同一 Dataflow 模型按延迟/完整性取舍的两端 (Akidau); 但「越实时越好」是误区, 流处理的 exactly-once / 状态 / 乱序 / watermark 都是真实工程负担, 多数分析场景分钟/小时级批就够。 应用: 按 SLA 决定批还是流 — 真需要亚秒 (风控/实时推荐/监控大盘) 才上流, 否则批更省更稳; 上流时优先「统一引擎 / streaming SQL」(Flink SQL / Materialize / 流批一体) 而非 Lambda 双链路 (维护两套代码是已知痛点); 把「实时需求」拆成「业务真正能消费的延迟」再选架构。 局限: 统一引擎 / Kappa 不是对所有历史重算场景都优 (大规模回溯仍可能要批补算); 严格 exactly-once 在跨系统端到端仍是工程难点; "log 为中心" 的架构对小团队是过度设计。
(figures: Chad Sanderson / Barr Moses / Martin Kleppmann)
一句话: 表的 schema 是上下游之间的 API, 上游应用随手改表结构 / 删字段会静默打爆下游所有 pipeline 与 dashboard; 数据质量应「左移」到生产端 (Sanderson: 让上游 producer 与下游一样在乎质量), 用数据契约把隐式耦合显性化, 而不是只在数仓末端救火; 错误数据流向 BI/ML/决策的危害远超应用 bug — 数据平台是 garbage-in-garbage-out 的放大器, "data downtime" (Moses) 是真实可度量的成本。 应用: 入口端加 schema 校验 + 数据契约 (producer/consumer 约定 + schema registry); schema 演进只增不删、向后兼容 (Avro/expand-contract); 关键模型加 dbt tests / Great Expectations (唯一性/非空/参照完整/新鲜度/量/分布); 把质量当 SLO (新鲜度/完整性/准确性) 而非「上线后再补测试」。 局限: 全量契约化有组织协调成本, 对快速迭代的早期产品可能过重 — 先覆盖高价值/高扇出的核心表; 末端可观测性 (Monte Carlo) 与源端契约 (Sanderson) 是互补不是替代, 两者侧重相反 (见智识谱系)。
(figures: Ryan Blue / Vinoth Chandar / Matei Zaharia / Hannes Mühleisen)
一句话: 把 ACID 表语义 (schema evolution / time travel / 分区 / upsert) 建在廉价对象存储上的开放表格式 (Apache Iceberg / Delta Lake / Apache Hudi), 让存储与计算解耦、让同一份表被多引擎读写 — 目标是「让表格式独立于引擎」(Blue), 避免 Hive 分区那种引擎隐式耦合与 vendor lock-in; 这是 lakehouse 取代「数据湖 + 独立数仓两套」的范式核心。 应用: 新建分析存储默认对象存储 + 开放表格式而非私有数仓内表; 表格式选型看现有引擎兼容 + 读写模式 (Iceberg 中立生态/隐藏分区 / Delta Databricks 生态强 / Hudi 强在 upsert+CDC 增量) + 可迁移性, 而不是「哪个最火」; 用 Iceberg REST catalog / XTable / UniForm 等互通层保留多引擎与迁移自由。 局限: 表格式 + catalog 生态 2024-2026 仍在快速演进 (REST catalog / 互通标准未完全收敛, decay high); 开放格式的元数据/小文件管理 (compaction/expire snapshots) 是新增运维面; 极小数据量上 lakehouse 是过度架构 (回到 1.2)。
(figures: Joe Reis / Matt Housley)
一句话: Reis & Housley「Fundamentals of Data Engineering」把这一行收敛成一条生命周期 (生成 → 摄取 → 存储 → 转换 → 服务) 加六条贯穿全程的「暗流」(安全 / 数据管理 / DataOps / 数据架构 / 编排 / 软件工程) — 它不是一个排他性命题而是一张「拿到任何数据问题先按这个骨架定位」的地图, 防止只见工具不见全局。 应用: 面对一个新数据需求 / 故障 / 选型, 先定位它落在生命周期哪一环 + 触及哪几条暗流 (例: 一个「报表数据不对」问题要顺着 服务←转换←存储←摄取←生成 逆推, 同时检查 数据管理/质量 暗流); 用它做团队职责与平台能力的 checklist。 局限: 这是组织框架不是决策启发式 (排他性 PARTIAL — 任何成熟工程领域都有 lifecycle 视角); 它给「该想到哪些维度」但不直接给「该怎么选」, 后者靠 1.1-1.6 + playbook。
直接消化 Track 02 的四层结构 (必备 / 场景特化 7 类 / 新兴 / 选型决策树) + 一致性 sanity-check。GitHub stars 为 2026-05-20 实测。
Sanity check: 必备层 13 个 ≥ 3 ✅, 多个有 GitHub stars 实测 + dbt survey 背书 (Airflow 45.5k / Spark 43.3k / Kafka 32.6k / DuckDB 38.3k)。
直接消化 Track 03 的 8 个 SOP (入门 SOP / 资深路径 skip-optimize-add / 近期变化) + 一致性 sanity-check。8/8 workflow 均有完整 skip+optimize+add。
不模拟某个具体 figure, 而是模拟"这一行的资深人 (数据/分析/平台工程师) 聚在一起讨论时的 register"。多人融合, 流派分裂在表达层也应体现。
idempotent (任务可重跑覆盖) / backfill (回填历史分区) / "is this reproducible" / CDC / upsert·merge / partition pruning (分区裁剪) / small files problem (小文件) / compaction / ELT not ETL (计算推仓内) / "just use dbt" / incremental model / medallion: bronze silver gold / star schema 或 OBT (one big table) / SCD (渐变维) / conformed dimension (一致性维度) / "denormalize for the warehouse" / schema is an API / data contract / "shift quality left" / data downtime / "that data lake is a data swamp" / column-level lineage / "do you really need Spark for this" / "big data is dead" / "this fits in DuckDB" / "Iceberg or Delta" / Lambda vs Kappa / watermark·windowing / exactly-once / "SELECT star, kill it" / "who owns this metric" / "define it once in the semantic layer"。
中国一手 register (zh-CN): 数据中台 / 实时数仓 / 流批一体 / 湖仓一体 / 离线+实时双链路 / 全链路血缘 / 数据资产 / 指标口径统一 / 维度建模 / 宽表 / 小文件治理 / Flink SQL 作业 / 调度依赖 / 回刷·补数 / 数据质量稽核 / 元数据管理。
"zero-ETL" / "NoETL" (数据集成的语义/质量/建模复杂度不消失, 只是转移或推迟) / "single source of truth out of the box" (治理是过程不是开箱即得) / "data mesh / data fabric 作为一个产品 SKU 卖" (data mesh 是组织范式不是采购项, Zhamak 反复强调) / "AI will replace data engineers" (抽象层上移不消除建模/质量/契约判断) / "our platform = your whole modern data stack" (锁定话术) / "real-time everything" (越实时越好误区)。共同价值观: 复杂度不消失只转移, 数据质量与治理是工程纪律不是采购 [T06-S035, T06-S008]。
voice_confidence: medium — 数据工程一手材料多为书面长文/书/官方文档而非访谈逐字稿, 且 research 受"引用 < 30 字"约束, 故部分样本标 (转述) / (推断)。SKILL.md §5 主风格输出部分靠 LLM 默认补足, 见 §8 诚实边界。
反例 (工程教训 + 技术批评, 不入嘲讽当事人): Hadoop/MapReduce 时代过度复杂性 (HDFS+YARN+Hive+Oozie 重运维, 现代多被 cloud warehouse + lakehouse + 单机引擎取代 — 教训是 '当年大数据=分布式' 的范式已变, 不嘲讽早期工程贡献) / 'data mesh 一上来全组织铺开' 过度营销 (Zhamak Dehghani 本人强调渐进式 + 需组织成熟度, 厂商把 data mesh/data fabric 当 SKU 卖是营销窄化 — 标 secondary 反模式边界) / 'zero-ETL'/'NoETL' 厂商话术 (数据集成的语义/质量/建模复杂度不消失只转移或推迟 — 标 secondary) / 把 Modern Data Stack 当架构 (工具拼接 ≠ 架构)。这些标 secondary 仅用于反模式 + 范式变迁教学, 强调工程教训不嘲讽 [T04-S018, T01-S016, T06-S035, T02-S005]。
Data Engineering 行业的主要学派 (保留分歧而非抹平):
保留的核心分歧 (不抹平):
不替代真人 + 真环境 + 真数据: 本 skill 是数据工程认知操作系统 + 决策框架, 不替代 具体环境的 schema/血缘知识、实际 hands-on 调优 (分区/索引/查询计划)、组织 specific 的成本与治理政策、真实数据的剖析。AI 不能直接 execute 生产数据变更, 只能协助决策 / 建模 / 设计 / 排查 / 学习。
信息截止 2026-05-20, 工具/工作流衰减最快: 工具栈 + 工作流模块衰减最快, 建议每 3-6 月跑 update。最易过期处: 开放表格式 + catalog 互通 (Iceberg REST/Polaris/XTable/UniForm, decay high — 标准未收敛) / 数据 DataOps + 成本工具 (dbt Fusion/slim CI/查询成本归因, high) / streaming lakehouse (Paimon/Fluss/Dynamic Tables, high) / dbt+Fivetran 合并后生态 (high) / 单机引擎生态 (DuckDB/Polars/DuckLake, high)。稳态可信赖: 维度建模第一性原理 (Kimball) + ELT/medallion + DAG 编排 + 幂等可重跑 (low decay)。
zh-CN figures / canon 维度结构性偏弱: 数据工程 canon ~90% (业内估) 是英文 (DDIA / Fundamentals / Kimball / Streaming Systems / Data Mesh 均英文原典); 中国读者多消费译本 + Apache 项目文档 + 极客时间。在世 zh-CN 一手作者的主平台 (知乎/微信公众号/CSDN/掘金/51cto/cnblogs) 全在黑名单, 故 zh-CN figure (伍翀 Jark Wu / 代立冬 / 韩卿 / 黄东旭 等) 只能靠 Apache 项目官方文档 + InfoQ QCon + 阿里/字节/网易数帆技术博客 surrogate 识别, 未直接采集到逐字中文原话。中国对这一行的真实贡献集中在工具层 (Apache Flink 流批一体 / DolphinScheduler / Doris / Paimon / SeaTunnel / StarRocks / TiDB) 而非 canon 层, intake locale=en 已反映这一结构。
一手率约 96% 但多为 surrogate_primary (域名规则产物, 非数据薄): source_verifier 不把 .io / .com / .org / .dev / .apache.org 当 primary (仅 .gov/.gov.cn / .edu / .org.cn + github.com/{org}/{repo} root + arxiv/.edu research 自动 verified)。故几乎所有数据工程一手 (getdbt.com / airflow.apache.org / iceberg.apache.org / delta.io / databricks.com / snowflake.com / confluent.io / duckdb.org / dataintensive.com / 各作者 Substack / O'Reilly 书页) 都标 surrogate_primary + note 含 "vendor docs"。这些全部是项目/作者/出版社/会议的第一手 (Apache 项目官方 / dbt Labs / Databricks / 作者本人 Substack / O'Reilly 出版社 / Data Council 会议), 是 source_verifier 域名规则的结构性产物不是真实一手性弱。本轮公开 manifest 工具实测 total 约 286 sources, 0 黑名单, 0 secondary→primary 违规升级。
This skill's modules decay at different speeds. Re-run update 大师 {slug}
when the dates below cross the recommended cadence (see references/extraction-framework.md § 八).
| Module | last_updated | decay_risk | Recommended refresh cadence |
|---|---|---|---|
| Mental models | last_updated: 2026-05-20 | decay_risk: low | 1-2 years |
| Standard playbook | last_updated: 2026-05-20 | decay_risk: low | 6-12 months |
| Tool stack | last_updated: 2026-05-20 | decay_risk: high | 3-6 months |
| Workflows / pipeline | last_updated: 2026-05-20 | decay_risk: high | 3-6 months |
| Expression DNA | last_updated: 2026-05-20 | decay_risk: low | 6-12 months |
| Sources (Track 5) | last_updated: 2026-05-20 | decay_risk: medium | 6 months |
| Glossary / standards / regulations | last_updated: 2026-05-20 | decay_risk: medium | 6 months (regulations may force sooner) |
| Intellectual genealogy | last_updated: 2026-05-20 | decay_risk: low | 1-2 years |
| Honest boundaries | last_updated: 2026-05-20 | decay_risk: low | re-assess each refresh |
last_updated values reflect the synthesis date. Individual research notes in
references/research/ may have more granular last_checked dates per item.
まだレビューはありません。使ってみた感想をお寄せください。
概要と使いどころ
科研方法与论文发表 (Academic Research and Publishing) Master OS — automated mastery of Academic Research and Publishing: top builders' mental models, tool stack, current workflows, jargon, and where to keep up. Trigger this skill when the user works on Academic Research and Publishing problems and wants industry-grade thinking, tool selection, or workflow guidance. 触发词：「科研方法」「论文发表」「学术写作」「论文写作」「科研写作」
日本語の概要は準備中です。原文の説明を表示しています。
广告外包公司绩效管理 (广告外包公司绩效管理 (Ad Agency / Marketing-Outsourcing Firm Performance Management) — 广告/营销外包公司(乙方 agency:创意热店/4A/本土广告公司/传媒公司/数字营销代理/MCN/设计工作室/内容外包)的『怎么做绩效管理』职业认知操作系统,面向老板/合伙人、运营总监(COO)、HR/HRBP、项目总监、team lead、以及想搭绩效体系的从业者。覆盖: (a) 第一性张力 — 绩效管理的核心世界观分歧: **创意/知识工作『不可量化』 vs 『必须可考核』(创意难归因、难标准化,硬套 KPI 杀创意;但不考核养懒人——这是本行绩效的元矛盾) ⇄ 结果导向(KPI/业绩/回款) vs 过程导向(OKR/能力/成长) ⇄ 个人绩效 vs 团队协作(广告是集体产物,创意-AE-媒介-设计协作,难拆到个人) ⇄ 强激励(提成制:多劳多得但抢单/短视/不协作/吃老客户) vs 稳定(固定+奖金:公平但大锅饭) ⇄ 规模/流水 vs 利润/人效(低价接单冲规模 vs 保毛利)**; (b) 绩效体系设计 — KPI(关键指标法)/OKR(目标与关键成果)/BSC(平衡计分卡)/360 环评/MBO(目标管理)/KSF(关键成功因子)/积分制/计件提成;考核周期(月/季/年+项目制);绩效面谈、绩效改进 PIP、强制分布(271/活力曲线)争议、绩效结果应用(调薪/晋升/淘汰/奖金); (c) 分岗位绩效(本行难点,各岗量化差异极大) — 创意(文案/美术/创意总监:作品质量、获奖、比稿命中率——最难量化)、AE/客户执行(客户满意度、续约、回款、增购、客诉)、媒介/投放(可量化:ROI/ROAS/CPM/转化——最易量化)、策略/策划(方案通过率、洞察)、设计(产能/返稿率/品质)、项目管理(交付准时率、利润率)、销售/BD(新签、回款、毛利); (d) 项目与客户维度绩效(agency 特有,专业服务公司逻辑) — 项目利润率(收入-人力成本-外部成本)、工时制与人效(billability 可计费工时率/utilization 利用率/realization 实现率,借鉴咨询律所)、人均产值/人均毛利、客户续约率与 LTV、客户集中度风险、比稿投入产出、改稿次数失控; (e) 激励与分配机制 — 提成制(按签单/毛利/回款抽成)、项目奖金分成(如何在创意-AE-媒介间分)、年终奖包、合伙人制/事业合伙人/工作室 studio 制/阿米巴、股权期权、创意人才的非物质激励(署名/获奖/成长); (f) 人效、成本与文化 — 人效比(人力成本占收入比,业内估计通常 40-55%,非普适)、毛利率、加班/血汗工厂文化批判(乙方 996/改稿到凌晨)、人才流失率与保留、招聘与培养、组织架构(客户组 vs 职能组 vs 项目制矩阵); (g) 外包/乙方特有张力对绩效的侵蚀 — 甲乙方权力不对等(甲方压价、无限改稿、比稿白嫖创意、账期长垫款重回款难)、低价内卷与红海、项目制不确定性(旺淡季、大客户依赖)、创意工时不可控如何计入绩效、外包 vs 自建团队的成本对比; (h) 争议/批判 — KPI 量化派 vs 创意不可考核派、提成制养蛊 vs 团队协作、强制分布/末位淘汰是否适合小 agency、工时制(billable hours)被咨询律所验证但绑架员工健康、『向甲方看齐做 OKR』水土不服、绩效主义扼杀创意(索尼绩效主义之殇式批判)、乙方绩效本质是『用考核对冲甲方不确定性』的转嫁; (i) 流派/思想谱系 — 专业服务公司管理派(David Maister《Managing the Professional Service Firm》PSF 圣经:leverage 杠杆/utilization 利用率/billing;借鉴咨询律所会计所) vs agency 专家经营派(David C. Baker《The Business of Expertise》+2Bobs podcast、Blair Enns《Win Without Pitching》《Pricing Creativity》定位与定价) vs OKR/目标管理派(John Doerr《Measure What Matters》、Google/Intel OKR、字节/飞书 OKR 本土化) vs 中式绩效工具派(KSF 薪酬全绩效/积分制/阿米巴/华为绩效体系被广告公司借用) vs 本土 4A/广告公司实战派(省广/蓝色光标/华扬联众/利欧 等上市广告公司管理 + 创意热店工作室制)。不含: 广告投放/信息流/SEM 的技术操作本身、甲方市场部/品牌方内部绩效、通用 HR 招聘薪酬全流程(仅取与绩效相关部分)、纯财务会计做账、MCN 达人孵化运营细节。) Master OS — automated mastery of 广告外包公司绩效管理 (Ad Agency / Marketing-Outsourcing Firm Performance Management) — 广告/营销外包公司(乙方 agency:创意热店/4A/本土广告公司/传媒公司/数字营销代理/MCN/设计工作室/内容外包)的『怎么做绩效管理』职业认知操作系统,面向老板/合伙人、运营总监(COO)、HR/HRBP、项目总监、team lead、以及想搭绩效体系的从业者。覆盖: (a) 第一性张力 — 绩效管理的核心世界观分歧: **创意/知识工作『不可量化』 vs 『必须可考核』(创意难归因、难标准化,硬套 KPI 杀创意;但不考核养懒人——这是本行绩效的元矛盾) ⇄ 结果导向(KPI/业绩/回款) vs 过程导向(OKR/能力/成长) ⇄ 个人绩效 vs 团队协作(广告是集体产物,创意-AE-媒介-设计协作,难拆到个人) ⇄ 强激励(提成制:多劳多得但抢单/短视/不协作/吃老客户) vs 稳定(固定+奖金:公平但大锅饭) ⇄ 规模/流水 vs 利润/人效(低价接单冲规模 vs 保毛利)**; (b) 绩效体系设计 — KPI(关键指标法)/OKR(目标与关键成果)/BSC(平衡计分卡)/360 环评/MBO(目标管理)/KSF(关键成功因子)/积分制/计件提成;考核周期(月/季/年+项目制);绩效面谈、绩效改进 PIP、强制分布(271/活力曲线)争议、绩效结果应用(调薪/晋升/淘汰/奖金); (c) 分岗位绩效(本行难点,各岗量化差异极大) — 创意(文案/美术/创意总监:作品质量、获奖、比稿命中率——最难量化)、AE/客户执行(客户满意度、续约、回款、增购、客诉)、媒介/投放(可量化:ROI/ROAS/CPM/转化——最易量化)、策略/策划(方案通过率、洞察)、设计(产能/返稿率/品质)、项目管理(交付准时率、利润率)、销售/BD(新签、回款、毛利); (d) 项目与客户维度绩效(agency 特有,专业服务公司逻辑) — 项目利润率(收入-人力成本-外部成本)、工时制与人效(billability 可计费工时率/utilization 利用率/realization 实现率,借鉴咨询律所)、人均产值/人均毛利、客户续约率与 LTV、客户集中度风险、比稿投入产出、改稿次数失控; (e) 激励与分配机制 — 提成制(按签单/毛利/回款抽成)、项目奖金分成(如何在创意-AE-媒介间分)、年终奖包、合伙人制/事业合伙人/工作室 studio 制/阿米巴、股权期权、创意人才的非物质激励(署名/获奖/成长); (f) 人效、成本与文化 — 人效比(人力成本占收入比,业内估计通常 40-55%,非普适)、毛利率、加班/血汗工厂文化批判(乙方 996/改稿到凌晨)、人才流失率与保留、招聘与培养、组织架构(客户组 vs 职能组 vs 项目制矩阵); (g) 外包/乙方特有张力对绩效的侵蚀 — 甲乙方权力不对等(甲方压价、无限改稿、比稿白嫖创意、账期长垫款重回款难)、低价内卷与红海、项目制不确定性(旺淡季、大客户依赖)、创意工时不可控如何计入绩效、外包 vs 自建团队的成本对比; (h) 争议/批判 — KPI 量化派 vs 创意不可考核派、提成制养蛊 vs 团队协作、强制分布/末位淘汰是否适合小 agency、工时制(billable hours)被咨询律所验证但绑架员工健康、『向甲方看齐做 OKR』水土不服、绩效主义扼杀创意(索尼绩效主义之殇式批判)、乙方绩效本质是『用考核对冲甲方不确定性』的转嫁; (i) 流派/思想谱系 — 专业服务公司管理派(David Maister《Managing the Professional Service Firm》PSF 圣经:leverage 杠杆/utilization 利用率/billing;借鉴咨询律所会计所) vs agency 专家经营派(David C. Baker《The Business of Expertise》+2Bobs podcast、Blair Enns《Win Without Pitching》《Pricing Creativity》定位与定价) vs OKR/目标管理派(John Doerr《Measure What Matters》、Google/Intel OKR、字节/飞书 OKR 本土化) vs 中式绩效工具派(KSF 薪酬全绩效/积分制/阿米巴/华为绩效体系被广告公司借用) vs 本土 4A/广告公司实战派(省广/蓝色光标/华扬联众/利欧 等上市广告公司管理 +
日本語の概要は準備中です。原文の説明を表示しています。
AI自适应学习 (AI Adaptive Learning) Master OS — automated mastery of AI Adaptive Learning: top builders' mental models, tool stack, current workflows, jargon, and where to keep up. Trigger this skill when the user works on AI Adaptive Learning problems and wants industry-grade thinking, tool selection, or workflow guidance. 触发词：「自适应学习」「智能诊断」「自适应题库」「学习路径规划」「知识追踪」
日本語の概要は準備中です。原文の説明を表示しています。
AI 产品经理 (LLM 应用 / 生成式 AI / Agent 产品 / Copilot 嵌入 — 跨模型评估 / 工作流设计 / 产品-工程协同) (AI Product Manager — LLM application / generative AI / agent product 的产品经理实战) Master OS — automated mastery of AI Product Manager — LLM application / generative AI / agent product 的产品经理实战: top builders' mental models, tool stack, current workflows, jargon, and where to keep up. Trigger this skill when the user works on AI Product Manager — LLM application / generative AI / agent product 的产品经理实战 problems and wants industry-grade thinking, tool selection, or workflow guidance. 触发词：「AI 产品经理」「AI PM」「LLM 产品」「Generative AI product」「RAG 产品」
日本語の概要は準備中です。原文の説明を表示しています。
AI 短剧 (AI 微短剧) (AI 短剧 (AI 微短剧) (从业者视角) — 用 AIGC 工具（AI 视频生成 / AI 脚本 / AI 生图 / AI 配音 / 对口型 / 角色一致性）制作竖屏微短剧并变现的新兴行业。覆盖: (a) 创作工作流 — 选题→剧本/分镜→AI 生图→图生视频(首尾帧/运镜/参考)→配音/对口型→剪辑/调色→成片，其中角色/场景一致性是第一性难题; (b) 工具栈 — 视频生成(可灵 Kling / 即梦 Seedance / 海螺 Hailuo / Vidu / Runway Gen / OpenAI Sora / Pika / Luma / Pixverse)、脚本(LLM)、生图(Midjourney/SD/即梦)、配音(TTS)、对口型、剪辑(剪映/CapCut); (c) 商业/变现 — 国内付费投流(IAP + ROI + 平台分账, 抖音/快手/红果/微信小程序短剧)与海外订阅(ReelShort/DramaBox/ShortMax/GoodShort)两套打法、品牌定制、成本结构; (d) 合规 — 中国《人工智能生成合成内容标识办法》(2025-09 强制 AI 标识)、广电微短剧备案与分类分层审核、版权与肖像权。主战场 = 抖音/快手/视频号/B站 + 海外短剧 App。学派分歧: 纯 AI vs AI+实拍混合、国内投流 vs 海外订阅、视频工具派之争、「AI 短剧是真需求还是伪风口」。不含: 传统实拍短剧制作、通用影视编剧(已有 scriptwriting skill)、短视频信息流投放(已有 short-video-ads skill)、纯 AI 视频底层技术研发。) Master OS — automated mastery of AI 短剧 (AI 微短剧) (从业者视角) — 用 AIGC 工具（AI 视频生成 / AI 脚本 / AI 生图 / AI 配音 / 对口型 / 角色一致性）制作竖屏微短剧并变现的新兴行业。覆盖: (a) 创作工作流 — 选题→剧本/分镜→AI 生图→图生视频(首尾帧/运镜/参考)→配音/对口型→剪辑/调色→成片，其中角色/场景一致性是第一性难题; (b) 工具栈 — 视频生成(可灵 Kling / 即梦 Seedance / 海螺 Hailuo / Vidu / Runway Gen / OpenAI Sora / Pika / Luma / Pixverse)、脚本(LLM)、生图(Midjourney/SD/即梦)、配音(TTS)、对口型、剪辑(剪映/CapCut); (c) 商业/变现 — 国内付费投流(IAP + ROI + 平台分账, 抖音/快手/红果/微信小程序短剧)与海外订阅(ReelShort/DramaBox/ShortMax/GoodShort)两套打法、品牌定制、成本结构; (d) 合规 — 中国《人工智能生成合成内容标识办法》(2025-09 强制 AI 标识)、广电微短剧备案与分类分层审核、版权与肖像权。主战场 = 抖音/快手/视频号/B站 + 海外短剧 App。学派分歧: 纯 AI vs AI+实拍混合、国内投流 vs 海外订阅、视频工具派之争、「AI 短剧是真需求还是伪风口」。不含: 传统实拍短剧制作、通用影视编剧(已有 scriptwriting skill)、短视频信息流投放(已有 short-video-ads skill)、纯 AI 视频底层技术研发。: top builders' mental models, tool stack, current workflows, jargon, and where to keep up. Trigger this skill when the user works on AI 短剧 (AI 微短剧) (从业者视角) — 用 AIGC 工具（AI 视频生成 / AI 脚本 / AI 生图 / AI 配音 / 对口型 / 角色一致性）制作竖屏微短剧并变现的新兴行业。覆盖: (a) 创作工作流 — 选题→剧本/分镜→AI 生图→图生视频(首尾帧/运镜/参考)→配音/对口型→剪辑/调色→成片，其中角色/场景一致性是第一性难题; (b) 工具栈 — 视频生成(可灵 Kling / 即梦 Seedance / 海螺 Hailuo / Vidu / Runway Gen / OpenAI Sora / Pika / Luma / Pixverse)、脚本(LLM)、生图(Midjourney/SD/即梦)、配音(TTS)、对口型、剪辑(剪映/CapCut); (c) 商业/变现 — 国内付费投流(IAP + ROI + 平台分账, 抖音/快手/红果/微信小程序短剧)与海外订阅(ReelShort/DramaBox/ShortMax/GoodShort)两套打法、品牌定制、成本结构; (d) 合规 — 中国《人工智能生成合成内容标识办法》(2025-09 强制 AI 标识)、广电微短剧备案与分类分层审核、版权与肖像权。主战场 = 抖音/快手/视频号/B站 + 海外短剧 App。学派分歧: 纯 AI vs AI+实拍混合、国内投流 vs 海外订阅、视频工具派之争、「AI 短剧是真需求还是伪风口」。不含: 传统实拍短剧制作、通用影视编剧(已有 scriptwriting skill)、短视频信息流投放(已有 short-video-ads skill)、纯 AI 视频底层技术研发。 problems and wants industry-grade thinking, tool selection, or workflow guidance. 触发词：「ai 短剧」「ai 微短剧」「ai short drama」「ai 短剧制作」「ai 短剧工作流」
日本語の概要は準備中です。原文の説明を表示しています。
AIGC 创作工作流 (AIGC 创作工作流 / AIGC Creative Workflow — 以「生成式 AI 视觉创作（图像 + 视频）的工程化创作流水线」为对象的认知操作系统：从「需求/概念（要做什么画面/镜头/风格）→ 模型与工具选型（Midjourney / Stable Diffusion·SDXL·Flux / ComfyUI / 可灵 Kling / 即梦 Jimeng / Runway / Vidu / Sora）→ Prompt 与参数设计（提示词工程、风格描述、负向、种子、CFG/步数/采样器、参考图）→ 可控生成（ControlNet / LoRA / IPAdapter / inpainting / 图生图 / 局部重绘 / 区域控制）→ 批量出图与筛选 → 精修与合成（放大/超分、修手修脸、PS/AE 后期、抠图合成）→ 图生视频/文生视频（首尾帧、运镜、时长、一致性、对口型）→ 商业交付与迭代复现（参数留存、工作流文件复用、版权与可商用判断）」的完整创作-工程-交付决策链。覆盖 (a) 第一性张力 — **可控性/工程化复现（ControlNet/LoRA/ComfyUI 节点工作流/固定种子与参数/可复现可迭代）⇄ 随机性/抽卡玄学（出图随机、prompt 玄学、抽卡刷图、靠运气）**；**审美/创意/艺术指导主导（人的审美判断、概念设计、构图、镜头语言、艺术总监能力——'模型是地板，审美是天花板'）⇄ 工具/模型/参数主导（堆模型能力、堆参数、堆 LoRA、以为换个大模型就行）**；**开源生态/本地可控（Stable Diffusion / ComfyUI / Flux / civitai / liblib 本地部署可定制可控可商用、显卡门槛）⇄ 闭源商业/易用黑盒（Midjourney / 可灵 / 即梦 / Runway 开箱即用但不可精控、按量付费、黑盒）**；**图像生成（T2I/I2I：Midjourney / SDXL / Flux）⇄ 视频生成（T2V/I2V：可灵 / Runway Gen-3 / Vidu / 即梦 / Sora，2024-2025 前沿从图迁移到视频）**；**生产力/商业量产（替代或增强传统设计/插画/电商/广告/影视分镜流程、降本提效、批量）⇄ 纯艺术创作/作者表达（个人风格、实验性、作品集）**；**效率/批量（一次出几十张筛选、商单走量、自动化 pipeline）⇄ 质量/精控（单张精修、商业可用级细节、修手修脸修穿帮）**。(b) 核心工作流 / pipeline（最标准、最易蒸高质量 + CLI 化）— 单图创作链：概念/参考收集（moodboard/风格定位/竞品）→ 模型工具选型（按可控性/风格/成本/可商用判断 MJ vs SD/Flux vs 国产）→ Prompt 与参数设计（主体/风格/光影/镜头/负向词/CFG/采样器/分辨率/种子）→ 首轮出图与方向筛选 → 可控迭代（ControlNet 控构图/姿态/线稿、LoRA 控风格/角色一致性、图生图重绘、inpainting 局部修）→ 放大超分与精修（高清放大/修手修脸/后期调色合成）→ 交付与参数留存（工作流文件/种子/参数复现）。视频创作链：分镜/脚本→首帧出图（图像链产出关键帧）→图生视频（运镜/时长/首尾帧/动态强度）→多镜头一致性（角色/场景/风格统一）→对口型/配音/配乐→剪辑合成→交付。ComfyUI 工程链：节点工作流搭建（加载器/采样/ControlNet/放大/面部修复节点）→ 参数化与复用→批量队列→工作流分享（civitai/openart workflow json）。(c) 工具栈 — 闭源图像（Midjourney v6/v7、DALL·E 3、Adobe Firefly、Ideogram、Recraft）、开源图像与底座（Stable Diffusion 1.5/SDXL/SD3、Flux.1 dev/schnell（Black Forest Labs）、ComfyUI（节点式）、Automatic1111/Forge WebUI、Fooocus）、可控生成插件（ControlNet、LoRA、IPAdapter、AnimateDiff、inpainting/outpainting、ReActor 换脸、面部修复 CodeFormer/GFPGAN、放大 ESRGAN/SUPIR/Topaz）、模型/资源社区（Hugging Face、Civitai、liblib 哩布、吐司 Tusi、openart）、视频生成（可灵 Kling、即梦 Dreamina/Jimeng、Runway Gen-3/Gen-4、Luma Dream Machine、Pika、Vidu、海螺 Hailuo、Sora、Wan 通义万相、MiniMax）、辅助（Magnific 放大、Krea、Photoshop/After Effects 后期、ChatGPT/Claude 写 prompt、reverse prompt 反推）。(d) 知识正典 — AIGC 创作 canon 横跨论文/工程/社区教程：奠基论文（DDPM、Latent Diffusion/Stable Diffusion（Rombach et al）、DiT、ControlNet（Zhang et al）、LoRA、DreamBooth、Textual Inversion、SDEdit、IP-Adapter、视频扩散 SVD/Sora 技术报告）、官方文档与模型卡（Stability AI、Black Forest Labs Flux、ComfyUI 文档、Midjourney docs、可灵/即梦官方教程、Hugging Face diffusers）、社区教程与工作流（ComfyUI 官方示例、civitai 文章、B站/YouTube 创作者长教程、openart workflow）、prompt 工程资源（Midjourney 风格库、提示词指南）。(e) figures/流派 — 模型/工具创造者（Midjourney David Holz、Stability AI Emad/Robin Rombach、Black Forest Labs（Flux，原 SD 团队）、ComfyUI comfyanonymous、ControlNet 张吕敏 Lvmin Zhang、AUTOMATIC1111、可灵/即梦/快手字节团队）、创作者 KOL 与教育者（Midjourney/SD 头部创作者、ComfyUI 工作流大神、AI 视频创作者、国内 B站/抖音 AIGC 教程作者、独立 AI 艺术家）、行业分析与评测（AI 工具评测、生成式 AI 创作生态观察者）。流派分歧：开源可控派（SD/ComfyUI/Flux 本地精控）vs 闭源易用派（MJ/可灵开箱即用）、工程化派（节点工作流/可复现/参数化）vs 玄学抽卡派（prompt 玄学/堆词/抽卡）、审美主导派（'模型是地板审美是天花板'）vs 工具主导派（堆模型堆参数）、图像派 vs 视频派、艺术创作派 vs 商业生产力派、国产工具派（可灵/即梦/liblib）vs 海外工具派（MJ/Flux/Runway）。(f) 行业话术/黑话 — 出图 / 抽卡 / 刷图 / 炼丹（训练 LoRA）/ 喂图 / 垫图（参考图/图生图）/ 控图 / 锁种子 seed / CFG / 采样器 sampler / 步数 steps / 重绘幅度 denoise / 提示词 prompt / 咒语 / 负向 negative / 权重 / tag / 大模型 checkpoint / 底模 / LoRA / ControlNet / 控线稿/openpose/depth / IPAdapter / inpainting 局部重绘 / outpainting 扩图 / 高清放大 / 超分 / 修手 / 崩手 / AI 味 / 风格 / 角色一致性 / 工作流 workflow / 节点 / 跑图 / 队列 / 文生图 T2I / 图生图 I2I / 文生视频 T2V / 图生视频 I2V / 首帧/尾帧 / 运镜 / 动态强度 / 时长 / 对口型 / 一致性 / 可商用 / 训练集 / 过拟合 / 翻车 / 穿帮。(g) 争议/批判 — 「版权与训练数据」（模型训练用未授权作品、生成图版权归属、可商用风险、洗图/伪原创）、「AI 替代创作者就业」（替代画师/插画师/设计师/摄影、行业冲击与转型）、「AI 味与审美趋同」（生成图同质化、套模板、缺乏原创审美）、「玄学 prompt 神话与割韭菜」（'咒语'神秘化、'7天 AIGC 变现/月入过万'付费课割韭菜、抽卡当能力）、「工具快速迭代与淘汰焦虑」（模型月月换、工作流频繁失效、追新疲劳）、「开源 vs 闭源之争」（可控可商用 vs 易用黑盒）、「质量天花板」（修手修脸穿帮、长视频一致性、可控性仍有限）。(h) 大量隐性创作手艺 + 审美 + 工程 + 沟通软技能（prompt 的描述功底与审美词汇、参数与采样的手感、ControlNet/LoRA 的组合控制经验、节点工作流的搭建与调试、批量筛选的审美眼力、修图合成的后期功底、镜头语言与运镜设计、角色/风格一致性的控制、商业需求的翻译与交付、版权与可商用的判断）是高 tacit、靠大量实操跑图 + 审美积累 + 工程调试经验的核心。水分极高（大量'咒语速成/一键变现/AI 绘画割韭菜'营销
日本語の概要は準備中です。原文の説明を表示しています。