数据成本核算：存储、计算、上游费用与定价

数据服务的账单为什么会增长？应该先优化存储、计算、网络，还是上游数据授权？怎样用真实用量算出每千次调用和每个客户的成本，再设计不低于成本且符合许可范围的价格？

1. 存储：按数据容量、保存时间和存储层级产生。列式格式、压缩、冷热分层和合理保留期都可能影响存储成本。
2. 计算：查询、批处理和流处理消耗 CPU、内存或其他计算资源。扫描数据量、查询次数、任务运行时间和并发峰值都会影响成本。
3. 网络出流量：把数据发送到公网或其他区域可能产生出网成本。不同云、区域、协议和合同的计费规则不同，不能把某一家服务的规则当成行业通用规则。
4. 上游数据费用：交易所行情许可、第三方采购和其他数据授权费用。它们的计费方式由许可和合同决定，可能与调用量相关，也可能主要是固定费用。

除此之外，还应记录人力、监控、质量排查、故障响应、回补重跑和安全合规等隐性成本。只看云账单，容易低估完整业务成本。

固定成本像房租：在一定容量范围内，不随每一次调用同比增长。变动成本像原料：调用、扫描、出网或处理量增加时通常会增加。一个成本项也可能同时包含两部分，例如计算集群有固定运行成本，峰值扩容又有变动成本。

开盘、收盘和突发新闻时段的峰值流量，可能决定系统要预留多少资源。平均调用量不能替代峰值容量分析；容量留得过少会影响 SLO，留得过多又会增加闲置成本。

单位成本是总成本除以业务量，例如：

每千次调用成本 = 统计期总成本 ÷ 统计期调用次数 × 1000
每客户月成本 = 统计期归属于客户的成本 ÷ 活跃客户数

业务量必须先定义清楚。对简单查询，可以按调用次数；对全市场扫描或文本嵌入，更合理的驱动量可能是扫描字节数、返回字节数、计算时间或模型调用次数。

为了计算单位成本，需要给资源和请求打上租户、产品线、数据集、接口等标签。Showback 是把使用量和成本展示给团队或客户但不直接收费；chargeback 是把成本按规则分摊或计入账单。无论采用哪种方式，计量口径都要可复查。

• 压缩和列式存储：减少存储和读取的数据量，但小文件压缩收益可能很差，压缩和解压也会消耗计算。
• 分区裁剪：让查询只扫描相关分区，通常能减少计算；分区过多会增加元数据和小文件维护成本。
• 缓存：命中时可以减少重复查询、上游调用和计算；缓存也有失效、占用空间和新鲜度取舍。
• 冷热分层：近期高频数据放更适合访问的存储层，历史数据放更低成本的层级，但迁移和恢复会增加复杂度。
• 批量与增量处理：合并小任务可能减少调度和文件开销；延迟要求提高时，实时处理资源可能上升。

优化顺序应先看成本占比、用户影响和可节省空间，再决定投入。把一个占比很小的成本再压低，未必比减少峰值计算或提高缓存命中率更有价值。

下面只用于演示计算方法，不是任何云厂商、交易所、数据商或具体产品的报价：

假设：
存储数据量       2000 GB
月调用量         300 万次
缓存命中率       70%（未命中 90 万次需要实际计算）
每次未命中耗用   0.025 核时（示意）
每次平均返回     8 KB（示意）
存储单价         0.15 元 / GB·月（示意）
计算单价         0.30 元 / 核时（示意）
出网单价         0.50 元 / GB（示意）
上游授权费       50000 元 / 月（示意）

结果：
存储   2000 GB × 0.15                         =   300 元
计算   90 万次 × 0.025 核时 × 0.30            =  6750 元
出网   300 万次 × 8 KB = 24 GB；24 × 0.50     =    12 元
上游授权费                                     = 50000 元
合计                                           = 57062 元
每千次调用   57062 ÷ 3000                     ≈ 19.02 元

这组数字只说明一种拆账方法。换成 Tick 回放、全市场扫描、长文本嵌入或高频实时服务后，成本结构可能完全不同。真实定价应使用自己的账单、合同、资源用量和峰值数据重新计算。

如果固定授权费不变、调用量增加，单位成本可能因为分摊而下降；但如果调用量带来更多扫描、返回和出网，变动成本也会增加，不能只看调用次数。

常见定价方式包括按调用量、按套餐、按数据集授权，或采用混合方式。定价下限至少要覆盖：

单位价格 ≥ 分摊的固定成本 + 单位变动成本 + 风险与运营成本

这只是成本底线，不等于最终价格。最终价格还要考虑用户价值、服务等级、容量预留、毛利目标和销售策略。

更重要的是，价格和产品范围必须符合上游许可。某份数据被许可用于内部研究，不代表可以包装成面向公众的转发服务；技术上能返回，也不代表合同上允许展示、转授权或再分发。涉及具体数据商和交易所时，应以有效许可和合同为准。

上游许可与采购
       │
采集 / 批处理 / 流处理 ── 计算资源
       │
存储 ── 容量、保存期、压缩、分层
       │
查询 ── 扫描量、缓存命中、峰值并发
       │
API / MCP ── 返回字节、出网、调用量
       │
租户 / 产品 / 数据集计量 ── 单位成本与账单

第 21 讲的监控提供调用、延迟、错误和新鲜度指标；第 22 讲的租户和数据授权提供成本归属与可售范围。没有计量，就无法判断哪个接口、数据集或套餐在消耗成本，也无法验证优化是否有效。

1. 只看云账单，不看上游合同：授权费和采购限制可能是最大的成本与业务约束。
2. 用平均量代替峰值量：开盘和收盘的瞬时流量会决定容量和扩容成本。
3. 不做租户计量就定价：不知道谁用了多少，就无法判断套餐是否覆盖成本。
4. 过度优化占比很小的部分：先看成本结构和节省空间，再安排工程投入。
5. 忘记隐性成本：回补、质量排查、值班、文档和合规工作都需要资源。
6. 把调用量当成唯一计费单位：复杂查询的扫描量、返回量和计算时间可能差异很大。
7. 超出上游许可范围定价：价格越高也不能把没有授权的用途变成合法用途。

• FinOps Framework
• AWS S3 定价说明
• AWS Well-Architected：成本优化支柱
• Apache Parquet 文档
• ClickHouse：列压缩
• 上证所信息网络有限公司：证券信息许可相关说明