提需求时建议一并说明的内容
商品类项目的关键是把口径先定死,否则数据拿回去无法直接使用:
- 站点与地区参数:目标是哪个国家站点,按哪个地区的配送条件取价。
- 变体口径:按父商品编号还是子编号交付。
- 采集周期:一次性快照,还是每天、每周固定时间重复采集。价格监控只有周期性才有意义。
- 字段取舍:是否需要卖家名称、排名、促销标记等会明显增加采集成本的字段。
关于数据口径
价格、评分、评论数、库存提示都属于采集时刻的快照字段,每行带 collected_at。做周期更新时,我们会保留每次快照而不是覆盖,这样价格变化才可追溯。如果只需要最新状态,可以在交付时额外给一份去重后的最新版。
