keyfil/任务/ES建设梳理.md

ES建设

主要分为一下几步

1. Kafka集群搭建
2. Canel 部署 (已有)
3. 数据处理服务搭建（用来聚合，清洗）
4. 列表数据迁移
   • 代采
   • OMS订单管理
   • 运输
   • 仓储
   • 关务
   • 报价
   • 计费
   • 财务
   • 往来单位
   • 资源中心
   • 系统设置

实施步骤

一、KAFKA 搭建（运维处理）

二、CANAL 采集数据到 KAFKA（运维处理）

三、ES 搭建（运维处理）

四、数据消费服务搭建

• 对消费数据进行清理

五、数据查询服务搭建

• 提供查询接口

六、报表迁移

• 将列表 api 迁移到数据查询服务

计划总表

开发工期

功能	工期
数据消费服务搭建	3
- 服务搭建	0.5
- ES 操作类	0.5
- Kafka Stream Consumer	0.5
- 增量模块	0.5
- 全量模块	0.5
- 缓存模块	0.5
- 数据校正	0
报表迁移	0.5 * api
- 代采
-- 代采订单列表
- OMS
-- 物流订单管理
- 运输
-- 运单列表
-- 订舱管理
-- 组货管理
-- 异常管理
- 仓储
-- 到货管理
-- 验货管理
-- 收货管理
-- 出库管理
-- 库存台账
- 关务
-- 报关单管理
- 报价
-- 报价单
-- 报价类目
- 计费
-- 应收账单
-- 应付账单
-- 应收流水
-- 应付流水
- 财务
-- 应收结算
-- 应付结算
-- 付款结算
查询接口	0.3 * api

代采订单列表

• 表梳理：

  • scm.agency_order (主表)

  • scm.agency_order_info（平铺）

  • scm.agency_order_clientage（暂时没用）

  • scm.purchase_order（暂时没用）

  • scm.agency_order_item（聚合统计）

  • scm.purchase_packing_list（聚合统计）

  • scm.oms_order

  • tms.t_transport_order

  • oms.o_order

  • oms.o_order_task

• Settings

• Mappings

• 接口

自测

联调