# ES建设

主要分为一下几步

1. Kafka集群搭建
2. ~~Canel 部署 (已有)~~
3. 数据处理服务搭建（用来聚合，清洗）
4. 列表数据迁移
    - 代采
    - OMS订单管理
    - 运输
    - 仓储
    - 关务
    - 报价
    - 计费
    - 财务
    - 往来单位
    - 资源中心
    - 系统设置

## 实施步骤

### 一、KAFKA 搭建（运维处理）

### 二、CANAL 采集数据到 KAFKA（运维处理）

### 三、ES 搭建（运维处理）

### 四、数据消费服务搭建

- 对消费数据进行清理

### 五、数据查询服务搭建

- 提供查询接口

### 六、报表迁移

- 将列表 api 迁移到数据查询服务

## 计划总表

### 开发工期

| 功能                      | 工期        | 
|-------------------------|-----------|
| 数据消费服务搭建                | 3         | 
| - 服务搭建                  | 0.5       |  
| - ES 操作类                | 0.5       |  
| - Kafka Stream Consumer | 0.5       |  
| - 增量模块                  | 0.5       |  
| - 全量模块                  | 0.5       |  
| - 缓存模块                  | 0.5       |  
| - 数据校正                  | 0         |  
| 报表迁移                    | 0.5 * api |  
| - 代采                    |           |  
| -- 代采订单列表               |           |  
| - OMS                   |           |  
| -- 物流订单管理               |           |  
| - 运输                    |           |  
| -- 运单列表                 |           |  
| -- 订舱管理                 |           |  
| -- 组货管理                 |           |  
| -- 异常管理                 |           |  
| - 仓储                    |           |  
| -- 到货管理                 |           |  
| -- 验货管理                 |           |  
| -- 收货管理                 |           |  
| -- 出库管理                 |           |  
| -- 库存台账                 |           |  
| - 关务                    |           |  
| -- 报关单管理                |           |  
| - 报价                    |           |  
| -- 报价单                  |           |  
| -- 报价类目                 |           |  
| - 计费                    |           |    
| -- 应收账单                 |           |    
| -- 应付账单                 |           |    
| -- 应收流水                 |           |    
| -- 应付流水                 |           |    
| - 财务                    |           |    
| -- 应收结算                 |           |    
| -- 应付结算                 |           |    
| -- 付款结算                 |           |    
| 查询接口                    | 0.3 * api |    

#### 代采订单列表

- 表梳理：
    - scm.agency_order (主表)
    - scm.agency_order_info（平铺）
    - scm.agency_order_clientage（暂时没用）
    - scm.purchase_order（暂时没用）
    - scm.agency_order_item（聚合统计）
    - scm.purchase_packing_list（聚合统计）
    - scm.oms_order

    - tms.t_transport_order
    - oms.o_order
    - oms.o_order_task

- Settings
- Mappings
- 接口

### 自测

### 联调

[CDC方案对比]: https://cloud.tencent.com/developer/article/1893807

[CDC]: https://cloud.tencent.com/developer/article/2410127