112 lines
3.3 KiB
Markdown
112 lines
3.3 KiB
Markdown
|
# ES建设
|
|||
|
|
|
|||
|
|
主要分为一下几步
|
|||
|
|
|
|||
|
|
1. Kafka集群搭建
|
|||
|
|
2. ~~Canel 部署 (已有)~~
|
|||
|
|
3. 数据处理服务搭建（用来聚合，清洗）
|
|||
|
|
4. 列表数据迁移
|
|||
|
|
- 代采
|
|||
|
|
- OMS订单管理
|
|||
|
|
- 运输
|
|||
|
|
- 仓储
|
|||
|
|
- 关务
|
|||
|
|
- 报价
|
|||
|
|
- 计费
|
|||
|
|
- 财务
|
|||
|
|
- 往来单位
|
|||
|
|
- 资源中心
|
|||
|
|
- 系统设置
|
|||
|
|
|
|||
|
|
## 实施步骤
|
|||
|
|
|
|||
|
|
### 一、KAFKA 搭建（运维处理）
|
|||
|
|
|
|||
|
|
### 二、CANAL 采集数据到 KAFKA（运维处理）
|
|||
|
|
|
|||
|
|
### 三、ES 搭建（运维处理）
|
|||
|
|
|
|||
|
|
### 四、数据消费服务搭建
|
|||
|
|
|
|||
|
|
- 对消费数据进行清理
|
|||
|
|
|
|||
|
|
### 五、数据查询服务搭建
|
|||
|
|
|
|||
|
|
- 提供查询接口
|
|||
|
|
|
|||
|
|
### 六、报表迁移
|
|||
|
|
|
|||
|
|
- 将列表 api 迁移到数据查询服务
|
|||
|
|
|
|||
|
|
## 计划总表
|
|||
|
|
|
|||
|
|
### 开发工期
|
|||
|
|
|
|||
|
|
| 功能 | 工期 |
|
|||
|
|
|-------------------------|-----------|
|
|||
|
|
| 数据消费服务搭建 | 3 |
|
|||
|
|
| - 服务搭建 | 0.5 |
|
|||
|
|
| - ES 操作类 | 0.5 |
|
|||
|
|
| - Kafka Stream Consumer | 0.5 |
|
|||
|
|
| - 增量模块 | 0.5 |
|
|||
|
|
| - 全量模块 | 0.5 |
|
|||
|
|
| - 缓存模块 | 0.5 |
|
|||
|
|
| - 数据校正 | 0 |
|
|||
|
|
| 报表迁移 | 0.5 * api |
|
|||
|
|
| - 代采 | |
|
|||
|
|
| -- 代采订单列表 | |
|
|||
|
|
| - OMS | |
|
|||
|
|
| -- 物流订单管理 | |
|
|||
|
|
| - 运输 | |
|
|||
|
|
| -- 运单列表 | |
|
|||
|
|
| -- 订舱管理 | |
|
|||
|
|
| -- 组货管理 | |
|
|||
|
|
| -- 异常管理 | |
|
|||
|
|
| - 仓储 | |
|
|||
|
|
| -- 到货管理 | |
|
|||
|
|
| -- 验货管理 | |
|
|||
|
|
| -- 收货管理 | |
|
|||
|
|
| -- 出库管理 | |
|
|||
|
|
| -- 库存台账 | |
|
|||
|
|
| - 关务 | |
|
|||
|
|
| -- 报关单管理 | |
|
|||
|
|
| - 报价 | |
|
|||
|
|
| -- 报价单 | |
|
|||
|
|
| -- 报价类目 | |
|
|||
|
|
| - 计费 | |
|
|||
|
|
| -- 应收账单 | |
|
|||
|
|
| -- 应付账单 | |
|
|||
|
|
| -- 应收流水 | |
|
|||
|
|
| -- 应付流水 | |
|
|||
|
|
| - 财务 | |
|
|||
|
|
| -- 应收结算 | |
|
|||
|
|
| -- 应付结算 | |
|
|||
|
|
| -- 付款结算 | |
|
|||
|
|
| 查询接口 | 0.3 * api |
|
|||
|
|
|
|||
|
|
#### 代采订单列表
|
|||
|
|
|
|||
|
|
- 表梳理：
|
|||
|
|
- scm.agency_order (主表)
|
|||
|
|
- scm.agency_order_info（平铺）
|
|||
|
|
- scm.agency_order_clientage（暂时没用）
|
|||
|
|
- scm.purchase_order（暂时没用）
|
|||
|
|
- scm.agency_order_item（聚合统计）
|
|||
|
|
- scm.purchase_packing_list（聚合统计）
|
|||
|
|
- scm.oms_order
|
|||
|
|
|
|||
|
|
- tms.t_transport_order
|
|||
|
|
- oms.o_order
|
|||
|
|
- oms.o_order_task
|
|||
|
|
|
|||
|
|
- Settings
|
|||
|
|
- Mappings
|
|||
|
|
- 接口
|
|||
|
|
|
|||
|
|
### 自测
|
|||
|
|
|
|||
|
|
### 联调
|
|||
|
|
|
|||
|
|
[CDC方案对比]: https://cloud.tencent.com/developer/article/1893807
|
|||
|
|
|
|||
|
|
[CDC]: https://cloud.tencent.com/developer/article/2410127
|