liuxiaohua
07661be6c0
Some checks failed
Publish to Confluence / confluence (push) Failing after 11m37s
112 lines
3.3 KiB
Markdown
112 lines
3.3 KiB
Markdown
# ES建设
|
||
|
||
主要分为一下几步
|
||
|
||
1. Kafka集群搭建
|
||
2. ~~Canel 部署 (已有)~~
|
||
3. 数据处理服务搭建（用来聚合，清洗）
|
||
4. 列表数据迁移
|
||
- 代采
|
||
- OMS订单管理
|
||
- 运输
|
||
- 仓储
|
||
- 关务
|
||
- 报价
|
||
- 计费
|
||
- 财务
|
||
- 往来单位
|
||
- 资源中心
|
||
- 系统设置
|
||
|
||
## 实施步骤
|
||
|
||
### 一、KAFKA 搭建（运维处理）
|
||
|
||
### 二、CANAL 采集数据到 KAFKA（运维处理）
|
||
|
||
### 三、ES 搭建（运维处理）
|
||
|
||
### 四、数据消费服务搭建
|
||
|
||
- 对消费数据进行清理
|
||
|
||
### 五、数据查询服务搭建
|
||
|
||
- 提供查询接口
|
||
|
||
### 六、报表迁移
|
||
|
||
- 将列表 api 迁移到数据查询服务
|
||
|
||
## 计划总表
|
||
|
||
### 开发工期
|
||
|
||
| 功能 | 工期 |
|
||
|-------------------------|-----------|
|
||
| 数据消费服务搭建 | 3 |
|
||
| - 服务搭建 | 0.5 |
|
||
| - ES 操作类 | 0.5 |
|
||
| - Kafka Stream Consumer | 0.5 |
|
||
| - 增量模块 | 0.5 |
|
||
| - 全量模块 | 0.5 |
|
||
| - 缓存模块 | 0.5 |
|
||
| - 数据校正 | 0 |
|
||
| 报表迁移 | 0.5 * api |
|
||
| - 代采 | |
|
||
| -- 代采订单列表 | |
|
||
| - OMS | |
|
||
| -- 物流订单管理 | |
|
||
| - 运输 | |
|
||
| -- 运单列表 | |
|
||
| -- 订舱管理 | |
|
||
| -- 组货管理 | |
|
||
| -- 异常管理 | |
|
||
| - 仓储 | |
|
||
| -- 到货管理 | |
|
||
| -- 验货管理 | |
|
||
| -- 收货管理 | |
|
||
| -- 出库管理 | |
|
||
| -- 库存台账 | |
|
||
| - 关务 | |
|
||
| -- 报关单管理 | |
|
||
| - 报价 | |
|
||
| -- 报价单 | |
|
||
| -- 报价类目 | |
|
||
| - 计费 | |
|
||
| -- 应收账单 | |
|
||
| -- 应付账单 | |
|
||
| -- 应收流水 | |
|
||
| -- 应付流水 | |
|
||
| - 财务 | |
|
||
| -- 应收结算 | |
|
||
| -- 应付结算 | |
|
||
| -- 付款结算 | |
|
||
| 查询接口 | 0.3 * api |
|
||
|
||
#### 代采订单列表
|
||
|
||
- 表梳理：
|
||
- scm.agency_order (主表)
|
||
- scm.agency_order_info（平铺）
|
||
- scm.agency_order_clientage（暂时没用）
|
||
- scm.purchase_order（暂时没用）
|
||
- scm.agency_order_item（聚合统计）
|
||
- scm.purchase_packing_list（聚合统计）
|
||
- scm.oms_order
|
||
|
||
- tms.t_transport_order
|
||
- oms.o_order
|
||
- oms.o_order_task
|
||
|
||
- Settings
|
||
- Mappings
|
||
- 接口
|
||
|
||
### 自测
|
||
|
||
### 联调
|
||
|
||
[CDC方案对比]: https://cloud.tencent.com/developer/article/1893807
|
||
|
||
[CDC]: https://cloud.tencent.com/developer/article/2410127 |