*本系统功能模块、字段参数,均可结合用户实际业务需求调整,可增可减,以达到最佳业务管理流程的体验!
编号 | 模块名称 | 字段参数 |
1 | 网页抓取 | URL、标题、内容、时间戳、图片链接、链接等 |
2 | 数据库写入 | 数据表名称、列名称、数据、插入字段等 |
3 | API调用 | API地址、请求方法、请求参数、返回结果、授权信息等 |
4 | 文件读取 | 文件路径、文件格式、文件编码、分隔符、列名称等 |
5 | 文件写入 | 文件路径、文件格式、文件编码、分隔符、列名称等 |
6 | 日志打印 | 日志级别、日志内容、日志文件名、日志路径等 |
7 | 图像处理 | 图像路径、图像格式、图像大小、图像通道、图像特征等 |
8 | 视频处理 | 视频路径、视频格式、视频分辨率、视频长度、视频帧率等 |
9 | 音频处理 | 音频路径、音频格式、音频采样率、音频通道数、音频时长等 |
10 | 数据清洗 | 数据源、数据类型、缺失值处理、重复值处理、数据筛选条件等 |
11 | 数据转换 | 数据源、数据类型、转换规则、转换类型、转换字段等 |
12 | 文本处理 | 文本内容、分词方式、清洗规则、关键词提取、文本分类等 |
13 | 时间处理 | 时间数据、时间格式、时间间隔计算、时间区间筛选、时间戳转换等 |
14 | 地理信息处理 | 地理坐标、地理编码方式、地理距离计算、地理区域划分、地理数据可视化等 |
15 | 网络代理 | 代理IP地址、代理端口号、代理协议、代理验证信息、代理请求配置等 |
16 | 用户界面 | 页面布局、按钮、输入框、下拉框、提示信息等 |
17 | 分布式采集 | 任务队列、数据缓存区、任务分配策略、任务完成通知、分布式采集节点等 |