Emlog全功能内容采集器
功能特性
| 模块 | 内容 |
|---|---|
| 任务管理 | 多任务并存,新建 / 编辑 / 复制 / 删除 / 启用停用,规则可导出为 JSON 跨站点导入迁移 |
| 网址采集 | 起始 URL 批量录入、(*) 页码占位符批量翻页、区域截取、链接提取(自动 / 正则 / 起始 URL 即内容页)、包含与排除过滤(支持 /正则/) |
| 内容采集 | 可视化 DOM 选择器点选生成规则;前后截取 / 正则 / XPath(兼容 CSS)/ 固定值四种提取方式;自定义字段 |
| 数据处理链 | 15 种处理器自由组合:替换、正则替换、去标签、截取、大小写、实体解码等 |
| 分页合并 | 自动识别「下一页」链接,多页正文合并为一篇(支持正则定位与最大页数限制) |
| 自动发布 | 分类自动匹配 / 不存在自动创建、标题或 URL 去重、摘要与封面自动提取、标题前后缀、屏蔽词过滤、审核/草稿/置顶/作者/发布间隔 |
| 图片增强 | 远程图片自动下载、重命名、WebP 压缩(质量可调)、上传至云存储并替换为直链,兼容 data-src 懒加载与 Markdown 图片 |
| 云存储 | 13 家:本地 / WebDAV / FTP / SFTP / 阿里云 OSS / 腾讯云 COS / 七牛云 / 又拍云 / 华为云 OBS / 百度云 BOS / 京东云 OSS / 亚马逊 S3 / MinIO |
| 抓取器 | curl 优先(无 curl 自动回退),Cookie 登录态、自定义 UA / Referer、代理、编码自动识别(UTF-8/GBK/BIG5)、超时与失败重试 |
| 执行方式 | 后台一键/分步执行(带进度条与实时日志可停止)、服务器 crontab 定时任务 |
| 其它 | 规则测试实时预览、抓取任意页面源码供选择器使用、采集数据可编辑后手动发布 |





THE END
©
分享文章
搜索
热门文章
最新评论

Admin















评论列表 (0)
还没有评论,告诉我们你的想法。