亚马逊爬虫selenium版本已开源github

csx · 发表于 2023-8-16 18:51

web版本1.0+爬虫selenium版本已开源github https://github.com/qihangchenhao/Amazon_Spider_Sysweb2.0版本+分布式API爬虫请移步github 含有丰富的excel分析表格以及可视化图表以及内置机器学习验证码识别和打码平台对接，并且可以自由添加/管理爬虫节点
2022年3.15日更新1.页面布局调整，自适应电脑手机多客户端等2.增加星级分布饼图3.商品销量页面增加折线图3.商品情感分析可提交后台处理（需要GPU服务器支持）
11.1更新1.修复了Q&A更新失败的bug2.增加了用户组，每个用户组的商品进行隔离处理3.增加了注册机制，注册码限时发放4.增加了用户打码管理，每一用户组公用一个打码用户5.修复了评论为0抓取提示错误的bug6.修复了商品详情最后一页备注修改失败的bug7.首页菜单根据特征重新调整8.修复了商品详情里面刷新图片会跳转其他页面的bug
11.5更新1.增加了机器学习识别验证码的功能，在没有添加打码平台的用户默认使用机器学习识别，识别准确率约为95%
11.25更新1.增加了选品工具功能，可根据关键词查看自己商品在TOP20中份额占比，以及TOP20商品的关键词情况

12.24 v2.0最后版本更新1.西班牙站点、美国站点、中国站点均测试通过，其他站点有待测试2.商品评论界面，摒弃提交爬虫界面，修改为评论量抓取显示，可提交爬虫3.商品销量更名为商品库存，修复了部分数据缺失导致折线图无法显示的情况，增加了缺失数值智能补全（可能存在误差）4.查看已添加商品界面更改为横栏表格样式，可查看名称站点、今日星级更新情况、今日库存更新情况、页面是否存在加入购物车按钮（影响库存抓取）、商品类别、删除操作等5.节点管理与cookies管理取消，考虑到用户账号安全隐私问题，不再获取任何用户cookies相关信息6.爬虫cookies改为智能获取访客临时cookies，抓取信息7.优化了节点调度机制，自动根据节点数量、用户数量均衡分配抓取任务系统2020年以来的大变动！！希望2021更加出色！加油！！

登录/注册后可看大图

账号		自动登录	找回密码
密码			立即注册

亚马逊爬虫selenium版本已开源github

论坛元老

灌水之王