使用workerman做一个爬虫服务器网站，进行数据获取
问题描述 想做一个爬虫服务器，提交网页url，然后后台调用selenium浏览器进行浏览,浏览完成返回渲染好的网页,以及Cookie,header等信息,要怎么设计这样的网站架构使用workerman的话. 太多网站进行动态渲染了,而且本地写selenium挺麻烦,而且某些网站有地市限制,所以想做成一个服务统一调取,方便公司对子公司的业务进行搜集 我该怎么设计这种网站呢? 有什么比较好用的架构方案吗?...
segcbryjntfbrdtesrgdfhjg
200
积分
0
获赞数
0
粉丝数
2022-06-12 加入