InfoSpider爬虫工具箱最新版由国内一位开发者在 GitHub 上制作,目的在于帮助用户安全快捷的拿回自己的数据,并提供数据分析功能,可以帮助用户从各大软件和网站当中拿出你自己的数据内容,基于用户数据生成图表文件,让用户能更直观、深入了解自己的信息,支持的社交平台很多,用户除了可以主流的平台中爬取数据外,还可以自定义配置该工具不包含的数据源;这款工具是一个开源项目,因此您可以免费使用它快速拿回自己在各大社交平台的使用数据;需要的朋友欢迎下载使用。
INFO-SPIDER 是一个集众多数据源于一身的爬虫工具箱,旨在安全快捷的帮助用户拿回自己的数据,工具代码开源,流程透明。支持数据源包括 GitHub 、QQ 邮箱、网易邮箱、阿里邮箱、新浪邮箱、Hotmail 邮箱、Outlook 邮箱、京东、淘宝、支付宝、中国移动、中国联通、中国电信、知乎、哔哩哔哩、网易云音乐、QQ 好友、QQ 群、生成朋友圈相册、浏览器浏览历史、12306 、博客园、CSDN 博客、开源中国博客、简书。
安全可靠:本项目为开源项目,代码简洁,所有源码可见,本地运行,安全可靠。
使用简单:提供 GUI 界面,只需点击所需获取的数据源并根据提示操作即可。
结构清晰:本项目的所有数据源相互独立,可移植性高,所有爬虫脚本在项目的 Spiders 文件下。
数据源丰富:本项目目前支持多达24+个数据源,持续更新。
数据格式统一:爬取的所有数据都将存储为json格式,方便后期数据分析。
个人数据丰富:本项目将尽可能多地为你爬取个人数据,后期数据处理可根据需要删减。
数据分析:本项目提供个人数据的可视化分析,目前仅部分支持。
文档丰富:本项目包含完整全面的使用说明文档和视频教程
1、首先安装下载工具:
python3和Chrome浏览器
安装与Chrome浏览器相同版本的驱动
安装依赖库pip install-r requirements.txt
2、安装完必要的工具之后解压安装包,然后在安装包中找到tools文件夹打开。
3、接着运行python3 main.py或者main.py文件。
4、在打开的窗口点击数据源按钮, 根据提示选择数据保存路径。
5、弹出的浏览器输入用户密码后会自动开始爬取数据, 爬取完成浏览器会自动关闭。
6、在对应的目录下可以查看下载下来的数据(xxx.json), 数据分析图表(xxx.html)。
要爬取GitHub的数据,首先点击GitHub数据源按钮。
然后再该窗口中输入GitHub用户名。
接着选择数据保存路径即可。
每个数据源的爬取可能会生成多个文件, 所以建议为每个数据源新建一个文件夹来保存数据
查看爬取的数据 (json格式)
1、优化了用户使用界面
2、修复了某些已知bug
同类推荐
2022-12-02
立即下载2022-11-29
立即下载2022-12-20
立即下载2022-12-01
立即下载2022-12-22
立即下载2022-12-10
立即下载相关文章
石墨文档导出文档的方法
2022-12-25米德加德部落狼王芬里尔宠物怎么得?狼王芬里尔宠物获取攻略
2022-12-18光影魔术手将图片背景透明化的方法
2022-12-25战双帕弥什兑换码_2021最新战双帕弥什兑换码分享
2022-12-11360桌面助手删除卸载的技巧
2022-04-29PPT技巧_自己动手制作商业策略PPT模板
2022-12-11Dreamweaver插入普通视频的方法
2022-01-28Adobe Audition响度探测计音效的使用技巧
2022-11-26英灵神殿回档怎么解决?回档解决办法
2022-12-25僵尸世界大战劫后余生怎么联机组队?联机组队介绍
2022-12-11