?收集了一些各大网站登陆方式 和一些网站的爬虫程序,有的是通过selenium登录有的是通过抓包直接模拟登录,有的是利用scrapy,希望对小白有所帮助,本项目用于研究和分享各大網站的模拟登陆方式和爬虫程序,会持续更新。
模拟登陆基本采用的是直接登录或者使用selenium+webdriver的方式,有的网站直接登录难度很大比洳qq空间,bilibili等如果采用selenium就相对轻松一些
虽然在登录的时候采用的是selenium,为了效率,我们可以在登录过后得到的cookie维护起来然后调用requests或者scrapy等进行數据采集,这样数据采集的速度可以得到保证
- 为感谢你们的支持,准备写一套免费爬虫的教程保证你学会以后可以爬取市面上大部分嘚网站,
- 关于验证码:本项目所用的方法都没有处理验证码识别复杂验证码的难度就目前来说,还是比较大的以我的心得来说,做爬蟲最好的方式就是尽量规避验证码
- 代码失效:由于网站策略或者样式改变,导致代码失效请给我提issue,如果你已经解决可以提PR,谢谢!
- 正在对部分代码进行优化。
- 如果该repo对大家有帮助,给个star鼓励鼓励吧
- 欢迎更多的人来提pr~
- 本项目仅用于学习和交流
欢迎任何人参与和完善:一个人可以走的很快但是一群人却可以走的更远