反爬虫策略以及解决方法
java和python在爬虫方面的优势和劣势是什么？
java和python在爬虫方面的优势和劣势是什么？
做过数年爬虫，Python和Java都用过（主要用Python），亲身感受来回答问题。
做爬虫是一个很有意思的事情，它不是算算数字也不是画图，更像是模拟人类来做重复性的琐碎工作，同时要和反爬虫斗智斗勇。
我们抛开语言，先看看什么是做爬虫开发要注意的或者更重要的：
选择熟悉的语言据说最好的编程语言是你已经熟悉的——网络爬虫也是这样。在学习使用时，可能会加快速度——站在凳子上拿高处东西会容易些。
第三方库可以使事情变得更容易并不需要从头开始，因为有许多第三方库专门用于网络爬虫——憋重头造轮子阿——站在巨人肩膀上更容易摸到月亮——也更容易掉下来。
什么是爬虫的最佳编程语言？从网站爬行和提取数据涉及各种问题——I/O机制、通信、多线程、任务调度和重复数据删除等等。语言框架将对爬网效率产生重大影响。
以下是爬虫的的理想编程语言需要的东西：灵活性提供数据库的操作能力“爬”效率易于编写可扩展性可维护性网络抓取的速度是否依赖于语言？许多初学者都在思考编程语言在速度方面的问题。但是处理速度一般不是这里的瓶颈。实际上，影响速度的主要因素是I / O（输入/输出），因为网络爬虫就是发送请求和接收响应。与互联网的沟通是这里的真正瓶颈。互联网的速度无法与您机器内处理器的速度相匹配。
这并不意味着语言无关紧要；
语言的速度主要取决于开发速度，易维护性和代码可读性
Node.js
Node.js特别 适合 抓取使用动态编码的网站。 虽然它支持分布式爬，但通信的稳定性相对较弱，不建议用于大型项目。
CampC ：
虽然C和C 提供了很好的性能，但开发太累了。 因此，建议不要使用C或C 。
PHP：
PHP可能是构建爬虫程序最不利的语言。对多线程和异步的弱支持是一个很大的缺点，这可能会在任务调度和排队方面产生许多问题。
Python：
Python是最流行的Web抓取语言。它更像是一个多面手，可以顺利处理大多数网络爬行相关流程。
Scrapy和Beautiful Soup是基于Python的广泛使用的框架。
Beautiful soup是一个Python库，专为快速高效的Web爬虫而设计。
一些值得注意的功能是用于导航，搜索和修改解析树的Pythonic习语。 Beautiful Soup还可以将传入的文档转换为Unicode，将传出的文档转换为UTF-8。 Beautiful Soup适用于流行的Python解析器，如lxml和html5lib，它们允许您尝试不同的解析方法。这些高度发展的Web库使Python成为Web爬虫的最佳语言。