一、Python爬虫入门：
1、Python编程基础：
若没有掌握Python编程基础，则建议先学习Python基础知识，掌握一些常用库(如urllib、requests、BeautifulSoup、selenium等)，掌握Python基础语法，学习函数、容器、类、文件读写等常用概念。
2、抓取网页流程：
确定爬取的页面和请求时的Headers，构建一个可能的请求;
进行内容抓取，要注意上一步传入的请求是否作为参数传递;
根据不同的URL或字段的值，进行不同的操作，如解析HTML，提取大字符串;
根据抓取结果，给出不同的操作，可以在同一个爬虫中完成多项多重任务;
完成自己想要的任务，如把爬取结果存储到MySQL服务器或向服务器发送指令。
3、反爬(Anti-crawling)技术：
抓取网站内容时，难免会遇到反爬(anti-crawling)技术，一般来说，分为以下几种：
(1)验证码：当爬虫抓取太频繁时，有的网站会要求用户输入验证码，以保证爬虫的页面访问不被封杀。
(2)User-agent：有的网站会根据浏览器的User-agent字段检测，以保证浏览器的访问不被封杀，因此可以在请求中加入多个不同的User-agent，用以平衡爬虫的访问频率。
(3)爬虫技术：爬虫可以通过模拟浏览器的行为，自动化完成抓取网页内容，目前最常见的抓取技术是基于Python或Javascript构建，通过selenium、Mechanize等浏览器模拟技术，可以有效抓取动态网页内容。
4、分析取得的数据：
获取网页的过程只是爬虫的第一步，真正有用的信息在隐藏在抓取的页面数据，需要根据正则表达式和XPath来提取，结合各种解析库可以实现自动化提取所需信息，并将其存储到数据库当中，以供后续使用。
想要学习爬虫，首先需要掌握基本的编程语言，比如Python等，然后了解HTTP协议、HTML、CSS等基础知识。接着可以学习相关的爬虫框架和工具，比如Scrapy、BeautifulSoup等。需要注意的是，爬虫是一项技术，但也需要遵守法律法规，尊重网站的合法权益，不能进行恶意爬取和侵犯隐私等行为。因此，在学习爬虫的过程中，必须注重道德和法律意识，遵循规则和道德准则。
Python是一门非常简单易学好用,同时功能强大的编程语言,具有丰富和强大的库,开发效率特别高。
Python爬虫能做什么
世界上80%的爬虫是基于Python开发的，学好爬虫技能，可为后续的大数据分析、挖掘、机器学习等提供重要的数据源。
什么是爬虫?
网络爬虫通俗的讲就是通过程序去获取web页面上自己想要的数据，也就是自动抓取数据。
爬虫可以做什么?
你可以用爬虫爬图片，爬取视频等等你想要爬取的数据，只要你能通过浏览器访问的数据都可以通过爬虫获取。
什么是Python?
Python(大蟒蛇)是一门解释型、面向对象、带有动态语义的高级程序设计语言。
Python具有强大而丰富的类库，也经常被别人说是胶水语言，可以跟其它语言写的模块结合在一起。
优点
1.简单：Python是一种代表简单主义思想的语言。
2.易用：Python简单容易上手，因为有简单容易看懂的文档。
3.速度快：运行速度快，因为Python中的标准库和第三方库都是C语言编写的，所以很快。
4.免费、开源：Python是一款FLOSS(自由/源代码软件)之一，使用者可以自由地发布这个软件的拷贝、阅读它的源代码、对它做改动、把它的一部分用于新的自由软件中。
5.高层语言：用Python语言编写程序的时候无需考虑诸如如何管理你的程序使用的内存一类的底层细节。
6.可移植性：由于它的开源本质，Python已经被移植在许多平台上(经过改动使它能够工作在不同平台上)。
7.解释性：Python语言写的程序不需要编译成二进制代码。你可以直接从源代码运行 程序。在计算机内部，Python解释器把源代码转换成称为字节码的中间形式，然后再把它翻译成计算机使用的机器语言并运行。这使得使用Python更加简单。也使得Python程序更加易于移植。
8.面向对象：Python既支持面向过程的编程也支持面向对象的编程。在“面向过程”的语言中，程序是由过程或仅仅是可重用代码的函数构建起来的。在“面向对象”的语言中，程序是由数据和功能组合而成的对象构建起来的。
9.可扩展性：如果需要一段关键代码运行得更快或者希望某些算法不公开，可以部分程序用C或C++编写，然后在Python程序中使用它们。
10.可嵌入性：可以把Python嵌入C/C++程序，从而向程序用户提供脚本功能。
11.丰富的库：Python标准库确实很庞大。它可以帮助处理各种工作，包括正则表达式、文档生成、单元测试、线程、数据库、网页浏览器、CGI、FTP、电子邮件、XML、XML-RPC、HTML、WAV文件、密码系统、GUI(图形用户界面)、Tk和其他与系统有关的操作。
12.规范的代码：Python采用强制缩进的方式使得代码具有较好可读性。而Python语言写的程序不需要编译成二进制代码。
