网络爬虫：python下爬虫库的安装

前言：
一、Requests库的安装
二、Requests库简介

1. Requests库的get()方法
2. Response对象的属性

欢迎学习交流！
邮箱： z…@1…6.com
网站： https://zephyrhours.github.io/

随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。那么我们如何根据需求获取我们想要的东西呢? 网络爬虫 ，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。很多不太了解爬虫的朋友也许会感觉这是一个很高大上的技术，其实它的学习并不是很难，我们只需要学好python下面的 request库就好，这是一个专门用于网络爬虫的比较好的爬虫库。下面我就来介绍一下该库的安装过程和简单的测试。

一、Requests库的安装

1. 特点

Request库操具有以下特点：

简洁、简单
目前公认最好的爬虫库

2. 安装

step1： 打开cmd命令窗口，进入相关库位置，或者用管理员权限直接打开命令窗口；
step2： 使用如下命令进行安装：

pip install requests
安装完成后如下所示，提升库安装成功。
 
 Request 的官方网站：
 https://requests.readthedocs.io/en/master/
  
3. 测试
 
启动IDLE，然后输入下面代码进行测试： 
import requests
r=requests.get("http://www.baidu.com") # 以访问百度主页为例子
r.status_code       # 检测状态码，200表示访问成功，否则表示访问失败
注意： 如果在IDLE里面输入以上代码要逐行输入，否则会出错误，建议大家使用Pycharm
 具体运行结果如下：
 
 可以看到状态码返回值为200，这就说明已经访问成功。 
修改编码格式为“uft-8”，然后打印网页内容 
r.encoding ='utf-8'      # 修改编码格式为utf-8
r.text                   # 打印网页内容
具体运行效果如下，可以看到百度网有首页就已经被抓取出来了。
  
二、Requests库简介
 
在requests库中，主要有7个方法，具体如下： 
requests.request()： 构造一个请求，支撑以下各方法的基础方法
requests.get()： 获取HTML网页的主要方法，对应于HTTP的GET
requests.head()： 获取HTML网页头信息的方法，对应于HTTP的HEAD
requests.post()： 向HTML网页提交POST请求的方法，对应于HTTP的POST
requests.put()： 向HTML 网页体交PUT请求的方法，对应于HTTP的PUT
requests.patch()： 向HTML网页提交局部修改请求，对应于HTPP的PATCH
requests.delete()： 向HTML页面体交删除请求，对应于HTPP的DELECT 
1. Requests库的get()方法
 
下面是获取一个网有最简单的代码，其中的url表示想要获取的网页网址。 
r=requests.get(url)  # 获取网页最简单的代码
通过get方法构造一个向服务器请求资源的Request对象（Request大小写比较敏感，此处为大写）；然后返回一个包含服务器资源的Response对象。
 get方法的完整使用方法如下： 
requests.get(url,params=None,**kwargs)
url： 拟获取页面的url链接
params： url中的额外参数，字典或字节流格式，可选
**kwargs： 12个控制访问的参数
 通过下面命令查看相关内容： 
r.type(r)   # 检测访问类型，下面的返回信息表示表示这个类为Respose类
r.headers   #
2. Response对象的属性
 
利用 r=requests.get(url) 命令返回的 r 属于Response类，下面是Response对象的几个常用属性 
r.status_code： HTTP请求的返回状态，200表示成功，404表示失败
r.text： HTTP响应内容的字符串形式，即url对应的内容
r.encoding： 从HTTP header中猜测的相应内容编码方式
r.apparent_encoding： 从内容中分析出的响应内容编码方法（备选编码方式）
r.content： HTTP响应内容的二进制形式 
直接在IDLE中输入如下代码，在我们不进行编码之前直接打印，可以看到网页是乱码状态 
import rquests
r=requests.get("https://www.baidu.com")
r.status_code
r.text      # 直接打印网页内容

 然后我们使用下面两行代码分别查看该网页的编码格式: 
r.encoding     # 网页当前编码方式
r.apparent_encoding   # 备选编码方式
具体返回值如下：
 
 从返回结果可以看到当前编码格式，在当前编码格式下，返回页码内容是乱码的，所以我们考虑利用备选编码格式替换当前编码格式，然后在进行显示。 
r.encoding = "utf-8"
r.text
此使可以看到网页汉字已经可以正常显示。
 
 这说明： 网页内容对编码格式是有要求的，当使用r.enconding不能正确解码时，我们应该使用r.apparent_encoding返回的编码格式进行解码。 
r.encoding： 如果header中不存在charest，则默认为编码为ISO-8859-1
r.apparent_encoding： 根据网页内容分析出的编码方式 
通过对Requests库的安装及其基本介绍，相信你应该会有一些基本的了解，为了方便初学者了解，此处代码演示使用的是python自带的IDLE（这个代码编辑器很不好用），因此建议大家选择一个适合自己的编辑器也很重要，笔者常用的编辑工具是 Pycharm Cummunity，感兴趣的朋友可以自己搜搜下载，该软件完全免费，而且相对比较好用。后面的文章中笔者也会更新一些爬取网页的通用代码框架，希望对于初学者有所帮助。
                                    大家好，我是爱吃饼干的小白鼠。大家安装完python的requests，beautifulsoup ，lxml三个库，之后，我们就来说说怎么使用吧。然后我教大家一个简单的爬虫程序。
                                    前言    最近正在学习Python网络爬虫的相关知识，所以想边学边与大家分享，鉴于本人Python水平有限，此前除了用pygame按照教程做过一些游戏之外对Python并无太深的理解，所以此文章的主要目的在于抛砖引玉，若文章中有什么错误与瑕疵，望大家可以指出，使我们共同进步。正文  目前Python爬虫领域最流行的库是requests库，关于该库的更多信息可以在官方网站http://www.py...
                                    　　Python语言的应用场景可谓是十分全面，比如后端开发、网络爬虫、人工智能、数据分析，之所以应用场景这么广泛，其原因在于丰富的第三方库，那么适用于网络爬虫的第三方库有哪些呢?
                                    经常游弋在互联网爬虫行业的程序员来说，如何快速的实现程序自动化，高效化都是自身技术的一种沉淀的结果，那么使用Python爬虫都会需要那些数据库支持？下文就是有关于我经常使用的库的一些见解。
                                    一、类似 Requests 的库
为什么要推荐类似 Requests 的库呢？Requests 不够好吗？
虽然 Requests 对于新手很容易上手，但它是同步的、并不是异步设计的。在 HTTP 请求的时候是需要 IO 等待的。比如说，当你使用 Requests 库进行请求，网站进行返回的时候，这时 IO 就会阻塞，程序就需要等待网站的返回，这就让爬取速度变慢了。
那么异步的好处在哪呢？（侯爵老师兴奋的停不下来，继续说着）
Python 的代码是一行行去执行。也就是说，如果哪一行是非常耗时间的，之后的所有
                                    很多你需要的信息数据都是在网站内，虽然有些网站的数据会以整洁、结构化的形式呈现，但大部分网站却无法做到这样。因此，当你想要获得一些数据的时候，你需要一些爬虫工具帮助抓取，然后再对其进行分析。今天，将介绍一些很棒的Python爬虫工具1、PyRailgun首先推荐的是PyRailgun，它是一个Web爬虫工具，具有强大的 WebUI 和脚本编辑器、任务监控和项目管理和结果查看。它支持拓展、支持任务优...