本书采用简洁强大的 Python 语言，介绍了网络数据采集，并为采集新式网络中的各种数据类型提供了全面的指导。第一部分重点介绍网络数据采集的基本原理 ：如何用 Python 从网络服务器请求信息，如何对服务器的响应进行基本处理，以及如何以自动化手段与网站进行交互。第二部分介绍如何用网络爬虫测试网站，自动化处理，以及如何通过更多的方式接入网络。
本书适合需要采集 Web 数据的相关软件开发人员和研究人员阅读。
在互联网上进行自动数据采集这件事和互联网存在的时间差不多一样长。虽然网络数据采集并不是新术语，但是多年以来，这件事更常见的称谓是网页抓屏（screen scraping）、数据挖掘（data mining）、网络收割（Web harvesting）或其他类似的版本。今天大众好像更倾向于用“网络数据采集”，因此我在本书中使用这个术语，不过有时会把网络数据采集程序称为网络机器人（bots）。
课程目录：
前言
第一部分 创建爬虫
第 1 章 初见网络爬虫
1.1 网络连接
1.2 BeautifulSoup 简介
1.2.1 安装 BeautifulSoup
1.2.2 运行 BeautifulSoup
1.2.3 可靠的网络连接
第 2 章 复杂 HTML 解析
2.1 不是一直都要用锤子
2.2 再端一碗 BeautifulSoup
2.2.1 BeautifulSoup 的 find() 和 findAll()
2.2.2 其他 BeautifulSoup 对象
2.2.3 导航树
2.3 正则表达式
2.4 正则表达式和 BeautifulSoup
2.5 获取属性
2.6 Lambda 表达式
2.7 超越 BeautifulSoup
第 3 章 开始采集
3.1 遍历单个域名
3.2 采集整个网站
3.3 通过互联网采集
3.4 用 Scrapy 采集
第 4 章 使用 API
4.1 API 概述
4.2 API 通用规则
4.2.1 方法
4.2.2 验证
4.3 服务器响应
4.4 Echo Nest
4.5 Twitter API
4.5.1 开始
4.5.2 几个示例
4.6 Google API
4.6.1 开始
4.6.2 几个示例
4.7 解析 JSON 数据
4.8 回到主题
4.9 再说一点 API
第 5 章 存储数据
5.1 媒体文件
5.2 把数据存储到 CSV
5.3 MySQL
5.3.1 安装 MySQL
5.3.2 基本命令
5.3.3 与 Python 整合
5.3.4 数据库技术与最佳实践
5.3.5 MySQL 里的“六度空间游戏”
5.4 Email
第 6 章 读取文档
6.1 文档编码
6.2 纯文本
6.3 CSV
6.4 PDF
6.5 微软 Word 和 .docx
第二部分 高级数据采集
第 7 章 数据清洗
7.1 编写代码清洗数据
7.2 数据存储后再清洗
第 8 章 自然语言处理
8.1 概括数据
8.2 马尔可夫模型
8.3 自然语言工具包
8.3.1 安装与设置
8.3.2 用 NLTK 做统计分析
8.3.3 用 NLTK 做词性分析
8.4 其他资源
第 9 章 穿越网页表单与登录窗口进行采集
9.1 Python Requests 库
9.2 提交一个基本表单
9.3 单选按钮、复选框和其他输入
9.4 提交文件和图像
9.5 处理登录和 cookie
9.6 其他表单问题
第 10 章 采集 JavaScript
10.1 JavaScript 简介
10.2 Ajax 和动态 HTML
10.3 处理重定向
第 11 章 图像识别与文字处理
11.1 OCR 库概述0
11.1.1 Pillow
11.1.2 Tesseract
11.1.3 NumPy
11.2 处理格式规范的文字
11.3 读取验证码与训练 Tesseract
11.4 获取验证码提交答案
第 12 章 避开采集陷阱
12.1 道德规范
12.2 让网络机器人看起来像人类用户
12.2.1 修改请求头
12.2.2 处理 cookie
12.2.3 时间就是一切
12.3 常见表单安全措施
12.3.1 隐含输入字段值
12.3.2 避免蜜罐
12.4 问题检查表
第 13 章 用爬虫测试网站
13.1 测试简介
13.2 Python 单元测试
13.3 Selenium 单元测试
13.4 Python 单元测试与 Selenium 单元测试的选择
第 14 章 远程采集
14.1 为什么要用远程服务器
14.1.1 避免 IP 地址被封杀
14.1.2 移植性与扩展性
14.2 Tor 代理服务器
14.3 远程主机
14.3.1 从网站主机运行
14.3.2 从云主机运行
14.4 其他资源
14.5 勇往直前
附录 A Python 简介
附录 B 互联网简介
附录 C 网络数据采集的法律与道德约束
作者简介
封面介绍
2、出于传递信息之目的，故百万资源网可能会误刊发损害或影响您的合法权益，请您积极与我们联系处理(所有内容不代表本站观点与立场)；
3、因时间、精力有限，我们无法一一核实每一条消息的真实性，但我们会在发布之前尽最大努力来核实这些信息；
4、无论出于何种目的要求本站删除内容，您均需要提供根据国家版权局发布的示范格式 《要求删除或断开链接侵权网络内容的通知》：https://www.bw1.net/banquan/sfgs.pdf， 国家知识产权局《要求删除或断开链接侵权网络内容的通知》填写说明： http://www.ncac.gov.cn/chinacopyright/contents/12227/342400.shtml 未按照国家知识产权局格式通知一律不予处理；请按照此通知格式填写发至本站的邮箱 master@bw1.net
请登录后发表评论
注册