学习爬虫之Scrapy框架学习(1)—Scrapy框架初学习及豆瓣top250电影信息获取的实战!

学习爬虫之Scrapy框架学习(1)---Scrapy框架初学习及豆瓣top250电影信息获取的实战!(1)Scrapy模块安装scrapy支持Python2.7和python3.4以上版本。python包可以用全局安装(也称为系统范围),也可以安装在用户空间中。Windows一.直接安装1.在https://www.lfd.uci.edu/~gohlke/pythonlibs/下载对应的Twisted的版本文件2.在命令行进入到Twisted的目录执行pipinstall加Twisted文件名3.执行pipinstallscrapy二.annaconda下安装 (官方

(1)Scrapy模块安装

scrapy支持Python2.7和python3.4以上版本。

python包可以用全局安装(也称为系统范围),也可以安装在用户空间中。

Windows
一.直接安装
1.在https://www.lfd.uci.edu/~gohlke/pythonlibs/ 下载对应的Twisted的版本文件
2. 在命令行进入到Twisted的目录 执行pip install 加Twisted文件名

3.执行pip install scrapy
二.annaconda 下安装 (官方推荐)
1.安装conda
conda旧版本 https://docs.anaconda.com/anaconda/packages/oldpkglists/
安装方法 https://blog.csdn.net/ychgyyn/article/details/82119201
2. 安装scrapy conda install scrapy

(2)Scrapy框架简介

Scrapy是纯Python开发的一个高效,结构化的网页抓取框架。

Scrapy是个啥?

Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的,也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。 Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试 Scrapy使用了Twisted 异步网络库来处理网络通讯。

我们为啥要用这玩意呢&

本文来源孤寒者,由架构君转载发布,观点不代表Java架构师必看的立场,转载请标明来源出处:https://javajgs.com/archives/209689
0
   

发表评论