老头子的博客  2018年08月16日 星期四

手机版

Python学习(一)

利用Python在Windows下爬京东金融的导航数据

1、安装beautifulsoup。下载路径:https://pypi.org/project/beautifulsoup4/#description

将下载的安装包解压到Python的本地安装目录。我这里的目录是:D:\Python36

然后通过cmd 进入。如下图所示

1.png

接着输入安装命令:setup.py install

2.png

安装完毕之后通过命令:from bs4 import BeautifulSoup。如果该命令没有报错证明安装是没有问题的

2、编写获取导航标签数据的脚本,脚本如下:

# 在urllib 库里面,查找Python的request模块,只导入一个urlopen函数
from urllib.request import urlopen
# 导入我们刚才安装的BeautifulSoup对象
from bs4 import BeautifulSoup

html = urlopen('http://jr.jd.com') # 打开url,获取HTML内容
# 把html内容传到BeautifulSoup对象
bs_obj = BeautifulSoup(html.read(), 'html.parser')
# 找到所有class="nav-item-primary"的a标签
text_list = bs_obj.find_all("a", "nav-item-primary")
for text in text_list:
    print(text.get_text()) # 打印标签的文本
html.close() # 关闭文件

3、将第2步的脚本保存为get_data.py

4、执行上述脚本。显示如下图的效果

3.png


 


标签:
上一篇: Python学习(二)
下一篇: Linux环境下通过rpm安装gcc的顺序

发表评论:

*