首先分析打开网站之后,然后打开源码,我们发现前面一些新闻标题在源码中可以找到,而下面的标题在源码中找不到此时我们需要使用fildder抓包来分析这些新闻的网址等信息隐藏在那个地方这些都有我们要找的信息我们将网址拷贝出来,在浏览器中打开发现并不是我们要找的源码信息 这个url拷贝出来就能发现我们的源码对比一下两个网址的区别
代码:#CrawBaiduTop.pyimport requestsfrom bs4 import BeautifulSoupimport bs4tops = [] #创建空列表,用于储存词条url = h...
虫,课程包括五个部分: 第一部分:CSS选择器,主要讲解类选择器,ID选择器,标签选择器,伪类和伪元素,以及组合选择器等。 第二部分:Python正则表达式,主要讲解Python对正则表达式的支持,匹配单字符、匹配多字符、匹配开头结尾、匹配分组、 search、findall、sub、split 等方法以及贪婪和非贪婪匹配。 第三部分:Requests框架,主要讲解如何发送请求,如何获得响应结果、cookie、Session、超时和代理的处理 第四部分:BeautifulSoup框架 , 主要讲解遍历文档、搜索文档和修改文档。 第五部分:项目,通过

