【生意多】-免费发布分类信息
当前位置: 首页 » 新闻 » 商业与经济 » 正文

爬虫之爬取网贷之家在档P2P平台基本数据并存入数据库

放大字体  缩小字体 发布日期:2020-08-29 02:41:04    浏览次数:11
导读

  1.用chrome浏览器打开网贷之家官网:然后使用Chrome工具审查元素,勾选 Preserve log 然后刷新一次页面  2.找到也就是说网贷之家将所收集在档的平台以JSON形式数据储放的,这下就很好办了,直接用抓取这个页面就ok  进行查询:条件为查询存储到数据库中,平台名称为介贷网的信息。ps:小小的一波推荐,玩P2P的,这个

  1.用chrome浏览器打开网贷之家官网:然后使用Chrome工具审查元素,勾选 Preserve log 然后刷新一次页面

  2.找到也就是说网贷之家将所收集在档的平台以JSON形式数据储放的,这下就很好办了,直接用抓取这个页面就ok

  进行查询:条件为查询存储到数据库中,平台名称为介贷网的信息。ps:小小的一波推荐,玩P2P的,这个平台虽然小,但还不错。

  1.第一次连接数据库储存数据,花了很长时间去琢磨插入语句,因为操作及逻辑思维固化的原因,刚开始将数据库语言写成cur.execute(*******),但因为基础不扎实,硬是写不好,后来想到了,不如先写好数据库语句,将它作为一个对象写进执行数据库语句的cur.execute(*******)里面去。

  3.记得it()否则,执行的插入语句是没有用的,因为没有提交到数据库 ,它的伙伴con.rollback() 是用来回滚的。打个比方,屌丝去追女神(数据库),送花(操作,增删改),别人妹子接受了你的花,那么就(mit()),不接受,那么你就滚吧(con.rollback()),

  还有cur.close() 和con.close(),养成良好的习惯,操作完成后记得关闭连接

 
关键词: 网贷之家数据
(文/小编)
打赏
免责声明
• 
本文为小编原创作品,作者: 小编。欢迎转载,转载请注明原文出处:http://www.31duo.com/news/show-483396.html 。本文仅代表作者个人观点,本站未对其内容进行核实,请读者仅做参考,如若文中涉及有违公德、触犯法律的内容,一经发现,立即删除,作者需自行承担相应责任。涉及到版权或其他问题,请及时联系我们。
 

(c)2016-2019 31DUO.COM All Rights Reserved浙ICP备19001410号-4

浙ICP备19001410号-4