yabo亚搏网页版:Python反爬教科书级此外网站-汽车之家

栏目:茶油

更新时间:2021-07-16

浏览: 90788

yabo亚搏网页版:Python反爬教科书级此外网站-汽车之家

产品简介

详细的数据如下检察页面源代码发现,一个好玩的事情,源代码中使用了大量的CSS3的语法下图,我标注的部门就是关键的一些数据了,或许在600行之后。

产品介绍

本文摘要:详细的数据如下检察页面源代码发现,一个好玩的事情,源代码中使用了大量的CSS3的语法下图,我标注的部门就是关键的一些数据了,或许在600行之后。

yabo亚搏网页版

详细的数据如下检察页面源代码发现,一个好玩的事情,源代码中使用了大量的CSS3的语法下图,我标注的部门就是关键的一些数据了,或许在600行之后。反爬措施展示源文件数据刹车/<span class='hs_kw86_baikeIl'></span>宁静系统页面显示数据一些关键数据被处置惩罚过了。爬取关键信息我们要把源代码中的关键信息先获取到,纵然他数据是存在反爬的。获取数据是很是简朴的。

通过request模块即可def get_html(): url = "https://car.autohome.com.cn/config/series/59.html#pvareaid=3454437" headers = { "User-agent": "你的浏览器UA" } with requests.get(url=url, headers=headers, timeout=3) as res: html = res.content.decode("utf-8") return html找关键因素在html页面中找到关键点:var configvar levelIdvar keyLinkvar bagvar colorvar innerColorvar option这些内容你找到之后,你下手就用重点了,他们是什么?数据啊,通过简朴的正则表达式就可以获取到了def get_detail(html): config = re.search("var config = (.*?)};", html, re.S) option = re.search("var option = (.*?)};", html, re.S) print(config,option)输出效果>python e:/python/demo.py<re.Match object; span=(167291, 233943), match='var config = {"message":"<span class=\'hs_kw50_co>>python e:/python/demo.py<re.Match object; span=(167291, 233943), match='var config = {"message":"<span class=\'hs_kw50_co> <re.Match object; span=(233952, 442342), match='var option = {"message":"<span class=\'hs_kw16_op>处置惩罚汽车参数通过正则表达式的search方法,匹配数据,然后挪用group(0) 即可获得相关的数据def get_detail(html): config = re.search("var config = (.*?)};", html, re.S) option = re.search("var option = (.*?)};", html, re.S) # 处置惩罚汽车参数 car_info = "" if config and option : car_info = car_info + config.group(0) + option.group(0) print(car_info)拿到数据之后,没有完,这是混淆之后的数据,需要剖析回去,继续关注网页源代码,发现一段奇怪的JS。这段JS先不用管,留点印象即可~关键字破解注意到<span class="hs_kw28_configfH"></span>hs_kw数字_configfH是一个span的class我选中span之后的::before对应的css为发现实测两个字泛起了,对应的class请记着.hs_kw28_configfH::before全局搜索一下双击找到泉源确定数据就在html源码当中。花样化html源码,在内部搜索hs_kw,找到关键函数 function $GetClassName$($index$) { return '.hs_kw' + $index$ + '_baikeCt'; }这段JS的泉源就是我们适才保留的谁人JS代码段,复制所有的JS源码,到source内里新建一个snippet,然后我们运行一下。在内里代码最后添加一个断点,ctrl+enter运行运行到断点,在右侧就能看到一些参数泛起$ruleDict$:$rulePosList$通过参数去查找,焦点的替换方法接下来,我们举行替换操作,这部流程需要用到selenium举行替换焦点代码如下,主要的注释,我写在了代码内部,希望能资助你看懂'''遇到不懂的问题?Python学习交流群:700341555满足你的需求,资料都已经上传群文件,可以自行下载!'''def write_html(js_list,car_info): # 运行JS的DOM -- 这部破解是最贫苦的,很是耗时间~参考了互联网上的大神代码 DOM = ("var rules = '2';" "var document = {};" "function getRules(){return rules}" "document.createElement = function() {" " return {" " sheet: {" " insertRule: function(rule, i) {" " if (rules.length == 0) {" " rules = rule;" " } else {" " rules = rules + '#' + rule;" " }" " }" " }" " }" "};" "document.querySelectorAll = function() {" " return {};" "};" "document.head = {};" "document.head.appendChild = function() {};" "var window = {};" "window.decodeURIComponent = decodeURIComponent;") # 把JS文件写入到文件中去 for item in js_list: DOM = DOM + item html_type = "<html><meta http-equiv='Content-Type' content='text/html; charset=utf-8' /><head></head><body> <script type='text/javascript'>" # 拼接成一个可以运行的网页 js = html_type + DOM + " document.write(rules)</script></body></html>" # 再次运行的时候,请把文件删除,否则无法建立同名文件,或者自行加验证即可 with open("./demo.html", "w", encoding="utf-8") as f: f.write(js) # 通过selenium将数据读取出来,举行替换 driver = webdriver.PhantomJS() driver.get("./demo.html") # 读取body部门 text = driver.find_element_by_tag_name('body').text # 匹配车辆参数中所有的span标签 span_list = re.findall("<span(.*?)></span>", car_info) # car_info 是我上面拼接的字符串 # 根据span标签与text中的关键字举行替换 for span in span_list: # 这个地方匹配的是class的名称 例如 <span class='hs_kw7_optionZl'></span> 匹配 hs_kw7_optionZl 出来 info = re.search("'(.*?)'", span) if info: class_info = str(info.group(1)) + "::before { content:(.*?)}" # 拼接为 hs_kw7_optionZl::before { content:(.*?)} content = re.search(class_info, text).group(1) # 匹配文字内容,返回效果为 "实测""油耗""质保" car_info = car_info.replace(str("<span class='" + info.group(1) + "'></span>"), re.search("\"(.*?)\"", content).group(1)) print(car_info)运行效果对比一下原来数据,发现问题不大,完成任务。


本文关键词:yabo亚搏网页版,yabo亚搏网页版

本文来源:yabo亚搏网页版-www.babycages.com