-
auto
2019-05-12 20:14:45
python
2396°
20
说下Python3不使用gdb的自身调试 前情提要:服务器莫名卡死,用网上的方法用gdb,下载了很多组件,包括那个libpython.py,都没什么用,看不到堆栈,也试了保存core文件等等 大事找官方:官方介绍了python3的调试方法——pdb 用法: 进入到你程序的目录 python3 >>> ...
-
auto
2019-05-12 20:14:45
python
2033°
20
[TOC] 1. Spider Spider类定义了如何爬取某个(或某些)网站。包括了爬取的动作(例如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item)。 换句话说,Spider就是您定义爬取的动作及分析某个网页(或者是有些网页)的地方。 class scrapy.Spider是最 ...
-
auto
2019-05-12 20:14:45
python
2139°
20
[TOC] 1.CrawlSpider介绍 通过下面的命令可以快速创建 CrawlSpider模板 的代码: 它是Spider的派生类,Spider类的设计原则是只爬取start_url列表中的网页,而CrawlSpider类定义了一些规则(rule)来提供跟进link的方便的机制,从爬取的网页中获 ...
-
auto
2019-05-12 20:14:45
python
2184°
20
在编写python文件时,一般会在入口文件中加入if __name__ == "__main__", 这样当这个脚本文件执行时就会执行这个语句下面的内容,而如果这个脚本文件被当作模块引入(import xxx)到其他文件中时这个下面的语句就不会执行。 在flask中还有另一个作用 一般在入口文件中, ...
-
auto
2019-05-12 20:14:45
python
2295°
20
python多线程有个全局解释器锁(global interpreter lock)。 这个锁的意思是任一时间只能有一个线程使用解释器,跟单cpu跑多个程序一个意思,大家都是轮着用的,这叫“并发”,不是“并行”。 多进程间共享数据,可以使用 multiprocessing.Value 和 multi ...
-
auto
2019-05-12 20:14:45
python
1796°
20
```python class OrderBy(object): def __init__(self, sequence, *condition, **extra_condition): """ 排序初始化条件 condition为优先排序条件,序列内元素必须为字典类型 extra_conditio... ...
-
auto
2019-05-12 20:14:45
python
1979°
20
37、对10个数进行排序。 程序分析:可以利用选择法,即从后9个比较过程中,选择一个最小的与第一个元素交换,下次类推,即用第二个元素与后8个进行比较,并进行交换。 38、求一个3*3矩阵主对角线元素之和。 程序分析:利用双重for循环控制输入二维数组,再将a[i][i]累加后输出。 39、有一个已经 ...
-
auto
2019-05-12 20:14:45
python
2108°
20
原版: TCP分为客户端(client)和服务器(server),每次服务器只能为客户端提供一次的下载服务。 改良版: TCP分为客户端(client)和服务器(server), (1)每次服务器能为客服端循环提供下载服务, (2)服务器能够识别出不存在的文件并且发送客户端, (3)客户端能够通过输 ...
-
auto
2019-05-12 20:14:45
python
2010°
20
迭代器的执行流程,以及说明可迭代对象不一定是迭代器,但迭代器一定是可迭代对象 实例1 实例1的优化 ...
-
auto
2019-05-12 20:14:45
python
2730°
20
原因:python是64位的python,而windll.LoadLibrary只能由32位的python使用 参考: 64位Python调用32位DLL方法(一) 解决方法:使用32位的python(切记版本不要太新,本人一开始使用最新的32位python3.7.2再次报错,换成python3.6 ...
-
auto
2019-05-12 20:14:45
python
2121°
20
一、闭包 1.举例 注意:inner()是局部变量,在全局范围不可调用(即不能直接调用inner()函数),但是在法二中,在执行完 f = outer() 之后,outer()函数就已经结束,执行f()的时候却可以调用inner()函数,并输出x的值,这是因为outer()里 return 的 in ...
-
auto
2019-05-12 20:14:45
python
2074°
20
向后台提交数据除了前端url,form表单,Ajax外还可以用cookie,secure_cookie,提交更多信息可以在用cookie基础上用session, cookie,secure_cookie提交用户数据:浏览器访问1页面,后端判断前端浏览器提供的用户对不对,对的话,设置cookie或se ...
-
auto
2019-05-12 20:14:45
python
2112°
20
[TOC] 1.目标 爬取每个页面链接的内部内容和投诉信息 2.方法1:通过Spider爬取 python coding: utf 8 import scrapy from dongguanSpider.items import DongguanItem class SunSpider(scrapy ...
-
auto
2019-05-12 19:12:04
python
2448°
20
虚拟环境的作用 使python环境拥有独立的包,避免污染原本的python环境。为不同的项目创建不同的环境可以避免安装的库过于庞大和相互干扰。 例如你想在同一台机器上开发用python2和python3写的2个项目就可以用虚拟环境进行隔离,又网站开发、爬虫和科学计算所需要的包都不一样也可以用虚拟环境 ...
-
auto
2019-05-12 19:12:04
python
2191°
20
背景:在百度每次输入关键词检索后,会出现很多的检索页,不利于有效阅读,为更方便收集检索信息,编写了一个可以收集每个检索页与检索词相关的十条检索信息(百度在每个检索页放置十条检索标题信息)。可以根据需要选择爬取多少检索页,通过修改main()函数的depth变量 1 import urllib.req... ...
-
auto
2019-05-12 19:12:04
python
2090°
20
看到题目觉得非常简单 只需要找到list的最后一个下标位置使其加一 即可。 然而天真如我 下面情况才是这题的重点 需要考虑进位的情况 重新思考: 笔者想到的是先将数组数字转为十进制数字,然后加一,接着按位取模得到每一位的值。 上代码(花费时间48ms)击败70% 然后举出比较正常的方法 思路:对每个 ...
-
auto
2019-05-12 19:12:04
python
2124°
20
前言 运行程序时经常遇到各种错误,例如:ImportError(导入模块错误)、IndexError(索引错误)、NameError(变量错误)、SyntaxError(语法错误)、IndentationError(缩进错误)等,你或许有许多疑问,为什么程序出现这个错误就会打印出相应的错误信息,自己 ...
-
auto
2019-05-12 19:12:04
python
2308°
20
今日头条如今在自媒体领域算是比较强大的存在,今天就带大家利用python爬去今日头条的热点新闻,理论上是可以做到无限爬取的; 在浏览器中打开今日头条的链接,选中左侧的热点,在浏览器开发者模式network下很快能找到一个‘?category=new_hot...’字样的文件,查看该文件发现新闻内容的 ...
-
auto
2019-05-12 19:12:04
python
1976°
20
使用 multiprocessing 里的 Queue() ...
-
auto
2019-05-12 19:12:04
python
2282°
20
目前,一般实现文件图片上传的方式都是有一个按钮,点击之后直接调用操作系统自身的弹框,选择文件后,实现上传。因为Selenium不支持调用操作系统的操作,所以这种情况下,利用Selenium无法完成图片上传,这时,我们可以选择autoit实现。 autoit可以操控控件 下载地址 :https://w ...