线程
一. 背景知识 1. 进程: 之前我们已经了解了操作系统中进程的概念，程序并不能单独运行，只有将程序装载到内存中，系统为它分配资源才能运行，而这种执行的程序就称之为进程。程序和进程的区别就在于：程序是指令的集合，它是进程运行的静态描述文本；进程是程序的一次执行活动，属于动态概念。在多道编程中，我们允许多个程序同时加载到内存中，在操作系统的调度下，可以实现并发地执行。这是这样的设计，大大提高了CPU的利用率。进程的出现让每个用户感觉到自己独享CPU，因此，进程就是为了在CPU上实现多道编程而提出的。 2. 有了进程为什么还要线程 进程有很多优点，它提供了多道编程，让我们感觉我们每个人都拥有自己的CPU和其他资源，可以提高计算机的利用率。很多人就不理解了，既然进程这么优秀，为什么还要线程呢？其实，仔细观察就会发现进程还是有很多缺陷的，主要体现在两点上： 进程只能在一个时间干一件事，如果想同时干两件事或多件事，进程就无能为力了。 进程在执行的过程中如果阻塞，例如等待输入，整个进程就会挂起，即使进程中有些工作不依赖于输入的数据，也将无法执行。 如果这两个缺点理解比较困难的话，举个现实的例子也许你就清楚了：如果把我们上课的过程看成一个进程的话，那么我们要做的是耳朵听老师讲课，手上还要记笔记，脑子还要思考问题，这样才能高效的完成听课的任务。而如果只提供进程这个机制的话，上面这三件事将不能同时执行，同一时间只能做一件事，听的时候就不能记笔记，也不能用脑子思考，这是其一；如果老师在黑板上写演算过程，我们开始记笔记，而老师突然有一步推不下去了，阻塞住了，他在那边思考着，而我们呢，也不能干其他事，即使你想趁此时思考一下刚才没听懂的一个问题都不行，这是其二。 现在你应该明白了进程的缺陷了，而解决的办法很简单，我们完全可以让听、写、思三个独立的过程，并行起来，这样很明显可以提高听课的效率。而实际的操作系统中，也同样引入了这种类似的机制——线程。 什么是线程： 指的是一条流水线的工作过程，关键的一句话：一个进程内最少自带一个线程，其实进程根本不能执行，进程不是执行单位，是资源的单位，分配资源的单位 线程才是执行单位 进程：做手机屏幕的工作过程,刚才讲的 我们的py文件在执行的时候，如果你站在资源单位的角度来看，我们称为一个主进程，如果站在代码执行的角度来看，它叫做主线程，只是一种形象的说法，其实整个代码的执行过程成为线程，也就是干这个活儿的本身称为线程，但是我们后面学习的时候，我们就称为线程去执行某个任务，其实那某个任务的执行过程称为一个线程，一条流水线的执行过程为线程 进程vs线程 (1). 同一个进程内的多个线程是共享该进程的资源的，不同进程内的线程资源肯定是隔离的 (2). 创建线程的开销比创建进程的开销要小的多 3. 线程的出现 60年代，在OS中能拥有资源和独立运行的基本单位是进程，然而随着计算机技术的发展，进程出现了很多弊端，一是由于进程是资源拥有者，创建、撤消与切换存在较大的时空开销，因此需要引入轻型进程；二是由于对称多处理机（SMP）出现，可以满足多个运行单位，而多个进程并行开销过大。因此在80年代，出现了能独立运行的基本单位——线程（Threads）。 注意：进程是资源分配的最小单位,线程是CPU调度的最小单位. 每一个进程中至少有一个线程。 在传统操作系统中，每个进程有一个地址空间，而且默认就有一个控制线程 线程顾名思义，就是一条流水线工作的过程，一条流水线必须属于一个车间，一个车间的工作过程是一个进程 车间负责把资源整合到一起，是一个资源单位，而一个车间内至少有一个流水线 流水线的工作需要电源，电源就相当于cpu 所以，进程只是用来把资源集中到一起（进程只是一个资源单位，或者说资源集合），而线程才是cpu上的执行单位。 多线程（即多个控制线程）的概念是，在一个进程中存在多个控制线程，多个控制线程共享该进程的地址空间，相当于一个车间内有多条流水线，都共用一个车间的资源。 二. 进程和线程的关系 线程与进程的区别可以归纳为以下4点： 1）地址空间和其它资源（如打开文件）：进程间相互独立，同一进程的各线程间共享。某进程内的线程在其它进程不可见。 2）通信：进程间通信IPC，线程间可以直接读写进程数据段（如全局变量）来进行通信——需要进程同步和互斥手段的辅助，以保证数据的一致性。（就类似进程中的锁的作用） 3）调度和切换：线程上下文切换比进程上下文切换要快得多。 4）在多线程操作系统中（现在咱们用的系统基本都是多线程的操作系统），进程不是一个可执行的实体，真正去执行程序的不是进程，是线程，你可以理解进程就是一个线程的容器。 三. 线程的特点 在多线程的操作系统中，通常是在一个进程中包括多个线程，每个线程都是作为利用CPU的基本单位，是花费最小开销的实体。线程具有以下属性。 1）轻型实体 线程中的实体基本上不拥有系统资源，只是有一些必不可少的、能保证独立运行的资源。 线程的实体包括程序、数据和TCB。线程是动态概念，它的动态特性由线程控制块TCB（Thread Control Block）描述。 TCB包括以下信息： （1）线程状态。 （2）当线程不运行时，被保存的现场资源。 （3）一组执行堆栈。 （4）存放每个线程的局部变量主存区。 （5）访问同一个进程中的主存和其它资源。 用于指示被执行指令序列的程序计数器、保留局部变量、少数状态参数和返回地址等的一组寄存器和堆栈。 2）独立调度和分派的基本单位。 在多线程OS中，线程是能独立运行的基本单位，因而也是独立调度和分派的基本单位。由于线程很“轻”，故线程的切换非常迅速且开销小（在同一进程中的）。 3）共享进程资源。 线程在同一进程中的各个线程，都可以共享该进程所拥有的资源，这首先表现在：所有线程都具有相同的进程id，这意味着，线程可以访问该进程的每一个内存资源；此外，还可以访问进程所拥有的已打开文件、定时器、信号量机构等。由于同一个进程内的线程共享内存和文件，所以线程之间互相通信不必调用内核。 4）可并发执行。 在一个进程中的多个线程之间，可以并发执行，甚至允许在一个进程中所有线程都能并发执行；同样，不同进程中的线程也能并发执行，充分利用和发挥了处理机与外围设备并行工作的能力。 四. 线程的实际应用场景 开启一个字处理软件进程，该进程肯定需要办不止一件事情，比如监听键盘输入，处理文字，定时自动将文字保存到硬盘，这三个任务操作的都是同一块数据，因而不能用多进程。只能在一个进程里并发地开启三个线程,如果是单线程，那就只能是，键盘输入时，不能处理文字和自动保存，自动保存时又不能输入和处理文字。 之前我们将的socket是不是通过多进程去实现过呀，如果有500个人同时和我聊天，那我是不是要起500进程啊，能行吗？不好，对不对，那么怎么办，我就可以开几个进程，然后每个进程里面开多个线程来处理多个请求和通信。再举例：我用qq是一个进程，然后我和一个人聊天的时候，是不是还可以去接收别人给我发的消息啊，这个是不是并行的啊，就类似我一个进程开了多个线程来帮我并发接收消息。 五. 内存中的线程 多个线程共享同一个进程的地址空间中的资源，是对一台计算机上多个进程的模拟，有时也称线程为轻量级的进程。 而对一台计算机上多个进程，则共享物理内存、磁盘、打印机等其他物理资源。多线程的运行也多进程的运行类似，是cpu在多个线程之间的快速切换。 不同的进程之间是充满敌意的，彼此是抢占、竞争cpu的关系，如果迅雷会和QQ抢资源。而同一个进程是由一个程序员的程序创建，所以同一进程内的线程是合作关系，一个线程可以访问另外一个线程的内存地址，大家都是共享的，一个线程干死了另外一个线程的内存，那纯属程序员脑子有问题。 类似于进程，每个线程也有自己的堆栈，不同于进程，线程库无法利用时钟中断强制线程让出CPU，可以调用thread_yield运行线程自动放弃cpu，让另外一个线程运行。 线程通常是有益的，但是带来了不小程序设计难度，线程的问题是： 1. 父进程有多个线程，那么开启的子线程是否需要同样多的线程 2. 在同一个进程中，如果一个线程关闭了文件，而另外一个线程正准备往该文件内写内容呢？ 因此，在多线程的代码中，需要更多的心思来设计程序的逻辑、保护程序的数据。 六. 用户级线程和内核级线程 线程的实现可以分为两类：用户级线程(User-Level Thread)和内核线线程(Kernel-Level Thread)，后者又称为内核支持的线程或轻量级进程。在多线程操作系统中，各个系统的实现方式并不相同，在有的系统中实现了用户级线程，有的系统中实现了内核级线程。 1.用户级线程 内核的切换由用户态程序自己控制内核切换,不需要内核干涉，少了进出内核态的消耗，但不能很好的利用多核Cpu。 在用户空间模拟操作系统对进程的调度，来调用一个进程中的线程，每个进程中都会有一个运行时系统，用来调度线程。此时当该进程获取cpu时，进程内再调度出一个线程去执行，同一时刻只有一个线程执行。 2.内核级线程 内核级线程:切换由内核控制，当线程进行切换的时候，由用户态转化为内核态。切换完毕要从内核态返回用户态；可以很好的利用smp，即利用多核cpu。windows线程就是这样的。 3.用户级和内核级线程的对比 1) 内核支持线程是OS内核可感知的，而用户级线程是OS内核不可感知的。 2) 用户级线程的创建、撤消和调度不需要OS内核的支持，是在语言（如Java）这一级处理的；而内核支持线程的创建、撤消和调度都需OS内核提供支持，而且与进程的创建、撤消和调度大体是相同的。 3) 用户级线程执行系统调用指令时将导致其所属进程被中断，而内核支持线程执行系统调用指令时，只导致该线程被中断。 4) 在只有用户级线程的系统内，CPU调度还是以进程为单位，处于运行状态的进程中的多个线程，由用户程序控制线程的轮换运行；在有内核支持线程的系统内，CPU调度则以线程为单位，由OS的线程调度程序负责线程的调度。 5) 用户级线程的程序实体是运行在用户态下的程序，而内核支持线程的程序实体则是可以运行在任何状态下的程序 内核级线程的优缺点： 优点：当有多个处理机时，一个进程的多个线程可以同时执行。 缺点：由内核进行调度。 用户级线程的优缺点： 优点： 线程的调度不需要内核直接参与，控制简单。 可以在不支持线程的操作系统中实现。 创建和销毁线程、线程切换代价等线程管理的代价比内核线程少得多。 允许每个进程定制自己的调度算法，线程管理比较灵活。 线程能够利用的表空间和堆栈空间比内核级线程多。 同一进程中只能同时有一个线程在运行，如果有一个线程使用了系统调用而阻塞，那么整个进程都会被挂起。另外，页面失效也会产生同样的问题。 缺点： 资源调度按照进程进行，多个处理机下，同一个进程中的线程只能在同一个处理机下分时复用 4.混合实现 用户级与内核级的多路复用，内核同一调度内核线程，每个内核线程对应n个用户线程，用户和内核都能感知到的线程，用户创建一个线程，那么操作系统内核也跟着创建一个线程来专门执行你用户的这个线程。 七. python与线程 1.全局解释器锁GIL（用一下threading模块之后再来看~~） Python代码的执行由Python虚拟机(也叫解释器主循环)来控制。Python在设计之初就考虑到要在主循环中，同时只有一个线程在执行。虽然 Python 解释器中可以“运行”多个线程，但在任意时刻只有一个线程在解释器中运行。 对Python虚拟机的访问由全局解释器锁(GIL)来控制，正是这个锁能保证同一时刻只有一个线程在运行。 在多线程环境中，Python 虚拟机按以下方式执行： a、设置 GIL； b、切换到一个线程去运行； c、运行指定数量的字节码指令或者线程主动让出控制(可以调用 time.sleep(0))； d、把线程设置为睡眠状态； e、解锁 GIL； d、再次重复以上所有步骤。 在调用外部代码(如 C/C++扩展函数)的时候，GIL将会被锁定，直到这个函数结束为止(由于在这期间没有Python的字节码被运行，所以不会做线程切换)编写扩展的程序员可以主动解锁GIL。 2.python线程模块的选择 Python提供了几个用于多线程编程的模块，包括thread、threading和Queue等。thread和threading模块允许程序员创建和管理线程。thread模块提供了基本的线程和锁的支持，threading提供了更高级别、功能更强的线程管理的功能。Queue模块允许用户创建一个可以用于多个线程之间共享数据的队列数据结构。 避免使用thread模块，因为更高级别的threading模块更为先进，对线程的支持更为完善，而且使用thread模块里的属性有可能会与threading出现冲突；其次低级别的thread模块的同步原语很少(实际上只有一个)，而threading模块则有很多；再者，thread模块中当主线程结束时，所有的线程都会被强制结束掉，没有警告也不会有正常的清除工作，至少threading模块能确保重要的子线程退出后进程才退出。 就像我们熟悉的time模块，它比其他模块更加接近底层，越是接近底层，用起来越麻烦，就像时间日期转换之类的就比较麻烦，但是后面我们会学到一个datetime模块，提供了更为简便的时间日期处理方法，它是建立在time模块的基础上来的。又如socket和socketserver（底层还是用的socket）等等，这里的threading就是thread的高级模块。 thread模块不支持守护线程，当主线程退出时，所有的子线程不论它们是否还在工作，都会被强行退出。而threading模块支持守护线程，守护线程一般是一个等待客户请求的服务器，如果没有客户提出请求它就在那等着，如果设定一个线程为守护线程，就表示这个线程是不重要的，在进程退出的时候，不用等待这个线程退出。' 八. Theading模块 multiprocess模块的完全模仿了threading模块的接口，二者在使用层面，有很大的相似性，因而不再详细介绍（官方链接） 1. 我们先简单应用一下threading模块来看看并发效果： import time from threading import Thread # 多线程并发, 看看是不是和多进程相似 def func(n): time.sleep(1) # 如果不加， 则会顺序打印出0,1,2... print(n) # 并发效果, 1秒打印出所有的数字 for i in range(10): t = Thread(target=func, args=(i,)) t.start() 2. 线程创建 import time from threading import Thread # 方式一: 函数 # def sayhi(name): # # time.sleep(2) # 如果不加, 则会先打印子线程中的内容, 因为创建子线程非常快 # print("%s say hello"%name) # # if __name__ == '__main__': # t = Thread(target=sayhi, args=("太白",)) # t.start() # print("主线程") # 太白 say hello # 主线程 # 方式二: 类 class Sayhi(Thread): def __init__(self, name): super(Sayhi, self).__init__() self.name = name def run(self): # time.sleep(2) # 同上面类似 print("%s say hello"%self.name) if __name__ == '__main__': t = Sayhi("太白") t.start() print("主线程") 3. 多线程与多进程(id号) from threading import Thread from multiprocessing import Process import os def work(): print("hello", os.getpid() if __name__ == '__main__': # 在主进程下开启多个线程, 每个线程都跟主进程的pid一样 t1 = Thread(target=work) t2 = Thread(target=work) t1.start() t2.start() print("主线程pid", os.getpid()) # hello 8292 # hello 8292 # 主线程pid 8292 主线程id和子线程id号一样 # 开多个进程, 每个进程都有不同的pid p1 = Process(target=work) p2 = Process(target=work) p1.start() p2.start() print("主线程pid", os.getpid()) # 主线程pid 8292 # hello 11120 # hello 6484 那么哪些东西存在进程里，那些东西存在线程里呢？ 进程：导入的模块、执行的python文件的文件所在位置、内置的函数、文件里面的这些代码、全局变量等等，然后线程里面有自己的堆栈（类似于一个列表，后进先出）和寄存器，里面存着自己线程的变量，操作（add）等等，占用的空间很小。 4. 进程和线程的开启速度比较 import time from multiprocessing import Process, Pool from threading import Thread def f1(n): pass if __name__ == '__main__': # 创建20个线程 t_s_time = time.time() t_list = [] for i in range(20): t = Thread(target=f1, args=(i, )) t.start() t_list.append(t) [tt.join() for tt in t_list] t_e_time = time.time() # 创建20个进程 p_s_time = time.time() p_list = [] for i in range(20): p = Process(target=f1, args=(i,)) p_list.append(p) p.start() [pp.join() for pp in p_list] p_e_time = time.time() # 创建进程池 po_s_time = time.time() pool = Pool(4) pool.map(f1, range(20)) po_e_time = time.time() print("多线程用时: ", t_e_time - t_s_time) print("多进程用时: ", p_e_time - p_s_time) print("进程池用时: ", po_e_time - po_s_time) # 多线程用时: 0.03198099136352539 # 多进程用时: 2.5494189262390137 # 进程池用时: 0.4297347068786621 5. 内存数据共享 import os from threading import Thread from multiprocessing import Process def work(): global n n = 0 # print("子线程", n) print("子进程", n) if __name__ == '__main__': # 线程 # n = 100 # t = Thread(target=work) # t.start() # t.join() # 必须加join，因为主线程和子线程不一定谁快，一般都是主线程快一些，所有我们要等子线程执行完毕才能看出效果 # print("主线程", n) # 子线程 0 # 主线程 0 # 查看结果为0,因为同一进程内的线程之间共享进程内的数据 # 通过一个global就实现了全局变量的使用，不需要进程IPC通信方法 # 进程 n = 100 p = Process(target=work) p.start() p.join() print("主进程", n) # 子进程 0 # 主进程 100 #毫无疑问子进程p已经将自己的全局的n改成了0,但改的仅仅是它自己的,查看父进程的n仍然为100 在这里我们简单总结一下： 进程是最小的内存分配单位 线程是操作系统调度的最小单位 线程被CPU执行了 进程内至少含有一个线程 进程中可以开启多个线程 开启一个线程所需要的时间要远小于开启一个进程 多个线程内部有自己的数据栈，数据不共享 全局变量在多个线程之间是共享的 6. 多线程实现socket server: import socket import multiprocessing import threading s = socket.socket(socket.AF_INET, socket.SOCK_STREAM) s.bind(("127.0.0.1", 8080)) s.listen(5) def action(conn): while 1: data = conn.recv(1024).decode("utf-8") print("客户端: ", data) msg = input("服务端输入:").strip() conn.send(bytes(msg, encoding="utf-8")) if __name__ == '__main__': while 1: conn, addr = s.accept() t = threading.Thread(target=action, args=(conn,)) t.start() client: import socket c = socket.socket() c.connect(("127.0.0.1", 8080)) while 1: msg = input("客户端输入:").strip() if not msg: continue c.send(msg.encode("utf-8")) data = c.recv(1024).decode("utf-8") print("服务端: ", data) 在socket通信里面是不是有大量的I/O啊，recv、accept等等，我们使用多线程效率更高，因为开销小。 7. Thread类的其他方法 Thread实例对象的方法 # isAlive(): 返回线程是否活动的。 # getName(): 返回线程名。 # setName(): 设置线程名。 threading模块提供的一些方法： # threading.current_thread(): 返回当前的线程变量。 # threading.enumerate(): 返回一个包含正在运行的线程的list。正在运行指线程启动后、结束前，不包括启动前和终止后的线程。 # threading.activeCount(): 返回正在运行的线程数量，与len(threading.enumerate())有相同的结果 代码示例: import threading, os, time from threading import Thread from multiprocessing import Process def work(): time.sleep(3) print(threading.current_thread().getName()) # 当前线程的名字 if __name__ == '__main__': t = Thread(target=work) t.start() print(threading.current_thread()) # 主线程对象 print(threading.current_thread().getName()) # 主线程名称 print(threading.current_thread().ident) # 主线程id print(threading.enumerate()) # 连同主线程在内有两个正在运行的线程 print(threading.active_count()) # 连同主线程在内有两个正在运行的线程数 print("主线程") # <_MainThread(MainThread, started 1068)> # MainThread # 1068 # [<_MainThread(MainThread, started 1068)>, <Thread(Thread-1, started 10072)>] # 2 # 主线程 # Thread-1 join()方法: from threading import Thread import time def sayhi(name): time.sleep(2) print('%s say hello' %name) if __name__ == '__main__': t=Thread(target=sayhi,args=('太白',)) t2=Thread(target=sayhi,args=('alex',)) t.start() t2.start() t.join() #因为这个线程用了join方法，主线程等待子线程的运行结束 print('主线程') print(t.is_alive()) #所以t这个线程肯定是执行结束了，结果为False print(t2.is_alive()) #有可能是True，有可能是False，看子线程和主线程谁执行的快 ''' egon say hello 主线程 False ''' 8. 守护线程 无论是进程还是线程，都遵循：守护xx会等待主xx运行完毕后被销毁。需要强调的是：运行完毕并非终止运行 1).对主进程来说，运行完毕指的是主进程代码运行完毕 2).对主线程来说，运行完毕指的是主线程所在的进程内所有非守护线程统统运行完毕，主线程才算运行完毕 详细解释 1) 主进程在其代码结束后就已经算运行完毕了（守护进程在此时就被回收）,然后主进程会一直等非守护的子进程都运行完毕后回收子进程的资源(否则会产生僵尸进程)，才会结束， 2) 主线程在其他非守护线程运行完毕后才算运行完毕（守护线程在此时就被回收）。因为主线程的结束意味着进程的结束，进程整体的资源都将被回收，而进程必须保证非守护线程都运行完毕后才能结束，因为进程执行结束是要回收资源的，所有必须确保你里面的非守护子线程全部执行完毕。 import time from threading import Thread from multiprocessing import Process def func1(): while 1: print(666) time.sleep(0.5) def func2(): print("hello") time.sleep(3) if __name__ == '__main__': # 线程 # t1 = Thread(target=func1) # t1.daemon = True # 主进程结束, 守护进程随之结束 # # t.setDaemon(Ture) # 两种方式都可以 # t1.start() # t2 = Thread(target=func2) # # 这个子线程需要执行3秒, 主线程的代码虽然执行完了, 但是一直等着子线程的任务执行完毕, 主线程才算完毕, # # 因为通过结果会发现虽然主线程代码执行完毕了, 但是一直等着子线程的t2执行完毕, 主线程的守护线程才停止, 说明子线程执行完毕之后, 主线程才执行完毕 # t2.start() # print("主线程代码执行完毕") # 666 # 主线程代码执行完毕 # hello # 666 # 666 # 666 # 666 # 666 # 进程 p1 = Process(target=func1) p1.daemon = True p1.start() p2 = Process(target=func2) p2.start() time.sleep(1) #让主进程等1秒，为了能看到func1的打印效果 print("主进程代码执行完毕") # 通过结果你会发现，如果主进程的代码运行完毕了，那么主进程就结束了，因为主进程的守护进程p随着主进程的代码结束而结束了，守护进程被回收了，这和线程是不一样的，主线程的代码完了并不代表主线程运行完毕了，需要等着所有其他的非守护的子线程执行完毕才算完毕 # 666 # hello # 666 # 主进程代码执行完毕 九. 锁 1. gil锁(全局解释锁) 首先，一些语言（java、c++、c）是支持同一个进程中的多个线程是可以应用多核CPU的，也就是我们会听到的现在4核8核这种多核CPU技术的牛逼之处。那么我们之前说过应用多进程的时候如果有共享数据是不是会出现数据不安全的问题啊，就是多个进程同时一个文件中去抢这个数据，大家都把这个数据改了，但是还没来得及去更新到原来的文件中，就被其他进程也计算了，导致数据不安全的问题啊，所以我们是不是通过加锁可以解决啊，多线程大家想一下是不是一样的，并发执行就是有这个问题。但是python最早期的时候对于多线程也加锁，但是python比较极端的（在当时电脑cpu确实只有1核）加了一个GIL全局解释锁，是解释器级别的，锁的是整个线程，而不是线程里面的某些数据操作，每次只能有一个线程使用cpu，也就说多线程用不了多核，但是他不是python语言的问题，是CPython解释器的特性，如果用Jpython解释器是没有这个问题的，Cpython是默认的，因为速度快，Jpython是java开发的，在Cpython里面就是没办法用多核，这是python的弊病，历史问题，虽然众多python团队的大神在致力于改变这个情况，但是暂没有解决。 但是有了这个锁我们就不能并发了吗？当我们的程序是偏计算的，也就是cpu占用率很高的程序（cpu一直在计算），就不行了，但是如果你的程序是I/O型的（一般你的程序都是这个）（input、访问网址网络延迟、打开/关闭文件读写），在什么情况下用的到高并发呢（金融计算会用到，人工智能（阿尔法狗），但是一般的业务场景用不到，爬网页，多用户网站、聊天软件、处理文件），I/O型的操作很少占用CPU，那么多线程还是可以并发的，因为cpu只是快速的调度线程，而线程里面并没有什么计算，就像一堆的网络请求，我cpu非常快速的一个一个的将你的多线程调度出去，你的线程就去执行I/O操作了 2. 同步锁 1). 需要注意的点： (1). 线程抢的是GIL锁，GIL锁相当于执行权限，拿到执行权限后才能拿到互斥锁Lock，其他线程也可以抢到GIL，但如果发现Lock仍然没有被释放则阻塞，即便是拿到执行权限GIL也要立刻交出来 (2). join是等待所有，即整体串行，而锁只是锁住修改共享数据的部分，即部分串行，要想保证数据安全的根本原理在于让并发变成串行，join与互斥锁都可以实现，毫无疑问，互斥锁的部分串行效率要更高 2). Python已经有一个GIL来保证同一时间只能有一个线程来执行了，为什么这里还需要lock? 首先我们需要达成共识：锁的目的是为了保护共享的数据，同一时间只能有一个线程来修改共享的数据 然后，我们可以得出结论：保护不同的数据就应该加不同的锁。 最后，问题就很明朗了，GIL 与Lock是两把锁，保护的数据不一样，前者是解释器级别的（当然保护的就是解释器级别的数据，比如垃圾回收的数据），后者是保护用户自己开发的应用程序的数据，很明显GIL不负责这件事，只能用户自定义加锁处理，即Lock 过程分析：所有线程抢的是GIL锁，或者说所有线程抢的是执行权限 线程1抢到GIL锁，拿到执行权限，开始执行，然后加了一把Lock，还没有执行完毕，即线程1还未释放Lock，有可能线程2抢到GIL锁，开始执行，执行过程中发现Lock还没有被线程1释放，于是线程2进入阻塞，被夺走执行权限，有可能线程1拿到GIL，然后正常执行到释放Lock。。。这就导致了串行运行的效果 既然是串行，那我们执行 t1.start() t1.join t2.start() t2.join() 这也是串行执行啊，为何还要加Lock呢，需知join是等待t1所有的代码执行完，相当于锁住了t1的所有代码，而Lock只是锁住一部分操作共享数据的代码。 详解： 因为Python解释器帮你自动定期进行内存回收，你可以理解为python解释器里有一个独立的线程，每过一段时间它起wake up做一次全局轮询看看哪些内存数据是可以被清空的，此时你自己的程序 里的线程和 py解释器自己的线程是并发运行的，假设你的线程删除了一个变量，py解释器的垃圾回收线程在清空这个变量的过程中的clearing时刻，可能一个其它线程正好又重新给这个还没来及得清空的内存空间赋值了，结果就有可能新赋值的数据被删除了，为了解决类似的问题，python解释器简单粗暴的加了锁，即当一个线程运行时，其它人都不能动，这样就解决了上述的问题， 这可以说是Python早期版本的遗留问题。 3). 看一段代码：解释为什么要加锁 import os, time from threading import Thread, Lock def work(): global n # lock.acquire() temp = n time.sleep(0.1) n = temp - 1 # n = n - 1 """ # 如果这样写的话看不出来效果，因为这样写就相当于直接将n的指向改了，就好比从10，经过1次减1之后，n就直接指向了9，速度太快，看不出效果，那么我们怎么办呢，找一个中间变量来接收n，然后对这个中间变量进行修改，然后再赋值给n，多一个给n赋值的过程，那么在这个过程中间，我们加上一点阻塞时间，来看效果，就像读文件修改数据之后再写回文件的过程。那么这个程序就会出现结果为9的情况，首先一个进程的全局变量对于所有线程是共享的，由于我们在程序给中间变量赋值，然后给n再次赋值的过程中我们加了一些I/O时间，遇到I/O就切换，那么每个线程都拿到了10，并对10减1了，然后大家都得到了9，然后再赋值给n，所有n等于了9 """ # lock.release() if __name__ == '__main__': lock = Lock() n = 100 l = [] for i in range(100): p = Thread(target=work) l.append(p) p.start() for pp in l: pp.join() print(n) # 不加锁 加time.sleep(0.1) 结果是 99 # 不加锁 不加time.sleep(0.1) 结果是 0 # 加锁 加time.sleep(0.1) 结果是 0 # 加锁 不加time.sleep(0.1) 结果是 0 """ 结论: 加锁相当于将程序的执行变成了串行, 所以结果是0 不加锁, 加time.sleep(0.1), 由于循环执行速度非常快, 在第一条循环还没执行完毕就碰上I/O阻塞(time.sleep(0.1)), 所以其他循环拿到的初始值也是100, 所以循环的结果相当于是只执行了一次 不加锁, 不加time.sleep(0.1), 还是由于线程执行速度非常快, 相当于循环顺序执行了一遍, 所以结果是0 """ 锁通常被用来实现对共享资源的同步访问。为每一个共享资源创建一个Lock对象，当你需要访问该资源时，调用acquire方法来获取锁对象（如果其它线程已经获得了该锁，则当前线程需等待其被释放），待资源访问完后，再调用release方法释放锁： import threading R=threading.Lock() R.acquire() # #R.acquire()如果这里还有一个acquire，你会发现，程序就阻塞在这里了，因为上面的锁已经被拿到了并且还没有释放的情况下，再去拿就阻塞住了 ''' 对公共数据的操作 ''' R.release() 通过上面的代码示例1，我们看到多个线程抢占资源的情况，可以通过加锁来解决，看代码： import os, time from threading import Thread, Lock def work(): global n lock.acquire() temp = n time.sleep(0.1) n = temp - 1 lock.release() if __name__ == '__main__': lock = Lock() n = 100 l = [] for i in range(100): t = Thread(target=work) l.append(t) t.start() [tt.join() for tt in l] print(n) #结果肯定为0，由原来的并发执行变成串行，牺牲了执行效率保证了数据安全 4). GIL锁与互斥锁综合分析（重点） #1.100个线程去抢GIL锁，即抢执行权限 #2. 肯定有一个线程先抢到GIL（暂且称为线程1），然后开始执行，一旦执行就会拿到lock.acquire() #3. 极有可能线程1还未运行完毕，就有另外一个线程2抢到GIL，然后开始运行，但线程2发现互斥锁lock还未被线程1释放，于是阻塞，被迫交出执行权限，即释放GIL #4.直到线程1重新抢到GIL，开始从上次暂停的位置继续执行，直到正常释放互斥锁lock，然后其他的线程再重复2 3 4的过程 5). 互斥锁与join的区别（重点） #不加锁:并发执行,速度快,数据不安全 from threading import current_thread,Thread,Lock import os,time def task(): global n print('%s is running' %current_thread().getName()) temp=n time.sleep(0.5) n=temp-1 # 上述这两个代码块应该分开来看， 互不影响 if __name__ == '__main__': n=100 lock=Lock() threads=[] start_time=time.time() for i in range(100): t=Thread(target=task) threads.append(t) t.start() for t in threads: t.join() stop_time=time.time() print('主:%s n:%s' %(stop_time-start_time,n)) ''' Thread-1 is running Thread-2 is running ...... Thread-100 is running 主:0.5216062068939209 n:99 ''' #不加锁:未加锁部分并发执行,加锁部分串行执行,速度慢,数据安全 from threading import current_thread,Thread,Lock import os,time def task(): #未加锁的代码并发运行 time.sleep(3) print('%s start to run' %current_thread().getName()) global n #加锁的代码串行运行 lock.acquire() temp=n time.sleep(0.5) n=temp-1 lock.release() if __name__ == '__main__': n=100 lock=Lock() threads=[] start_time=time.time() for i in range(100): t=Thread(target=task) threads.append(t) t.start() for t in threads: t.join() stop_time=time.time() print('主:%s n:%s' %(stop_time-start_time,n)) ''' Thread-1 is running Thread-2 is running ...... Thread-100 is running 主:53.294203758239746 n:0 ''' #既然加锁会让运行变成串行,那么我在start之后立即使用join,就不用加锁了啊,也是串行的效果啊 #没错:在start之后立刻使用jion,肯定会将100个任务的执行变成串行,毫无疑问,最终n的结果也肯定是0,是安全的,但问题是 #start后立即join:任务内的所有代码都是串行执行的,而加锁,只是加锁的部分即修改共享数据的部分是串行的 #单从保证数据安全方面,二者都可以实现,但很明显是加锁的效率更高. from threading import current_thread,Thread,Lock import os,time def task(): time.sleep(3) print('%s start to run' %current_thread().getName()) global n temp=n time.sleep(0.5) n=temp-1 if __name__ == '__main__': n=100 lock=Lock() start_time=time.time() for i in range(100): t=Thread(target=task) t.start() t.join() stop_time=time.time() print('主:%s n:%s' %(stop_time-start_time,n)) ''' Thread-1 start to run Thread-2 start to run ...... Thread-100 start to run 主:350.6937336921692 n:0 #耗时是多么的恐怖 ''' 3. 死锁和递归锁 进程也有死锁与递归锁，在进程那里忘记说了，放到这里一切说了额，进程的死锁和线程的是一样的，而且一般情况下进程之间是数据不共享的，不需要加锁，由于线程是对全局的数据共享的，所以对于全局的数据进行操作的时候，要加锁。 1). 所谓死锁： 是指两个或两个以上的进程或线程在执行过程中，因争夺资源而造成的一种互相等待的现象，若无外力作用，它们都将无法推进下去。此时称系统处于死锁状态或系统产生了死锁，这些永远在互相等待的进程称为死锁进程，如下就是死锁 from threading import Lock as Lock import time mutexA=Lock() mutexA.acquire() mutexA.acquire() print(123) mutexA.release() mutexA.release() 更难一些的死锁现象: import time import threading from threading import Thread, Lock mutexA = Lock() mutexB = Lock() class MyThread(Thread): def run(self): name = threading.current_thread().getName() self.func1() self.func2() def func1(self): mutexA.acquire() print("\033[41m%s 拿到A锁>>>\033[0m" % self.name) mutexB.acquire() print("\033[42m%s 拿到B锁>>>\033[0m" % self.name) mutexB.release() mutexA.release() def func2(self): mutexB.acquire() print("\033[43m%s 拿到B锁???\033[0m" % self.name) time.sleep(2) # 分析：当线程1执行完func1，然后执行到这里的时候，拿到了B锁，线程2执行func1的时候拿到了A锁，那么线程2还要继续执行func1里面的代码，再去拿B锁的时候，发现B锁被人拿了，那么就一直等着别人把B锁释放，那么就一直等着，等到线程1的sleep时间用完之后，线程1继续执行func2，需要拿A锁了，但是A锁被线程2拿着呢，还没有释放，因为他在等着B锁被释放，那么这俩人就尴尬了，你拿着我的老A，我拿着你的B，这就尴尬了，俩人就停在了原地 mutexA.acquire() print("\033[43m%s 拿到A锁???\033[0m" % self.name) mutexA.release() mutexB.release() if __name__ == '__main__': for i in range(10): t = MyThread() t.start() # Thread-1 拿到A锁>>> # Thread-1 拿到B锁>>> # Thread-1 拿到B锁??? # Thread-2 拿到A锁>>> 2). 解决方法，递归锁，在Python中为了支持在同一线程中多次请求同一资源，python提供了可重入锁RLock。 ***这个RLock内部维护着一个Lock和一个counter变量，counter记录了acquire的次数，从而使得资源可以被多次require。直到一个线程所有的acquire都被release，其他的线程才能获得资源。上面的例子如果使用RLock代替Lock，则不会发生死锁： from threading import RLock import time mutexA = RLock() mutexA.acquire() mutexA.acquire() print(123) mutexA.release() mutexA.release() 递归锁解决死锁 import time import threading from threading import Thread, RLock mutexA = mutexB = RLock() class MyThread(Thread): def run(self): name = threading.current_thread().getName() self.func1() self.func2() def func1(self): mutexA.acquire() print("\033[41m%s 拿到A锁>>>\033[0m" % self.name) mutexB.acquire() print("\033[42m%s 拿到B锁>>>\033[0m" % self.name) mutexB.release() mutexA.release() def func2(self): mutexB.acquire() print("\033[43m%s 拿到B锁???\033[0m" % self.name) time.sleep(2) # 分析：当线程1执行完func1，然后执行到这里的时候，拿到了B锁，线程2执行func1的时候拿到了A锁，那么线程2还要继续执行func1里面的代码，再去拿B锁的时候，发现B锁被人拿了，那么就一直等着别人把B锁释放，那么就一直等着，等到线程1的sleep时间用完之后，线程1继续执行func2，需要拿A锁了，但是A锁被线程2拿着呢，还没有释放，因为他在等着B锁被释放，那么这俩人就尴尬了，你拿着我的老A，我拿着你的B，这就尴尬了，俩人就停在了原地 mutexA.acquire() print("\033[43m%s 拿到A锁???\033[0m" % self.name) mutexA.release() mutexB.release() if __name__ == '__main__': for i in range(10): t = MyThread() t.start() # Thread-1 拿到A锁>>> # Thread-1 拿到B锁>>> # Thread-1 拿到B锁??? # Thread-1 拿到A锁??? # Thread-2 拿到A锁>>> # Thread-2 拿到B锁>>> # Thread-2 拿到B锁??? # Thread-2 拿到A锁??? # Thread-4 拿到A锁>>> # Thread-4 拿到B锁>>> # Thread-4 拿到B锁??? # Thread-4 拿到A锁??? # Thread-6 拿到A锁>>> # Thread-6 拿到B锁>>> # Thread-6 拿到B锁??? # Thread-6 拿到A锁??? # Thread-8 拿到A锁>>> # Thread-8 拿到B锁>>> # Thread-8 拿到B锁??? # Thread-8 拿到A锁??? # Thread-10 拿到A锁>>> # Thread-10 拿到B锁>>> # Thread-10 拿到B锁??? # Thread-10 拿到A锁??? # Thread-5 拿到A锁>>> # Thread-5 拿到B锁>>> # Thread-5 拿到B锁??? # Thread-5 拿到A锁??? # Thread-9 拿到A锁>>> # Thread-9 拿到B锁>>> # Thread-9 拿到B锁??? # Thread-9 拿到A锁??? # Thread-7 拿到A锁>>> # Thread-7 拿到B锁>>> # Thread-7 拿到B锁??? # Thread-7 拿到A锁??? # Thread-3 拿到A锁>>> # Thread-3 拿到B锁>>> # Thread-3 拿到B锁??? # Thread-3 拿到A锁??? 十. 信号量 同进程的一样 Semaphore管理一个内置的计数器， 每当调用acquire()时内置计数器-1； 调用release() 时内置计数器+1； 计数器不能小于0；当计数器为0时，acquire()将阻塞线程直到其他线程调用release()。 实例：(同时只有5个线程可以获得semaphore,即可以限制最大连接数为5)： import time import threading from threading import Thread, Semaphore def func(): sm.acquire() print("%s get sm"% threading.current_thread().getName()) time.sleep(3) sm.release() if __name__ == '__main__': sm = Semaphore(5) for i in range(20): t = Thread(target=func) t.start() 十一. 事件 同进程的一样 线程的一个关键特性是每个线程都是独立运行且状态不可预测。如果程序中的其 他线程需要通过判断某个线程的状态来确定自己下一步的操作,这时线程同步问题就会变得非常棘手。为了解决这些问题,我们需要使用threading库中的Event对象。 对象包含一个可由线程设置的信号标志,它允许线程等待某些事件的发生。在 初始情况下,Event对象中的信号标志被设置为假。如果有线程等待一个Event对象, 而这个Event对象的标志为假,那么这个线程将会被一直阻塞直至该标志为真。一个线程如果将一个Event对象的信号标志设置为真,它将唤醒所有等待这个Event对象的线程。如果一个线程等待一个已经被设置为真的Event对象,那么它将忽略这个事件, 继续执行 事件的基本方法： event.isSet()：返回event的状态值； event.wait()：如果 event.isSet()==False将阻塞线程； event.set()： 设置event的状态值为True，所有阻塞池的线程激活进入就绪状态， 等待操作系统调度； event.clear()：恢复event的状态值为False。 还记得我们进程那里的事件用的什么例子吗，是不是红绿灯啊，这次我们不讲红绿灯的例子了，换个新的！ 例如，有多个工作线程尝试链接MySQL，我们想要在链接前确保MySQL服务正常才让那些工作线程去连接MySQL服务器，如果连接不成功，都会去尝试重新连接。那么我们就可以采用threading.Event机制来协调各个工作线程的连接操作 MySQL是啥呢？简单说一下： mysql就是一个数据库，存数据用的东西，它就像一个文件夹，里面存着很多的excel表格，我们可以在表格里面写数据，存数据。但是如果我们要使用数据库，我们必须先要去连接它，你和他建立了连接关系，你才能操作它里面存放的数据。 我们先模拟一个场景： 首先起两个线程： 第一个线程的用处：连接数据库，那么我这个线程需要等待一个信号，告诉我我们之间的网络是可以连通的。 第二个线程的用处：检测与数据库之间的网络是否联通，并发送一个可联通或者不可联通的信号。 import time, random, threading from threading import Thread, Event, current_thread def conn_mySQL(): count = 1 while not event.is_set(): if count > 3: raise TimeoutError("连接超时") # 抛出异常 print("<%s>第%s次尝试连接"% (current_thread().getName(), count)) event.wait(0.5) count += 1 print("<%s>连接成功"% current_thread().getName()) def check_mySQL(): print("\033[45m[%s]正在检查mySQL\033[0m"% current_thread().getName()) t1 = random.randint(0, 3) print(">>>>>>", t1) time.sleep(t1) event.set() if __name__ == '__main__': event = Event() check = Thread(target=check_mySQL()) conn1 = Thread(target=conn_mySQL()) conn2 = Thread(target=conn_mySQL()) check.start() conn1.start() conn2.start() # [MainThread]正在检查mySQL # >>>>>> 0 # <MainThread>连接成功 # <MainThread>连接成功 十二. GIL 1.背景知识 结论：在Cpython解释器中，同一个进程下开启的多线程，同一时刻只能有一个线程执行，无法利用多核优势 首先需要明确的一点是GIL并不是Python的特性，它是在实现Python解析器(CPython)时所引入的一个概念。就好比C++是一套语言（语法）标准，但是可以用不同的编译器来编译成可执行代码。有名的编译器例如GCC，INTEL C++，Visual C++等。Python也一样，同样一段代码可以通过CPython，PyPy，Psyco等不同的Python执行环境来执行。像其中的JPython就没有GIL。然而因为CPython是大部分环境下默认的Python执行环境。所以在很多人的概念里CPython就是Python，也就想当然的把GIL归结为Python语言的缺陷。所以这里要先明确一点：GIL并不是Python的特性，Python完全可以不依赖于GIL 2. GIL介绍 GIL本质就是一把互斥锁，既然是互斥锁，所有互斥锁的本质都一样，都是将并发运行变成串行，以此来控制同一时间内共享数据只能被一个任务所修改，进而保证数据安全。 可以肯定的一点是：保护不同的数据的安全，就应该加不同的锁。 要想了解GIL，首先确定一点：每次执行python程序，都会产生一个独立的进程。例如python test.py，python aaa.py，python bbb.py会产生3个不同的python进程 在一个python的进程内，不仅有test.py的主线程或者由该主线程开启的其他线程，还有解释器开启的垃圾回收等解释器级别的线程，总之，所有线程都运行在这一个进程内，毫无疑问 a. 所有数据都是共享的，这其中，代码作为一种数据也是被所有线程共享的（test.py的所有代码以及Cpython解释器的所有代码） 例如：test.py定义一个函数work，在进程内所有线程都能访问到work的代码，于是我们可以开启三个线程然后target都指向该代码，能访问到意味着就是可以执行。 b. 所有线程的任务，都需要将任务的代码当做参数传给解释器的代码去执行，即所有的线程要想运行自己的任务，首先需要解决的是能够访问到解释器的代码。 综上： 如果多个线程的target=work，那么执行流程是: 多个线程先访问到解释器的代码，即拿到执行权限，然后将target的代码交给解释器的代码去执行 解释器的代码是所有线程共享的，所以垃圾回收线程也可能访问到解释器的代码而去执行，这就导致了一个问题:对于同一个数据100，可能线程1执行x=100的同时，而垃圾回收执行的是回收100的操作，解决这种问题没有什么高明的方法，就是加锁处理，保证python解释器同一时间只能执行一个任务的代码 3. GIL与Lock GIL保护的是解释器级的数据，保护用户自己的数据则需要自己加锁处理 4. GIL与多线程 有了GIL的存在，同一时刻同一进程中只有一个线程被执行 听到这里，有的同学立马质问：进程可以利用多核，但是开销大，而python的多线程开销小，但却无法利用多核优势，也就是说python没用了，php才是最牛逼的语言？ 要解决这个问题，我们需要在几个点上达成一致： 1). cpu到底是用来做计算的，还是用来做I/O的？ 2). 多cpu，意味着可以有多个核并行完成计算，所以多核提升的是计算性能 3). 每个cpu一旦遇到I/O阻塞，仍然需要等待，所以多核对I/O操作没什么用处 一个工人相当于cpu，此时计算相当于工人在干活，I/O阻塞相当于为工人干活提供所需原材料的过程，工人干活的过程中如果没有原材料了，则工人干活的过程需要停止，直到等待原材料的到来。 如果你的工厂干的大多数任务都要有准备原材料的过程（I/O密集型），那么你有再多的工人，意义也不大，还不如一个人，在等材料的过程中让工人去干别的活， 反过来讲，如果你的工厂原材料都齐全，那当然是工人越多，效率越高 结论： 对计算来说，cpu越多越好，但是对于I/O来说，再多的cpu也没用 当然对运行一个程序来说，随着cpu的增多执行效率肯定会有所提高（不管提高幅度多大，总会有所提高），这是因为一个程序基本上不会是纯计算或者纯I/O，所以我们只能相对的去看一个程序到底是计算密集型还是I/O密集型，从而进一步分析python的多线程到底有无用武之地 #分析： 我们有四个任务需要处理，处理方式肯定是要玩出并发的效果，解决方案可以是： 方案一：开启四个进程 方案二：一个进程下，开启四个线程 #单核情况下，分析结果: 如果四个任务是计算密集型，没有多核来并行计算，方案一徒增了创建进程的开销，方案二胜 如果四个任务是I/O密集型，方案一创建进程的开销大，且进程的切换速度远不如线程，方案二胜 #多核情况下，分析结果： 如果四个任务是计算密集型，多核意味着并行计算，在python中一个进程中同一时刻只有一个线程执行用不上多核，方案一胜 如果四个任务是I/O密集型，再多的核也解决不了I/O问题，方案二胜 #结论：现在的计算机基本上都是多核，python对于计算密集型的任务开多线程的效率并不能带来多大性能上的提升，甚至不如串行(没有大量切换)，但是，对于IO密集型的任务效率还是有显著提升的。 5. 多线程性能测试 1). 计算密集型(多进程快) import os, time from multiprocessing import Process from threading import Thread def work(): res = 0 for i in range(100000000): res += i if __name__ == '__main__': l = [] print(os.cpu_count()) # 双核 s = time.time() for i in range(2): # p = Process(target=work) p = Thread(target=work) l.append(p) p.start() [pp.join() for pp in l] e = time.time() print("run time is %s" % (e-s)) # 2 # run time is 17.187364101409912 # 2 # run time is 39.592501401901245 2). I/O密集型 import os, time from multiprocessing import Process from threading import Thread def work(): time.sleep(2) print("======>") if __name__ == '__main__': l = [] print(os.cpu_count()) # 双核 s = time.time() for i in range(100): # p = Process(target=work) p = Thread(target=work) l.append(p) p.start() [pp.join() for pp in l] e = time.time() print("run time is %s" % (e-s)) # run time is 15.807316780090332 # run time is 2.07812762260437 应用： 多线程用于IO密集型，如socket，爬虫，web 多进程用于计算密集型，如金融分析