动态语言并发处理

# 动态语言的并发处理

# 什么是进程、线程、协程？

# 进程

进程是计算机中的程序关于某数据集合上的一次运行活动，是系统进行资源分配和调度的基本单位，是操作系统结构的基础。进程是一个执行中的程序。

# 进程的三态模型

多道程序系统中，进程在处理器上交替运行，状态不断的发生变化。

# 运行

当一个进程在处理机上运行时，则称该进程处于运行状态。处于此状态的进程的数目小于处理器的数目，对于单处理机系统，处于运行状态的进程只有一个。在没有其他进程可以执行时（如所有进程都在阻塞状态），通常会自动执行系统的空闲状态。

# 就绪

当一个进程获得了除处理机以外的一切所需资源，一旦得到处理机即可运行，则称此进程处于就绪状态。就绪进程可以按多个优先级来划分队列。例如：当一个进程由于时间片用完而进入就绪状态时，排入低优先级队列；当进程I/O操作完成而进入就绪状态时，排入高优先级队列。

# 阻塞

也称为等待或者睡眠状态，一个进程正在等待某一事件发生（例如请求I/O而等待I/O完成等）而暂时停止运行，这时即使把处理机分配给进程也无法运行，所以称进程为阻塞状态。

# 进程的五态模型

对于一个实际的系统，进程的状态及其转换更为复杂

新建态、活跃就绪/静止就绪、运行、活跃阻塞/静止阻塞、终止态

# 新建态

对应于进程刚刚被创建时没有被提交的状态，并等待系统完成创建进程的所有必要信息。

# 终止态

进程已结束运行，回收除进程控制块之外的其他资源，并让其他进程从进程控制块中收集有关信息

# 活跃就绪

进程在主存并且可被调度的状态

# 静止就绪

进程被对换到辅存时的就绪状态，是不能被直接调度的状态，只有当主存中没有活跃就绪态进程，或者是挂起就绪进程具有更高的优先级，系统把挂起就绪态进程调回主存并转换为活跃就绪。

# 活跃阻塞

是指进程已在主存，一旦等待的事件产生便进入活跃就绪状态

# 静止阻塞

进程对换到辅存时的阻塞状态，一旦等待的事件产生便进入静止就绪状态。

# 线程

由于用户的并发请求，为每一个请求都创建一个进程显然是行不通的，从系统资源开销方面或是响应用户请求的效率方面来看。因此，操作系统中线程的概念便被引入。

线程有时被称为轻量级进程，是程序执行流的最小单位。

线程是进程中的一个实体，是被系统独立调度和分派的基本单位，线程自己不拥有系统资源，只拥有一点在运行中必不可少的资源但它可与同属一个进程的其他线程共享进程所拥有的全部资源。

一个线程可以创建和撤销另一个线程，同一进程中的多个线程之间可以并发执行。

线程是程序中一个单一的顺序控制流程。进程内一个相对独立的、可调度的执行单元，是系统独立调度和分派CPU的基本单位指运行中的程序的调度单位。

在单个程序中同时运行多个线程完成不同的工作，称为多线程

# 线程的状态

# 就绪状态

线程具备运行的所有条件，逻辑上可以运行，在等待处理机

# 运行状态

线程占有处理机正在运行

# 阻塞状态

线程在等待一个事件（如某个信号量），逻辑上不可执行

# 协程

协程是一种用户态的轻量级线程，协程的调度完全由用户所控制。协程拥有自己的寄存器上下文和栈。协程调度切换时，将寄存器上下文和栈保存到其他地方，在切回来的时候，恢复先前保存的寄存器上下文和栈，直接操作栈则基本没有内核切换的开销。可以不加锁的访问全局变量，所以上下文的切换非常快。

# 线程与进程的区别

线程是进程内的一个执行单元，进程内至少有一个线程，他们共享进程的地址空间，而进程有自己独立的地址空间。
进程是资源分配和拥有的单位，同一个进程内的线程共享进程的资源。
线程是处理器调度的基本单位，但进程不是。
两者均可并发执行
每个独立的线程有一个程序运行的入口，顺序执行序列和程序的出口，但是线程不能够独立执行，必须依存在应用程序中，由应用程序提供多个线程执行控制

# 线程与协程的区别

一个线程可以有多个协程，一个进程可以单独拥有多个协程
线程进程都是同步机制，而协程是异步
协程能保留上一次调用时的状态，每次过程重入时，就相当于进入上一次调用的状态

# 什么是多进程、多线程？

单进程单线程：一个人在一个桌子上吃饭单进程多线程：多个人在同一个桌子上吃饭多进程单线程：多个人每个人在自己的桌子上吃饭

# 多进程

同一个时间里，同一个计算机系统中如果允许两个或两个以上的进程处于运行状态，这就是多进程。多开一个进程，多分配一份资源，进程间通讯不方便

# 多线程

线程就是把一个进程分为很多片，每一片可以是一个独立的流程。与多线程的区别是只会使用一个进程的资源，线程间可以直接通信。

# 同步阻塞模型

# 多进程

最早的服务端程序都是通过多进程、多线程来解决并发IO的问题，一个请求创建一个进程，然后子进程进入循环同步堵塞的与客户端连接进行交互，收发处理数据。

# 多线程

用多线程模式实现非常简单，线程中可以直接向某一个客户端连接发送数据。

# 步骤

创建一个socket
进入while循环，阻塞在进程accept操作上，等待客户端连接进入
主进程在多进程模型下通过fork创建子进程
多线程模型下可以创建子线程
子进程/线程创建成功后进入while循环，阻塞在recv的调用上，等待客户端向服务器发送数据
客户端向服务器发送数据
收到数据后服务器程序进行处理然后使用send向客户端发送响应
当客户端连接关闭时，子进程/线程退出并销毁所有资源。主进程/线程会回收掉子进程/线程

// 创建socket监听
$socketserv = stream_socket_server('tcp://0.0.0.0:8000',$errno, $errstr);

for ($i= 0;$i<5;$i++) {
    // 创建进程，返回pid，如果pid是0，则表示为主进程
    if (pcntl_fork() == 0) {
        while(true) {
            // 强行阻塞连接
            $conn = stream_socket_accept($socketserv);
            if ($conn == false) {
                continue;
            }
            $requests = fread($conn,9000);
            fwrite($conn,'hello world');
            fclose($conn);
        }
    }
    exit(0);
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

# 异步非阻塞模型

现在各种高并发异步IO的服务器程序都是基于epoll实现的。

关于epoll

原先的系统中都是采用poll连接，每个进程可以维持1024个连接，系统使用的是select模型的话，需要不断的去扫连接数，如果有100w次连接其中只有1次请求连接，那么其余的99.9w次是无效的扫描。 epoll维持无线数量连接，无需轮询，比如nginx，Golang

IO复用异步非阻塞使用经典的Reactor模型，Reactor顾名思义就是反应堆的意思，它本身不处理任何数据收发，只是可以监测一个Socket的句柄的事件变化。

Reactor模型：

Add:添加一个Socket到Reactor
Set:修改Socket对应的事件，如可读可写
Del:从Reactor中移除
Callback：事件发生后回调指定的函数

Nginx:多线程Reactor Swoole：多线程Reactor+多进程worker

// get到一个reactor模型对象
$reactor = new Reactor();
// 创建一个socket监听
$scoketserv = stream_socket_server('tcp://0.0.0.0:80000');
// 
$reactor->add($socketserv,EV_READ,function ()use($socketserv,$reactor){
    $sockcli = stream_socket_accept($socketserv);
    $reactor->add($sockcli,EV_READ,function ()use($sockcli,$reactor) {
        fwrite($sockcli,'test');
        $reactor->del($sockcli);
        fclose($sockcli);
    });
});

1
2
3
4
5
6
7
8
9
10
11
12
13

# PHP并发编程实践

# PHP的Swoole扩展

PHP的异步、并行、高性能网络通信引擎，使用纯C语言实现，提供了PHP语言的异步多线程服务器，异步TCP/UDP网络客户端，异步MySQL,异步Redis，数据库连接池， AsyncTask，消息队列，毫秒定时器，异步文件读写，异步DNS查询。

除了异步的IO的支持之外，Swoole为PHP多进程模式设计了多个并发数据结构和IPC通信机制，可以大大简化多进程并发编程的工作。

# 消息队列

场景说明：用户注册后，需要发送邮件和注册短信

串行方式：将注册信息写入数据库成功后，发送注册邮件，再发送注册短信并发方式：将注册信息写入数据库成功后，同时发送注册邮件、发送注册短信消息队列方式：将注册信息写入数据库成功后，写入消息队列直接通知用户，离线读取消息队列，发送邮件和短信。

# 应用解藕

场景说明：用户下单后，订单系统需要通知库存系统,假如库存系统无法访问，则订单系统减库存将失效，从而导致订单失败。

订单系统与库存系统解藕，用户下单后，订单系统完成持久化处理，将消息写入消息队列，返回用户订单下单成功。订阅下单的消息，采用拉/推的方式，获取下单信息，库存系统根据下单消息，进行库存操作

# 流量削锋

应用场景：秒杀活动，流量瞬时激增，服务器压力大用户发起请求，服务器接收后，先写入消息队列。假如消息队列长度超过最大值，则直接报错或提示用户。后续程序读取消息队列，离线处理。

# 日志处理

应用场景：解决大量日志(用户行为、错误日志)的传输日志采集程序将程序写入消息队列，然后通过日志处理程序的订阅消费日志。

# 消息通讯

应用场景：聊天室多个客户端订阅同一主题，进行消息发布和接收

# 常见的消息队列产品

Kafka、ActiveMQ、ZeroMQ、RabbitMQ、Redis等

# 接口的并发请求

curl_multi_init

# 相关链接

kafaka消息队列使用

编辑

#高并发面试题

上次更新: 2020/12/31, 06:55:18

← 静态化处理数据库缓存优化→