第二章Netty，EventLoop任务队列的详细代码实现

下面将从核心类定义、队列初始化、任务提交、队列消费全流程给出EventLoop任务队列的详细代码实现拆解所有代码均来自Netty官方核心源码的精简梳理一核心源码梳理一、核心类基础定义任务队列的核心逻辑定义在SingleThreadEventExecutor中它是所有单线程事件执行器的父类NioEventLoop直接继承它的队列能力// SingleThreadEventExecutor 核心成员定义publicabstractclassSingleThreadEventExecutorextendsAbstractScheduledEventExecutor{// 事件循环线程状态0初始化, 1运行, 2关闭privatevolatileintstateST_NOT_STARTED;// 普通任务队列默认使用Netty自研的MPSC无锁队列privatefinalQueueRunnabletaskQueue;// 事件循环绑定的专属线程privatevolatileThreadthread;// 尾部任务队列存放低优先级收尾任务privatefinalQueueRunnabletailTasks;// 构造方法中完成队列初始化protectedSingleThreadEventExecutor(EventLoopGroupparent,Executorexecutor,booleanaddTaskWakesUp,intmaxPendingTasks,RejectedExecutionHandlerrejectedHandler){super(parent);// 初始化MPSC无锁队列多线程并发提交无需加锁this.taskQueuenewMpscLinkedQueue();this.tailTasksnewMpscLinkedQueue();// 配置任务拒绝策略this.rejectedExecutionHandlerObjectUtil.checkNotNull(rejectedHandler,rejectedHandler);}}二、NioEventLoop中的队列初始化NioEventLoop在实例化时会直接复用父类的队列能力同时绑定自己的Selector实例publicfinalclassNioEventLoopextendsSingleThreadEventLoop{// NIO Selector 实例用于监听IO就绪事件privatefinalSelectorselector;// 优化迭代性能的选中键集合privateSelectedSelectionKeySetselectedKeys;NioEventLoop(NioEventLoopGroupparent,Executorexecutor,SelectorProviderselectorProvider,SelectStrategyselectStrategy){super(parent,executor,false,DEFAULT_MAX_PENDING_TASKS,RejectedExecutionHandlers.reject());// 打开并初始化JDK NIO Selectorthis.selectorSelectorUtil.open(selectorProvider);this.selectStrategyObjectUtil.checkNotNull(selectStrategy,selectStrategy);}}三、任务提交的核心实现外部线程调用execute()提交任务时会先做线程身份校验再完成入队操作Overridepublicvoidexecute(Runnabletask){ObjectUtil.checkNotNull(task,task);// 任务状态校验拒绝已关闭状态下的新任务if(isShutdown()){reject(task);}else{// 如果当前线程就是EventLoop绑定的IO线程直接执行无需入队if(inEventLoop()){task.run();}else{// 外部线程提交任务直接追加到MPSC队列队尾taskQueue.add(task);// 唤醒正在Selector上阻塞的IO线程及时处理新任务if(!addTaskWakesUpwakesUpForTask(task)){wakeup(inEventLoop());}}}}四、队列消费的核心流程队列消费完全融入NioEventLoop的无限事件循环中通过ioRatio参数动态控制IO事件和任务执行的时间占比Overrideprotectedvoidrun(){for(;;){try{booleanoldWakenUpwakenUp.getAndSet(false);// 根据队列是否有任务动态调整select阻塞时长intselectCnt0;longcurrentTimeNanosSystem.nanoTime();longselectDeadlineNanoscurrentTimeNanosdelayNanos(currentTimeNanos);intselectedKeysselect(selectDeadlineNanos);// 处理所有就绪的IO事件if(selectedKeys0){processSelectedKeys();}finalintioRatiothis.ioRatio;if(ioRatio100){// IO占比100%场景处理完IO后执行所有队列任务runAllTasks();}else{// 统计IO处理耗时按比例分配任务执行时间finallongioStartTimeSystem.nanoTime();processSelectedKeys();finallongioTimeSystem.nanoTime()-ioStartTime;// 按ioRatio配额执行任务避免任务长时间抢占IO资源runAllTasks(ioTime*(100-ioRatio)/ioRatio);}}catch(Throwablet){handleLoopException(t);}// 优雅关闭流程执行完队列剩余所有任务后退出循环if(isShuttingDown()){closeAll();if(confirmShutdown()){return;}}}}五、runAllTasks 任务批量执行实现该方法会在指定时间配额内批量从队列中取出任务执行同时处理定时任务和尾部任务protectedbooleanrunAllTasks(longtimeoutNanos){// 先将到期的定时任务从定时队列转移到普通任务队列fetchScheduledTasks();Runnabletask;longdeadlineSystem.nanoTime()timeoutNanos;// 在时间配额内循环取出普通任务执行while((tasktaskQueue.poll())!null){task.run();// 超过时间配额后停止执行任务返回继续处理IO事件if(System.nanoTime()-deadline0){break;}}// 执行所有尾部任务runAllTasksFromTail(tailTasks);return!taskQueue.isEmpty();}二EventLoop的任务队列实现详解EventLoop的任务队列是Netty实现单线程串行化、局部无锁化高性能设计的核心组件它的实现完全围绕“多线程安全提交、单线程串行消费”的核心目标设计具体实现细节可以拆解为以下几个部分一、队列的底层架构基础每个EventLoop的任务队列都定义在父类SingleThreadEventExecutor中和EventLoop的绑定线程一一对应从根源上保证了队列的专属独立性普通任务队列taskQueue‌默认采用Netty自研的JCTools MPSC无锁队列多生产者单消费者队列实现完全摒弃了传统阻塞队列的重入锁机制在多业务线程并发提交任务时不需要加锁就能保证线程安全性能远高于JDK原生的ArrayBlockingQueue等阻塞队列。定时任务队列scheduledTaskQueue‌基于优先队列实现会自动按照任务的执行时间戳排序确保到期的任务能被优先调度同时Netty还配套了HashedWheelTimer时间轮组件针对大量长周期定时任务场景做了性能优化避免优先队列排序的性能损耗。尾部任务队列tailTasks‌是一个轻量的普通队列优先级最低仅在每一轮事件循环的所有核心任务执行完成后才会被处理专门用于存放监控统计、资源清理这类非核心收尾任务。二、任务提交的实现逻辑当外部线程调用execute()/schedule()方法提交任务时Netty会先做线程身份校验避免不必要的入队开销如果当前提交任务的线程正好是EventLoop绑定的专属IO线程短任务可以直接执行不需要入队排队如果是其他外部线程提交任务任务会被直接追加到对应队列的队尾整个入队过程无锁不会阻塞提交方线程队列默认设置了容量上限当任务堆积超过阈值时会直接抛出RejectedExecutionException拒绝新任务避免无限制的内存溢出风险。三、队列消费的运行机制任务队列的消费完全融入NioEventLoop的核心事件循环流程中通过ioRatio参数动态控制IO事件和队列任务的执行时间占比每一轮循环先调用Selector的select方法阻塞等待IO就绪事件等待时长会根据队列是否有任务动态调整避免长时间阻塞导致队列任务无法及时响应处理完所有就绪的IO事件后会按照预先设定的时间配额批量从队列中取出任务执行保证IO事件不会被队列任务长时间抢占资源任务执行严格遵循FIFO先进先出规则保证同一个Channel的所有操作按提交顺序串行执行从根源上避免多线程乱序导致的数据异常。四、关键优化设计局部无锁化‌所有任务最终都只会在EventLoop的单条专属线程中执行队列仅在多生产者入队时做无锁并发控制消费侧完全没有锁竞争大幅降低了并发场景下的性能损耗。优雅关闭兜底‌当EventLoop触发优雅关闭流程时会先停止接收新任务然后把队列中剩余的未完成任务全部执行完毕再终止绑定线程避免出现任务丢失的情况。非空快速唤醒‌当队列从空变为非空时会主动唤醒正在Selector上阻塞等待的IO线程让新提交的任务可以被及时处理不需要等到select阻塞超时。