1. 项目概述从“看见”到“决策”的智能小车挑战“红灯停绿灯行”这个连幼儿园小朋友都熟知的交通规则当它变成一个AI项目时挑战就完全不一样了。这不仅仅是让一个机器识别出红色或绿色的色块而是构建一套完整的“感知-决策-控制”闭环系统。我最近在带一个“千里马Plus”项目式课程其中第四课就是这个经典又极具教学价值的“交通信号灯识别”项目。很多初学者包括一些有一定嵌入式基础的朋友第一次上手时都会觉得“不就是用OpenCV做个颜色识别嘛分分钟搞定。”但真做起来从摄像头选型、图像预处理、到识别算法的鲁棒性再到与小车控制系统的稳定联动每一步都可能让你卡上半天。这个项目的核心是教会你如何让一个静态的、实验室环境下的Demo变成一个能在动态、复杂光照下可靠运行的实时嵌入式AI应用。它麻雀虽小五脏俱全涵盖了计算机视觉入门、嵌入式系统集成、实时系统设计等多个关键技能点。简单来说我们要做的就是给智能小车通常是基于树莓派、香橙派或STM32OpenMV的方案装上“眼睛”摄像头并赋予它“理解”交通信号灯的能力最终根据识别结果控制小车电机执行“行进”或“停止”的动作。这听起来像是一个简单的if-else判断但其背后涉及的光学、色彩空间、图像噪声、实时计算资源调度等问题才是这个项目真正的价值所在。无论你是想参加智能车竞赛还是学习嵌入式AI的落地这个项目都是一个绝佳的起点。2. 核心需求解析与方案选型在动手写一行代码之前我们必须把需求掰开揉碎了分析清楚。一个鲁棒的“红灯停绿灯行”系统绝不仅仅是颜色识别准确就行。2.1 功能性需求拆解首先我们需要明确系统必须完成的任务实时图像采集系统需要以稳定的帧率例如15-30 FPS从摄像头获取视频流。信号灯检测与识别从每一帧图像中定位可能是交通信号灯的区域并判断该区域显示的是红色还是绿色。这里隐含了两个子任务目标检测找到灯在哪和图像分类判断是什么颜色。决策与状态保持识别出颜色后需要做出决策。例如识别到绿灯则发送“前进”指令识别到红灯则发送“停止”指令。同时为了避免因单帧识别错误或灯光闪烁导致的误动作必须引入状态机或滤波算法如连续识别到N次红灯才确认停车。控制指令下发将决策结果通过特定的通信协议如PWM、串口指令、Socket等发送给小车底层电机驱动板。环境适应性系统需要在不同的光照条件室内日光灯、室外阴天/晴天、不同角度和距离下保持较高的识别成功率。2.2 非功能性需求考量这些需求往往决定了方案的成败实时性从采集图像到发出控制指令的总延迟必须足够低通常要求小于200-300毫秒否则小车可能已经冲过停车线。资源受限嵌入式平台如树莓派的算力、内存有限算法必须轻量化。鲁棒性对图像噪声、部分遮挡、光照变化不敏感。可维护性代码结构清晰参数易于调整便于调试和迭代。2.3 技术方案选型与对比基于以上需求主流的实现方案有以下几种各有优劣方案核心思路优点缺点适用场景1. 传统图像处理OpenCV在HSV/HSL色彩空间设定红色和绿色的阈值范围通过颜色过滤、形态学操作找出色块。计算量极小速度极快在资源受限的MCU如OpenMV上也能运行。原理简单调试直观。严重依赖光照条件阈值需要针对不同环境手动调整鲁棒性差。容易将红色衣物、绿色植物误识别为信号灯。实验室固定光照环境、对成本及功耗极度敏感的入门教学或特定竞赛场景。2. 机器学习传统特征分类器提取颜色直方图、HOG等特征使用SVM、随机森林等训练一个分类器来区分红灯、绿灯和其他背景。相比纯阈值法对光照变化有一定适应性准确率有所提升。特征需要人工设计性能天花板有限。依然需要先检测出候选区域ROI流程较繁琐。对传统计算机视觉有学习需求作为向深度学习过渡的中间步骤。3. 深度学习目标检测使用YOLO、SSD、EfficientDet等轻量级模型直接端到端地输出信号灯的位置和类别红、绿、黄等。准确率高鲁棒性好能同时解决“在哪”和“是什么”的问题抗干扰能力强。需要大量标注数据模型训练有门槛。模型需要一定算力在树莓派上需使用TensorFlow Lite、ONNX Runtime或LibTorch进行推理优化。追求高可靠性、复杂环境的实际应用或高级别竞赛。4. 深度学习图像分类先验区域假设信号灯总出现在图像上方固定区域先裁剪出该区域再使用一个轻量级CNN如MobileNet进行分类。比方案3更轻量速度更快。避免了复杂的目标检测模型。依赖先验知识如果信号灯位置不固定如上下坡则会失效。信号灯位置相对固定的场景如特定赛道。我的选型建议对于“千里马Plus”这类项目式课程我推荐采用“方案1快速入门 - 方案4进阶优化”的路径。先通过OpenCV阈值法让项目快速跑起来建立整体系统框架和信心。然后在树莓派上部署一个裁剪过的MobileNet分类模型替换掉阈值识别部分从而学习嵌入式AI模型部署的全流程。这样既能体验传统算法的局限性又能接触到现代AI技术的核心。3. 基于OpenCV的快速实现方案详解我们先从最经典、最直观的OpenCV颜色阈值方案入手。这个方案是理解整个系统流程的基石。3.1 硬件准备与摄像头选型硬件是项目的物理基础选型不当会直接导致软件调试地狱。主控平台树莓派4B/5社区资源丰富性能足够是学习和原型开发的首选。推荐使用64位操作系统。香橙派5性价比高NPU强大适合后期部署AI模型进行加速。Jetson NanoGPU强大AI生态好但价格和功耗较高。STM32OpenMV极致轻量功耗低适合纯传统算法或对实时性要求极高的场景。摄像头树莓派官方摄像头模块使用CSI接口带宽高、延迟低、CPU占用小是首选。推荐V2或HQ Camera。USB摄像头即插即用兼容性好但延迟和CPU占用通常高于CSI摄像头。选购时注意选择Linux免驱UVC协议的型号。全局快门与卷帘快门如果小车高速运动图像容易产生果冻效应此时应考虑全局快门摄像头但价格昂贵。对于课堂项目普通卷帘快门摄像头足以应对。小车底盘确保电机驱动板如L298N、TB6612可以与主控板正常通信通常通过GPIO PWM或串口。3.2 软件环境搭建在树莓派上我们使用Python作为开发语言主要依赖OpenCV。# 更新系统 sudo apt update sudo apt upgrade -y # 安装Python3和pip如果未安装 sudo apt install python3 python3-pip -y # 安装OpenCV及其GUI支持这是一个比较完整且稳定的安装方式 sudo apt install python3-opencv libopencv-dev -y # 验证安装 python3 -c “import cv2; print(cv2.__version__)”如果apt安装的版本过低可以考虑通过pip安装开源贡献版的OpenCV功能更全pip3 install opencv-contrib-python-headless # 无GUI版本适合服务器/树莓派 # 或者 pip3 install opencv-contrib-python3.3 核心算法HSV色彩空间与阈值分割为什么用HSV而不用RGB这是第一个关键点。RGB通道与亮度耦合紧密光照一变三个值一起变很难设定稳定的阈值。HSVHue色调, Saturation饱和度, Value明度色彩空间将颜色信息H与亮度信息V分离更适合基于颜色的分割。红灯和绿灯在HSV中的大致范围注意OpenCV中H的范围是0-180S和V是0-255红色红色在色相环上位于0°和180°附近所以需要两个区间来覆盖。区间1:[0, 10]或[170, 180](H),[100, 255](S),[50, 255](V)区间2:[170, 180]或[0, 10](H),[100, 255](S),[50, 255](V)绿色绿色大约在色相环的35°到85°之间。区间:[35, 85](H),[50, 255](S),[50, 255](V)重要提示这些阈值不是绝对的必须根据你的具体摄像头、环境光照进行现场校准。最有效的方法是写一个简单的滑动条程序来动态调整并观察效果。3.4 代码实现与分步解析下面是一个结合了动态调试和主逻辑的示例代码框架import cv2 import numpy as np def nothing(x): pass # 创建调试窗口和滑动条实际运行时可以注释掉 cv2.namedWindow(‘Trackbars’) cv2.createTrackbar(‘LH’, ‘Trackbars’, 0, 179, nothing) cv2.createTrackbar(‘LS’, ‘Trackbars’, 0, 255, nothing) cv2.createTrackbar(‘LV’, ‘Trackbars’, 0, 255, nothing) cv2.createTrackbar(‘UH’, ‘Trackbars’, 179, 179, nothing) cv2.createTrackbar(‘US’, ‘Trackbars’, 255, 255, nothing) cv2.createTrackbar(‘UV’, ‘Trackbars’, 255, 255, nothing) # 初始化摄像头0代表默认CSI/USB摄像头。如果是CSI摄像头可能需要使用 cv2.VideoCapture(0, cv2.CAP_V4L2) 或指定具体管道。 cap cv2.VideoCapture(0) # 设置分辨率降低分辨率可以提升处理速度 cap.set(cv2.CAP_PROP_FRAME_WIDTH, 640) cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 480) # 状态机变量用于防抖 red_light_count 0 green_light_count 0 STATE_GO 1 STATE_STOP 2 current_state STATE_GO CONFIRM_THRESHOLD 5 # 连续识别到5次才改变状态 while True: ret, frame cap.read() if not ret: print(“Failed to grab frame”) break # 1. 高斯模糊减少噪声 blurred cv2.GaussianBlur(frame, (5, 5), 0) # 2. 转换到HSV色彩空间 hsv cv2.cvtColor(blurred, cv2.COLOR_BGR2HSV) # 从滑动条获取实时阈值调试用 l_h cv2.getTrackbarPos(‘LH’, ‘Trackbars’) l_s cv2.getTrackbarPos(‘LS’, ‘Trackbars’) l_v cv2.getTrackbarPos(‘LV’, ‘Trackbars’) u_h cv2.getTrackbarPos(‘UH’, ‘Trackbars’) u_s cv2.getTrackbarPos(‘US’, ‘Trackbars’) u_v cv2.getTrackbarPos(‘UV’, ‘Trackbars’) # 3. 定义红色和绿色的HSV阈值范围这里使用调试值或预设值 # 红色范围两个区间 lower_red1 np.array([0, 100, 50]) upper_red1 np.array([10, 255, 255]) lower_red2 np.array([170, 100, 50]) upper_red2 np.array([180, 255, 255]) # 绿色范围 lower_green np.array([35, 50, 50]) upper_green np.array([85, 255, 255]) # 4. 创建掩膜 mask_red1 cv2.inRange(hsv, lower_red1, upper_red1) mask_red2 cv2.inRange(hsv, lower_red2, upper_red2) mask_red cv2.bitwise_or(mask_red1, mask_red2) mask_green cv2.inRange(hsv, lower_green, upper_green) # 5. 形态学操作去除小噪点连接相邻区域 kernel np.ones((5,5), np.uint8) mask_red cv2.morphologyEx(mask_red, cv2.MORPH_OPEN, kernel) mask_red cv2.morphologyEx(mask_red, cv2.MORPH_CLOSE, kernel) mask_green cv2.morphologyEx(mask_green, cv2.MORPH_OPEN, kernel) mask_green cv2.morphologyEx(mask_green, cv2.MORPH_CLOSE, kernel) # 6. 寻找轮廓 contours_red, _ cv2.findContours(mask_red, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) contours_green, _ cv2.findContours(mask_green, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) red_detected False green_detected False # 处理红色轮廓 for cnt in contours_red: area cv2.contourArea(cnt) if area 500: # 面积阈值过滤小噪点 red_detected True x, y, w, h cv2.boundingRect(cnt) cv2.rectangle(frame, (x, y), (xw, yh), (0, 0, 255), 2) cv2.putText(frame, ‘Red Light’, (x, y-10), cv2.FONT_HERSHEY_SIMPLEX, 0.9, (0,0,255), 2) break # 假设只有一个红灯 # 处理绿色轮廓 for cnt in contours_green: area cv2.contourArea(cnt) if area 500: green_detected True x, y, w, h cv2.boundingRect(cnt) cv2.rectangle(frame, (x, y), (xw, yh), (0, 255, 0), 2) cv2.putText(frame, ‘Green Light’, (x, y-10), cv2.FONT_HERSHEY_SIMPLEX, 0.9, (0,255,0), 2) break # 假设只有一个绿灯 # 7. 状态机逻辑防抖 if red_detected and not green_detected: red_light_count 1 green_light_count 0 elif green_detected and not red_detected: green_light_count 1 red_light_count 0 else: # 都没检测到或同时检测到异常计数清零或缓慢衰减 red_light_count max(0, red_light_count - 1) green_light_count max(0, green_light_count - 1) # 状态转换 if red_light_count CONFIRM_THRESHOLD: current_state STATE_STOP # TODO: 发送停止指令给小车例如 GPIO.output(STOP_PIN, GPIO.HIGH) control_signal “STOP” elif green_light_count CONFIRM_THRESHOLD: current_state STATE_GO # TODO: 发送前进指令给小车 control_signal “GO” else: # 保持原状态 control_signal “HOLD” # 在图像上显示状态 cv2.putText(frame, f’State: {control_signal}’, (20, 40), cv2.FONT_HERSHEY_SIMPLEX, 1, (255, 255, 255), 2) # 8. 显示图像调试用 cv2.imshow(‘Original’, frame) cv2.imshow(‘Mask Red’, mask_red) cv2.imshow(‘Mask Green’, mask_green) key cv2.waitKey(1) 0xFF if key ord(‘q’): break cap.release() cv2.destroyAllWindows()4. 进阶部署轻量级AI模型提升鲁棒性当阈值法在变化的光照下表现挣扎时就该AI模型登场了。我们采用“先验区域图像分类”的方案在树莓派上部署一个轻量级CNN。4.1 数据收集与标注数据是AI的燃料。你需要收集数百张包含红灯、绿灯以及背景无灯的图片。工具使用labelImg工具进行标注。但因为我们做的是分类而不是检测所以只需将图片按类别放入不同文件夹即可dataset/ ├── train/ │ ├── red/ │ ├── green/ │ └── background/ └── val/ ├── red/ ├── green/ └── background/技巧在多种光照、角度、距离下拍摄甚至可以用软件对图片进行随机的亮度、对比度、旋转等数据增强以模拟更多场景。4.2 模型选择与训练我们选择在ImageNet上预训练的MobileNetV2作为基础模型进行迁移学习。这比从头训练快得多效果也好。# train.py (在性能更强的电脑上运行如带GPU的PC) import tensorflow as tf from tensorflow import keras from tensorflow.keras import layers, models from tensorflow.keras.preprocessing.image import ImageDataGenerator # 数据路径 train_dir ‘dataset/train’ val_dir ‘dataset/val’ # 数据增强与生成器 train_datagen ImageDataGenerator( rescale1./255, rotation_range20, width_shift_range0.2, height_shift_range0.2, shear_range0.2, zoom_range0.2, horizontal_flipTrue, fill_mode‘nearest’) val_datagen ImageDataGenerator(rescale1./255) train_generator train_datagen.flow_from_directory( train_dir, target_size(224, 224), # MobileNet标准输入尺寸 batch_size32, class_mode‘categorical’) val_generator val_datagen.flow_from_directory( val_dir, target_size(224, 224), batch_size32, class_mode‘categorical’) # 加载预训练的MobileNetV2不包括顶部分类层 base_model keras.applications.MobileNetV2(input_shape(224, 224, 3), include_topFalse, weights‘imagenet’) base_model.trainable False # 冻结基础模型先只训练我们添加的层 # 构建新模型 model models.Sequential([ base_model, layers.GlobalAveragePooling2D(), layers.Dropout(0.2), layers.Dense(128, activation‘relu’), layers.Dense(3, activation‘softmax’) # 3类红、绿、背景 ]) model.compile(optimizer‘adam’, loss‘categorical_crossentropy’, metrics[‘accuracy’]) # 训练模型 history model.fit( train_generator, steps_per_epochtrain_generator.samples // train_generator.batch_size, epochs10, validation_dataval_generator, validation_stepsval_generator.samples // val_generator.batch_size) # 微调解冻基础模型的部分顶层进行训练 base_model.trainable True fine_tune_at 100 # 解冻最后100层 for layer in base_model.layers[:fine_tune_at]: layer.trainable False model.compile(optimizertf.keras.optimizers.Adam(learning_rate1e-5), loss‘categorical_crossentropy’, metrics[‘accuracy’]) history_fine model.fit( train_generator, steps_per_epochtrain_generator.samples // train_generator.batch_size, epochs5, validation_dataval_generator, validation_stepsval_generator.samples // val_generator.batch_size) # 保存模型 model.save(‘traffic_light_classifier.h5’)4.3 模型转换与树莓派部署训练好的Keras模型.h5需要转换为适合嵌入式设备推理的格式如TensorFlow Lite。# convert_to_tflite.py import tensorflow as tf # 加载训练好的模型 model tf.keras.models.load_model(‘traffic_light_classifier.h5’) # 转换为TFLite模型 converter tf.lite.TFLiteConverter.from_keras_model(model) converter.optimizations [tf.lite.Optimize.DEFAULT] # 启用默认优化量化等 tflite_model converter.convert() # 保存模型 with open(‘traffic_light_classifier.tflite’, ‘wb’) as f: f.write(tflite_model)将生成的.tflite文件拷贝到树莓派。在树莓派上使用tflite_runtime库进行推理它比完整的TensorFlow包更轻量。# 在树莓派上安装TFLite Runtime pip3 install tflite-runtime4.4 集成AI模型到主程序修改之前的主循环用AI模型替换掉阈值判断的部分。# inference_on_pi.py import cv2 import numpy as np import tflite_runtime.interpreter as tflite # 1. 加载TFLite模型 interpreter tflite.Interpreter(model_path“traffic_light_classifier.tflite”) interpreter.allocate_tensors() # 获取输入输出详情 input_details interpreter.get_input_details() output_details interpreter.get_output_details() input_shape input_details[0][‘shape’] # 通常是 [1, 224, 224, 3] # 类别标签 class_names [‘background’, ‘green’, ‘red’] # 与训练时顺序对应 # 2. 初始化摄像头同上 cap cv2.VideoCapture(0) # 3. 定义先验区域ROI假设信号灯在图像上半部分中央区域 roi_top, roi_bottom 50, 250 roi_left, roi_right 200, 440 while True: ret, frame cap.read() if not ret: break # 4. 提取ROI roi frame[roi_top:roi_bottom, roi_left:roi_right] roi_display roi.copy() # 5. 预处理ROI图像以供模型推理 # a. 调整大小到模型输入尺寸 roi_resized cv2.resize(roi, (input_shape[1], input_shape[2])) # b. 归一化 (如果训练时做了rescale1./255这里也需要) roi_normalized roi_resized.astype(np.float32) / 255.0 # c. 添加批次维度 input_data np.expand_dims(roi_normalized, axis0) # 6. 推理 interpreter.set_tensor(input_details[0][‘index’], input_data) interpreter.invoke() predictions interpreter.get_tensor(output_details[0][‘index’]) # 7. 解析结果 predicted_class_idx np.argmax(predictions[0]) confidence predictions[0][predicted_class_idx] predicted_label class_names[predicted_class_idx] # 8. 决策逻辑可加入置信度阈值过滤例如 confidence 0.7 if predicted_label ‘red’ and confidence 0.7: # 红灯逻辑 cv2.rectangle(frame, (roi_left, roi_top), (roi_right, roi_bottom), (0, 0, 255), 3) cv2.putText(frame, f’Red: {confidence:.2f}’, (roi_left, roi_top-10), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0,0,255), 2) # TODO: 发送停止指令 elif predicted_label ‘green’ and confidence 0.7: # 绿灯逻辑 cv2.rectangle(frame, (roi_left, roi_top), (roi_right, roi_bottom), (0, 255, 0), 3) cv2.putText(frame, f’Green: {confidence:.2f}’, (roi_left, roi_top-10), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0,255,0), 2) # TODO: 发送前进指令 else: # 背景或低置信度 cv2.rectangle(frame, (roi_left, roi_top), (roi_right, roi_bottom), (255, 255, 0), 2) cv2.putText(frame, f’BG: {confidence:.2f}’, (roi_left, roi_top-10), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (255,255,0), 2) cv2.imshow(‘Traffic Light Detection’, frame) if cv2.waitKey(1) 0xFF ord(‘q’): break cap.release() cv2.destroyAllWindows()5. 系统联调与性能优化实战将视觉识别模块和小车控制模块连接起来并进行整体优化是项目从“能跑”到“跑得好”的关键。5.1 控制指令下发假设小车控制器通过串口接收指令。我们可以使用Python的pyserial库。import serial import time # 初始化串口参数需根据你的电机驱动板调整 # 通常波特率为9600或115200 ser serial.Serial(‘/dev/ttyUSB0’, 9600, timeout1) # 也可能是 /dev/ttyAMA0 (GPIO UART) time.sleep(2) # 等待串口初始化 def send_command(cmd): 发送控制指令 if ser.is_open: # 指令格式需与下位机约定例如 ‘G’ 表示前进’S‘ 表示停止 if cmd ‘GO’: ser.write(b’G\n’) elif cmd ‘STOP’: ser.write(b’S\n’) ser.flush()在主循环的决策部分调用send_command()函数即可。5.2 性能瓶颈分析与优化在树莓派上运行AI模型帧率可能不高。我们需要进行优化降低输入分辨率将模型输入从224x224降低到128x128或96x96可以大幅减少计算量对精度影响可能不大。使用更轻的模型将MobileNetV2换成MobileNetV1或专门为嵌入式设计的模型如SqueezeNet、ShuffleNet。模型量化我们在转换TFLite时已经使用了DEFAULT优化它包含了权重量化。可以尝试全整数量化进一步提速。converter tf.lite.TFLiteConverter.from_keras_model(model) converter.optimizations [tf.lite.Optimize.DEFAULT] converter.representative_dataset representative_dataset_gen # 需要提供代表数据集 converter.target_spec.supported_ops [tf.lite.OpsSet.TFLITE_BUILTINS_INT8] converter.inference_input_type tf.uint8 converter.inference_output_type tf.uint8使用硬件加速树莓派4B/5的CPU是ARM Cortex-A系列可以使用ARM NN或TFLite的XNNPACK后端进行CPU加速。对于香橙派5可以利用其强大的NPU。多线程处理将图像采集、图像预处理、模型推理、控制逻辑放在不同的线程中利用树莓派的多核优势避免因等待I/O或推理而阻塞摄像头帧捕获。5.3 调试技巧与心得可视化是关键始终在图像上绘制ROI区域、检测框、类别和置信度。这能让你直观地看到算法“看到”了什么“想”了什么。日志记录将关键信息如识别结果、置信度、帧率、控制指令写入文件或打印到终端便于离线分析问题。模拟测试先不要急着让小车真跑。用一段录制好的视频文件cv2.VideoCapture(‘test_video.mp4’)代替摄像头输入可以安全、反复地调试算法。光照是最大的敌人如果条件允许可以考虑在摄像头前加一个偏振片或者使用自动曝光/白平衡锁定功能减少环境光剧烈变化的影响。在代码中可以尝试使用CLAHE等算法进行图像增强。6. 常见问题排查与解决方案速查在实际操作中你几乎一定会遇到下面这些问题。这里我整理了“病状”和“药方”。问题现象可能原因排查步骤与解决方案摄像头无法打开cap.read()返回False1. 摄像头被其他进程占用。2. 摄像头驱动问题。3. OpenCV不支持该摄像头索引。1. 检查是否有其他程序如fswebcam在使用摄像头。2. 尝试ls /dev/video*查看设备节点。对于CSI摄像头尝试libcamera命令测试。3. 尝试不同的索引号0, 1, 2…。对于树莓派CSI摄像头可能需要cv2.VideoCapture(0, cv2.CAP_V4L2)或使用picamera2库。图像颜色异常如偏蓝/偏黄摄像头白平衡未正确设置。1. 在代码中尝试设置cap.set(cv2.CAP_PROP_AUTO_WB, 0)并手动调整。2. 使用cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)转换颜色空间看看。OpenCV默认使用BGR。阈值法在阳光下完全失效强光下饱和度(S)和明度(V)变化剧烈预设的固定阈值失效。1.动态阈值根据图像整体亮度动态调整V通道的阈值范围。2.切换到HSV的H通道尝试仅使用H通道进行分割对光照变化更鲁棒但容易受噪声干扰。3.放弃阈值法使用AI模型。AI模型推理速度太慢5 FPS模型太大或未优化。1. 降低输入图像分辨率。2. 使用tflite_runtime而非完整TensorFlow。3. 启用TFLite的XNNPACK后端需编译支持。4. 考虑使用更轻量的模型架构。小车在红灯前“点头”频繁启停状态机防抖逻辑不佳或单帧识别错误率高。1. 增加状态确认的连续帧数CONFIRM_THRESHOLD例如从5增加到10。2. 引入“迟滞”机制从GO到STOP需要连续10帧红灯但从STOP回到GO只需要连续5帧绿灯。3. 提高AI模型的置信度阈值如从0.7提到0.85。误识别如将红色广告牌当红灯仅靠颜色或简单形状特征不足。1.加入形状判断交通灯通常是圆形或箭头形。在找到色块后用cv2.approxPolyDP计算轮廓近似多边形判断其形状和圆度。2.加入空间关系判断真交通灯通常有固定的排列红黄绿从上到下或从左到右。3.使用目标检测模型YOLO等模型能同时学习颜色、形状和上下文从根本上解决此问题。树莓派运行一段时间后卡死内存泄漏或过热降频。1. 检查代码中是否有未释放的资源如每帧创建新的大数组。2. 使用htop命令监控内存和CPU使用率。3. 为树莓派安装散热风扇或散热片避免过热。这个“红灯停绿灯行”的项目从简单的颜色识别到集成轻量级AI模型几乎踩遍了嵌入式视觉应用的所有经典坑。它最宝贵的价值不在于最终让小车停下来而在于这个过程中你被迫去思考图像的本质、算法的局限、系统的稳定性以及软硬件的协同。当你成功让小车在变化的光线下稳定识别信号灯时你所掌握的绝不仅仅是一个OpenCV函数或者一个TensorFlow API而是一套解决真实世界问题的工程化思维和能力。这远比单纯调通一个Demo要有意义得多。
