项目开发使用教程和常见问题和解决方法(cuda cudnn安装教程)

项目开发使用教程和常见问题和解决方法目录项目开发使用教程和常见问题和解决方法一、Python开发环境搭建1. 安装cuda cudnn深度学习入门必装(1)Windows安装方法(2)Ubuntu18.04安装方法2. 安装Python(推荐使用Anaconda)(1)Windows安装python方法(2)Ubuntu18.04安装python方法(3)Python开发工具(IDE): 强烈推荐Pycharm3. Pytorch安装深度学习入门必装1安装torch1.7.12安装torch1.12.14. 安装项目依赖包5. 运行项目Demo6. 可视化工具TensorBoard使用方法7. 如何用CPU运行项目代码二、常见问题和解决方法1 No module named的问题2目录路径填写错误问题3中文路径问题特别注意4图片格式问题5OSError: 页面文件太小无法完成操作​​​​​​6cannot import name model_urls或者load_state_dict_from_url7cannot import name InterpolationMode这AI吃大瓜相关项目的开发入门基础教程凡是从公众号【AI吃大瓜】下载的源码都可以参考本博文进行开发环境搭建推荐使用Python3.8或Python3.7更高版本可能存在版本差异问题项目安装教程请参考初学者入门麻烦先看完下面教程配置好开发环境项目开发使用教程和常见问题和解决方法视频教程1 手把手教你安装CUDA和cuDNN(1)视频教程2 手把手教你安装CUDA和cuDNN(2)视频教程3 如何用Anaconda创建pycharm环境视频教程4 如何在pycharm中使用Anaconda创建的python环境推荐使用Python3.8或Python3.7更高版本可能存在版本差异问题【尊重原创转载请注明出处】项目开发使用教程和常见问题和解决方法_pip安装tensorboard-CSDN博客一、Python开发环境搭建硬件独立显卡必须是NVIDIA的显卡如1080显卡2070显卡cpu/硬盘/内存没有特殊要求系统Windows或者Linux系统均可以如果项目涉及深度学习如PytorchTensorFlow等深度学习框架那么必须配置好GPU开发环境1. 安装cuda cudnn深度学习入门必装深度学习模型算法比较复杂如果使用CPU计算速度会很慢因而需要使用GPU进行并行计算加速 。深度学习框架如PytorchTensorFlow都支持GPU训练使用GPU设备需要显卡的支持比如常见1080显卡2070显卡等同时需要安装对应的显卡驱动以及CUDA和cuDNN库。CUDA 是NVIDIA发明的一种并行计算平台和编程模型它通过利用图形处理器 (GPU) 的处理能力,可大幅提升计算性能。而cuDNN(CUDA Deep Neural Network library)是NVIDIA打造的针对深度神经网络的加速库,是一个用于深层神经网络的GPU加速库。NVIDIA显卡下载NVIDIA GeForce 驱动程序 - N 卡驱动 | NVIDIACUDA下载CUDA Toolkit Archive | NVIDIA DevelopercuDNN下载v8.x:cuDNN Archive | NVIDIA Developer v9.xcuDNN 9.10.2 Downloads | NVIDIA Developer , cuDNN Archive | NVIDIA Developer(1)Windows安装方法视频教程1 手把手教你安装CUDA和cuDNN(1)视频教程2 手把手教你安装CUDA和cuDNN(2)参考安装教程Windows10系统下CUDA和cuDNN安装教程(2)Ubuntu18.04安装方法参考安装教程ubuntu18.04安装cuda和cudnn安装好NVIDIA显卡可通过nvidia-smi查看cuda的最高支持版本下载CUDA安装包时只有小于或者等于该版本号即可安装cuda# 安装cuda注意Driver去掉[x],不要安装Driver sudo sh cuda_12.0.0_525.60.13_linux.run # 在~/.bashrc添加环境变量 export PATH/usr/local/cuda-12.0/bin:$PATH export LD_LIBRARY_PATH/usr/local/cuda-12.0/lib64:$LD_LIBRARY_PATH export CUDA_HOME/usr/local/cuda-12.0 # 激活环境变量后可输入nvdia-smi验证显卡使用情况 source ~/.bashrc安装cudnncuda11.x选择cudnn8.x,cuda12.x选择cudnn9.x# 新版本安装cudnn9.x: https://developer.nvidia.com/cudnn-downloads?target_osLinux wget https://developer.download.nvidia.com/compute/cudnn/9.10.2/local_installers/cudnn-local-repo-debian12-9.10.2_1.0-1_amd64.deb sudo dpkg -i cudnn-local-repo-debian12-9.10.2_1.0-1_amd64.deb sudo cp /var/cudnn-local-repo-debian12-9.10.2/cudnn-*-keyring.gpg /usr/share/keyrings/ sudo apt-get update sudo apt-get -y install cudnn sudo apt-get -y install cudnn9-cuda-12 # 也可以使用pip环境安装https://developer.nvidia.com/cuda/cuda-x-libraries/cudnn pip install nvidia-cudnn # 旧版本安装cudnn8.x下载对应cuda版本的cudnn,然后解压拷贝cudnn文件 sudo cp include/cudnn*.h /usr/local/cuda-12.0/include sudo cp lib/libcudnn* /usr/local/cuda-12.0/lib64/ sudo chmod ar /usr/local/cuda-12.0/include/cudnn.h2. 安装Python(推荐使用Anaconda)项目Python版本开发使用Python3.8更高版本可能不支持(1)Windows安装python方法视频教程3 如何用Anaconda创建pycharm环境视频教程4 如何在pycharm中使用Anaconda创建的python环境参考安装教程Anaconda超详细安装教程Windows环境下conda使用教程Windows中Conda 创建和使用虚拟环境(2)Ubuntu18.04安装python方法参考安装教程ubuntu 18.04 安装conda环境 及 创建虚拟环境(3)Python开发工具(IDE): 强烈推荐PycharmPyCharm 是由 JetBrains 打造的一款 Python IDE,可以支持调试、语法高亮、Project 管理、代码跳转、智能提示、自动完成、单元测试、版本控制等等3. Pytorch安装深度学习入门必装PyTorch是基于Torch的开源Python机器学习库官网PyTorch安装Previous PyTorch Versions | PyTorch项目源码PyTorch版本最低支持torch1.7.1, 建议使用torch1.12.1 请根据自己CUDA版本选择安装1安装torch1.7.1pip install torch1.7.1cu110 torchvision0.8.2cu110 torchaudio0.7.2 -f https://download.pytorch.org/whl/torch_stable.html2安装torch1.12.1pip install torch1.12.1cu116 torchvision0.13.1cu116 torchaudio0.12.1 --extra-index-url https://download.pytorch.org/whl/cu1164. 安装项目依赖包项目python依赖包Windows和Ubuntu安装方法一致一般项目都自带requirements.txt文件里面包含了项目开发所需要的python依赖包已经对应的版本号比如下图第一个依赖包numpy1.18.5说明项目使用了numpy库对应的版本是1.18.5你可选择使用pip安装对应的版本pip install numpy1.18.5# 或者pip install numpy1.18.5 -i https://pypi.tuna.tsinghua.edu.cn/simple其中-i后面的网址表示安装包的下载地址国内pip安装速度慢可以使用-i指定镜像源加快安装速度其他安装包也可以用pip一个一个的安装或者直接安装所有依赖包pip install -r requirements.txtPS一般依赖包是向下兼容的只需要安装比requirements版本号大于或者等于的版本即可5. 运行项目Demo项目一般都自带的demo.py文件支持argparse的命令行输入命令行可在终端Terminal运行。项目一般会给出Linux运行脚本bash,如下图所示如果你在Linux开发可直接复制粘贴到终端运行注意要cd进入项目根目录否则找不到文件# 测试图片 image_dirdata/test_image # 测试图片的目录 weightsdata/model/yolov5s_640/weights/best.pt # 模型文件 out_dirruns/test-result # 保存检测结果 python demo.py --image_dir $image_dir --weights $weights --out_dir $out_dir上面bash脚本中其中$image_dir,$weights和$out_dir都是取image_dir,weights和out_dir的值跟python的变量复制语句是一个意思但Windows系统不支持这种变量赋值语法哦如果你Windows系统已经安装git ,则可以在git的终端中直接输入上面的命令无需修改如果你在Windows开发请去掉变量修改为# 这种命令在Linux和Windows终端都支持但语句比较长就不太美观了 python demo.py --image_dir data/test_image --weights data/model/yolov5s_640/weights/best.pt --out_dir runs/test-result6. 可视化工具TensorBoard使用方法安装使用pip安装依赖包tensorboard2.5.0和tensorboardX2.1使用方法在终端(Terminal)输入命令# 需要安装tensorboard2.5.0和tensorboardX2.1 # 基本方法 tensorboard --logdirpath/to/log/ # 例如 tensorboard --logdirwork_space/mobilenet_v2_1.0_CrossEntropyLoss_20230228174645/log点击http://localhost:6006/ 浏览器打开可以看到训练过程的可视化效果7. 如何用CPU运行项目代码由于CPU运行速度太慢项目默认只支持GPU如果你电脑没有NVIDIA的独立显卡又特别想使用CPU运行测试可以尝试这样修改不管是CPU还是GPU运行项目环境都要先配置好如果出现No module named xxx,那就表示相关依赖包没有安装用pip install xxx即可将项目代码devicecuda:0或者devicecuda全部都改为devicecpu,这样就切换为cpu模式运行了不知道改哪里那就在代码搜索关键词device总之全部都要改全部改完后再执行也许就可以使用CPU运行了但速度十分慢二、常见问题和解决方法1 No module named的问题如果出现“No module named ***”的错误请使用pip install *** 即可,例如出现下面的错误Traceback (most recent call last):File stdin, line 1, in moduleModuleNotFoundError: No module named basetrainer请使用pip安装pip install basetrainer -i https://pypi.tuna.tsinghua.edu.cn/simple其中-i后面的网址表示安装包的下载地址国内pip安装速度慢可以使用-i指定镜像源加快安装速度2目录路径填写错误问题Windows开发初学者经常犯的错误填写路径时搞不清楚路径分隔符注意Windows和Linux的路径的分隔符Windows路径分割符【\】或者【//】 ,在python中某些库也可以使用【/】,那到底怎么写呢绝大部情况使用【/】分隔符即可Linux(Ubuntu)路径分割符号只能是【/】3中文路径问题特别注意Windows环境中项目文件和数据目录都不要出现中文路径否则会出现opencv读取图片异常等问题4图片格式问题项目默认只支持*.jpg *.png两张格式如果你的图片是bmp, tif或者其他的图片请在postfix参数中添加对应的图片格式即可比如设置函数传入参数postfix[*.jpg, *.png] 如果你不知道哪里修改搜索一下postfix就可以找到了5OSError: 页面文件太小无法完成操作当你电脑配置太差时训练时可能会出现一下错误问题说明这是因为你电脑性能太差了内存不足解决方法修改训练参数workers和batch-size例如设置--batch-size8 --workers0batch_size: 8num_workers: 0​​​​​​6cannot import name model_urls或者load_state_dict_from_url由于一些版本升级会导致部分接口函数不能使用请确保版本对应torch1.7.1torchvision0.8.2或者将对应python文件将from torchvision.models.resnet import model_urls, load_state_dict_from_url修改为from torch.hub import load_state_dict_from_url model_urls { mobilenet_v2: https://download.pytorch.org/models/mobilenet_v2-b0353104.pth, resnet18: https://download.pytorch.org/models/resnet18-5c106cde.pth, resnet34: https://download.pytorch.org/models/resnet34-333f7ec4.pth, resnet50: https://download.pytorch.org/models/resnet50-19c8e357.pth, resnet101: https://download.pytorch.org/models/resnet101-5d3b4d8f.pth, resnet152: https://download.pytorch.org/models/resnet152-b121ed2d.pth, resnext50_32x4d: https://download.pytorch.org/models/resnext50_32x4d-7cdf4587.pth, resnext101_32x8d: https://download.pytorch.org/models/resnext101_32x8d-8ba56ff5.pth, wide_resnet50_2: https://download.pytorch.org/models/wide_resnet50_2-95faca4d.pth, wide_resnet101_2: https://download.pytorch.org/models/wide_resnet101_2-32ee1156.pth, }7cannot import name InterpolationMode依然是版本问题# 如果你的Pytorch Version1.10.0则使用 import PIL.Image as Image transforms.RandomRotation(degrees5, resampleImage.BILINEAR) # 如果你的Pytorch Version1.10.0则使用 from torchvision.transforms import InterpolationMode transforms.RandomRotation(degrees5, interpolationInterpolationMode.BILINEAR), #