🍭理论篇

1⃣️ 数学

2⃣️ 语言

🍬C++🐾

🍃 编译相关

• 🐾 cpp编译过程

• 🐾 C++静态库与动态库

• 🐾 gcc、cmake | gcc参数选项

• 🐾 makefile手册

• 🐾 why make –> cmake

• 🐾 CMake Tutorial | CMakeLists.txt格式 | CMake官方教程-英文 | CMake手册-别人的blog |CMake Demo Github | Cmake Demo github2

• 🐾 CMake 教程中文版

🍃 代码学习

• 🐾 C++黑马视频–语法为主

• 🐾 侯杰C++学习教程

🍃 函数

• 🐾 atof、…

• 🐾 C++11 std::chrono库详解

• 🐾 详解C++11智能指针

• 🐾 static_cast、dynamic_cast、const_cast和reinterpret_cast

• 🐾 库的导入（系统介绍）

• 🐾 mutable

• 🐾 Lambda

• 🐾 函数指针与指针函数

• 🐾 C\C++中函数后面加const

• 🐾 unique_ptr的使用和陷阱

🍃 C++工具

• VS Code + UML ｜ 类图语法参考

• UML类关系

🍃 算法&数据结构

• 🐾 链表：

  • 🐾 反转链表、链表操作、合并链表

• 🐾 堆

  • 🐾 最小K个数

• 🐾 操作

  • 增：

  • 删：

  • 改：

  • 查：

  • 排序

🍬Python🐾

🍃 深度之眼👀

• 🐾 第二章 Python基本语法元素.ipynb

• 🐾 第三章 基本数据类型.ipynb

• 🐾 第四章 组合数据类型.ipynb

• 🐾 第五章 程序控制结构.ipynb

• 🐾 第六章 函数.ipynb

• 🐾 第七章 类——面向对象的编程.ipynb

• 🐾 第八章 文件、异常和模块.ipynb

• 🐾 第九章 有益的探索.ipynb

• 🐾 第十章 Python标准库.ipynb

• 🐾 第十一章 Numpy库.ipynb

• 🐾 第十二章 Pandas 库.ipynb

• 🐾 第十三章 Matplotlib库.ipynb

• 🐾 第十四章 scikit-learn 库.ipynb

• 🐾 第十五章 再谈编程.ipynb

🍃 Numpy

• 🐾 Axis

• 🐾 argmax、…、11个函数

• 🐾 控制流程

🍃 Matplotlib

• Matplotlib 唐宇迪

  • Matplotlib基本操作

  • 风格设置

  • 条形图

  • 盒图

  • 直方图and散点图

  • 3D图

  • pie图和子图布局

  • Pandas与sklearn结合实例

🍃 Python函数

• 🐾 Python下划线

• 🐾 查看类型、内存地址、占用空间大小；…;等15个函数

• 🐾 Python 类

• 🐾 pdb调试工具

• 🐾 OS模块

• 🐾 SYS模块

• 🐾 Argparse模块

• 🐾 logging 模块

• 🐾 多进程&多线程 –> 处理库futures

• 🐾 类型转换

• 🐾 collections模块

• 🐾 Map | Reduce

• 🐾 如何计算topk

• 🐾 按比例切分数据集

• 🐾 获取当前文件的路径

• 🐾 Python模块搜索路径

• 🐾 Python glob

🍃 Python封装工具

• 🐾 Python程序封装为exe等

• 🐾 Python程序封装成wheel、setuptools

• 🐾 Python pybind11

🍃 Python GUI

• 🐾 QT5

🍃 Python 报错

• 🐾 docker容器python中文乱码

🍭环境篇

1⃣️ GPUs

🍬 GPU知识

• 🐾 深入GPU硬件架构及运行机制

• 🐾 gpustat

• 🐾 nvidia-smi命令

• 🐾 NUMA & GPU

• 🐾 GPU Direct

• 🐾 GPU-Driver-Cuda- pytorch-tensorflow 对应关系

• 🐾 CUDA Samples

🍬 GPUs训练环境安装

• 🐾 Driver安装 Ubuntu16.04 ——-> CUDA、cuDNN安装 Ubuntu16.04 | Windows10–> Docker–>NVDocker

• 🐾 Horovod安装–见pytorch分布式小节

🍬 推理环境安装

• 🐾 TensorRT Ubuntu – Windows10

2⃣️ Pytorch

🍬Pytorch分布式🐾

• 🐾 分布式概念介绍-MPI

• 🐾 GPU&CUDA多机通信-硬件、库、框架三个层次 | 学习代码-需整理 | distributed + apex - 需整理

🍃 Horovod搭建过程

• 🐾 整体日志

• 🐾 IPMI配置

• 🐾 Ubuntu16.04 Server安装

• 🐾 Ubuntu16.04 配置IP

• 🐾 Ubuntu16.04 修改APT源

• 🐾 Ubuntu16.04 安装NVIDIA驱动 【一、安装440版本，可根据需求调换版本】

• 🐾 Ubuntu16.04 安装CUDA，cuDNN【二、安装cuda10.2 和cudnn7.6.5，可根据需求调换版本】

• 🐾 Ubuntu16.04安装nccl & 测试【三、安装nccl 2.6.4，可根据需求调换版本，apt-cache madison】

• 🐾 Pytorch多机多卡【四、测试多机多卡，先测试无RDMA的。需安装torch 1.2 torchvision0.4.0】

• 🐾 装安IB驱动【五、装IB，加速IB卡之间的RDMA】

• 🐾 Pytorch多机多卡【六、再次跑多机多卡程序，与四的效果对比】

• 🐾 安装NV_Peer_Memory【七、安装nv_peer_memory, 加速GPURDMA】

• 🐾 Pytorch多机多卡【八、再次跑多机多卡程序与四、六对比】

• 🐾 安装OpenMPI【九、安装OpenMPI，为Horovod做准备】

• 🐾 安装Horovod【十、安装Horovod，并测试程序，与四、六、八对比】

• 🐾 Ubuntu16.04 安装Docker【十一、安装Docker】

• 🐾 Ubuntu16.04 安装NVIDIA Docker【十二、安装NV-Docker】

• 🐾 在Docker中运行Horovod【十三、在Docker中运行Horovod】

🍬Pytorch1.4学习📒

🍬Pytorch函数学习

• 🐾 clone、detached、copy

• 🐾 expand & repeat

• 🐾 cat & stack

• 🐾 transpose & permute

• 🐾 contiguous

• 🐾 squeeze & unsqueeze

• 🐾 max, argmax, size, clamp, sum, topk

• 🐾 train、eval

• 🐾 权重加载修改名称

• 🐾 上采样：interpolate、PixelShuffle

• 🐾 scatter

3⃣️ 工具

🍬 图像预处理

• 🐾 图像标注工具labelme

• 🐾 图像去重工具imagededup

• 🐾 图像增强工具imgaug

🍬 实验工具

• 🐾 实验管理工具sacred

• 🐾 bypy 百度云下载python

• 🐾 Python日志库loguru

🍬 IDE&Tools安装

• 🐾 JupyterLab安装 Ubuntu

• 🐾 Matlab安装 Ubuntu

• 🐾 xrdp Ubuntu

• 🐾 VS2019 Windows

• 🐾 CLion 安装与调试 Mac

• 🐾 cmake 安装

• 🐾 pycuda安装

• 🐾 OpenCV GPU-Ubuntu – CPU-Ubuntu

• 🐾 VS Code 使用笔记

• 🐾 Pycharm手册

4⃣️ OpenCV

• 🐾 Python 读取视频

• 🐾 C++ Opencv学习笔记

• 🐾 opencv中CPU指令集优化、GPU

• 🐾 Opencv GPU系列笔记 CSDN

🍭训练篇&部署篇

1⃣️ 检查数据

2⃣️训练模型–train e ↓

🍬数据预处理

🍃 数据集介绍

• 🐾 VOC

• 🐾 COCO

• 🐾 Cityscapaces

🍃 特征缩放🐾

🍃 Pytorch数据读取

• 🐾 加速训练 —提高 GPU 利用率

• 🐾 加速训练—节约显存

🍃 Python读取图片

• 🐾 计算图片均值

• 🐾 opencv读取数据–segmentation fault

• 🐾 直方图处理

• 🐾 python读取图片的几种方式

🍬 网络模型

🍃 机器学习

• 🐾 最小二乘法

• 🐾 kmeans

🍃 NN

• 🐾 NN发展史

• 🐾 45分钟理解深度神经网络和深度学习-拟合角度

• 🐾 零基础入门深度学习- 感知器-线性单元和梯度下降-神经网络和反向传播算法-卷积神经网络-循环神经网络-长短时记忆网络(LSTM)-递归神经网络

🍃CNN

• 🐾 CNN介绍 –🐾CNN网络代码讲解

• 🐾 LeNet, AlexNet, VGG

• 🐾 DSC理解

• 🐾 Inception

• 🐾 ResNet

• 🐾 DenseNet

• 🐾 MobileNet

• 🐾 SENet

• 🐾 EfficientNet

• 🐾 conv 1* 1的作用

• 🐾 上采样

🍃RNN/NLP

• 🐾 NLP学习路线

• 🐾 Attention

• 🐾 [Transformer]

🍃GAN

🍃Detection

• 🐾 RCNNs

• 🐾 YOLO

  • yolo v1

  • yolo v2

  • yolo v3

  • yolo v4

  • Yolox | Github

🍃Segmentation

• 🐾 分割综述(2020)

• 🐾 UNet Family

  • unet

  • UNet++

• 🐾 PSPNet

• 🐾 DUC & HDC

🍃 IQA

• 🐾 HyperNet

🍃 FSL(小样本)

• 🐾 入门学习视频 ｜ PPT

• 🐾 小样本与元学习

• 🐾 综述—《Generalizing from a Few Examples: A Survey on Few-Shot Learning》学习|小样本论文收集-GitHub |视频

• 🐾 元学习的方法实现小样本分类

• 🐾 meta-learning系列

  • 元学习系列（零）：小样本学习与元学习综述

  • 元学习系列（一）：Siamese Network（孪生网络）1|2|3

  • 元学习系列（二）：Prototypical Networks（原型网络）

  • 元学习系列（三）: Relation Network（关系网络）

  • 元学习系列（四）: Matching Network（匹配网络）

  • 元学习系列（五）: GRU模型

  • 元学习系列（六）: 神经图灵机详细分析

  • 元学习系列（七）: MAML与Meta-SGD

  • 元学习系列（八）: Reptile

• 🐾 PANet

🍬 损失函数

• 🐾 交叉墒

• 🐾 Pytorch的损失函数

• Lovasz-Softmax Loss

• Exponential Logarithmic loss

• Focal Loss + Dice Loss

• BCE + Dice Loss

• Generalized Dice loss

• Tversky Loss

• IOU Loss

• Dice Loss

• Focal Loss

🍬 优化器

• 🐾 优化器整理

• 🐾 一阶梯度下降

🍃 BP求导

• 🐾 矩阵向量求导

• 🐾 深度神经网络（DNN）模型与前向/反向传播算法—->DNN - 反向传播算法(特详细)—->手动实现DNN

• 🐾 深度神经网络（CNN）模型与前向/反向传播算法—->CNN-反向传播算法 —->手动实现CNN

🍬 评价指标

• 🐾 语义分割评价指标

• 🐾 mAP code

• 🐾 IOU

🍬 网络可视化

🍃权重、梯度、特征图可视化

• 🐾 网络中间层显示工具CAM 🐾 blog

• 🐾 模型权重理解DeepDream

• 🐾 网络结构显示工具权重/梯度/特征图/混淆矩阵tensorboard

• 🐾 网络显示工具visdon

🍃网络结构

• 🐾 网络结构显示工具torchsuammary 🐾 debug

• 🐾 网络结构显示工具Netron

🍬 梯度消失与爆炸/欠拟合🐾

1. 预训练加微调

2. 🐾 权重初始化

3. 🐾 梯度剪切、权重正则（针对梯度爆炸）

4. 🐾 使用不同的激活函数

5. 🐾 使用batchnorm

6. 🐾 使用残差结构

7. 🐾 使用LSTM网络

🍬 Tips

• 🐾 深度学习训练流程

• 🐾 提高性能的4个角度

• 🐾 固定种子

• 🐾 混合精度训练, 🐾 apex 🐾 apex+tensorcore+ngc

• 🐾 TensorCore

• 🐾 DeepLearningExamples NVIDIA-各种加速和demo

• 🐾 学习率调整策略

• 🐾 学习率与batchsize

3⃣️测试模型–train e↔︎test e ↓

🍬 过拟合🐾

• 🐾 正则化

• 🐾 early stop

• 🐾 数据增强

• 🐾 dropout

• …

4⃣️ 微调/迁移学习

• 🐾 随机网格搜索

• 🐾 超参数优化

5⃣️ 压缩&部署

🍬 压缩

• 🐾 序列化

  • yaml

  • protobuf

  • grpc

🍬 数据后处理

🍬 部署框架 🐾

🍃ONNX

• 🐾 ONNX介绍

• 🐾 ONNX API Python | ONNX Tutorials

• 🐾 ONNX支持框架有哪些

🍃 TVM

• 介绍

• 编译安装

• TVM架构设计

• TVM部署

• TVM原理

• TVM源码学习

• Relay学习TODO

• 学习笔记-代码 | Github | [DockerHub:dockerhub:docker pull fusimeng/project:tvm-deploy-cpp]

🍃TensorRT

• 了解什么是TensorRT?

• 案例和讲解（C++）

• 使用TensorRT遇到的问题

• 入门案例代码解析(python)

• 自己收集的案例1(python) | 2(python)

🍬 网站部署-BS

• 🐾 HTTP协议

• 🐾 为什么web会前后端分离？

• 🐾 《REST，GraphQL，Webhooks & gRPC 如何选型》

• 🐾 浅谈 RPC 和 REST: SOAP, gRPC, REST

• 🐾 理解RESTful

🍬 嵌入式设备

• 🐾 Nano

• 🐾 树莓派

  • 安装系统

🍬 视频处理与流媒体

• 协议

🍃 基本概念

• 视频基本概念与多媒体概念

• 视频编解码与GPU

🍃 视频编解码理论基础

• 第一章 介绍

• 第二章 数字视频

• 第三章 信息论基础

• 第四章 视频编解码理论基础

🍃 信息论与编码基础（雷菁）

• 第一章 绪论

• 第二章 离散信源

• 第三章 离散信道

DeepStream

• DeepStream介绍

🍭项目篇

项目结构

1、config.json格式：参考segmentation

2、scared格式：参考PANet

3、Exp自定义格式：参考YoloX

1⃣️ 分类/Classification

• 🐾 classification

2⃣️ 语义分割/Segmentation

• 🐾 segmentation

3⃣️ 目标检测/Detection

• 🐾 YoloX

4⃣️ 小样本/Few Shot Learning

• 🐾 PANet-🐙 📒

5⃣️ 图像质量评价/Image Quality Assessment

• 🐾 hyperIQA-🐙📒

5⃣️ 异常检测/Anomaly Detection

• PaDiM Anomaly Detection

5⃣️ 部署

• 🐾 onnxruntime, tensorrt, tvm, …

本作品采用《CC 协议》，转载必须注明作者和本文链接