服务器
数据库
sqlserver
适配器模式
数据挖掘
串口
ROS2
zabbix
开尔文四线法与电桥
进程同步
桌面聊天系统
bi
半导体
原型模式
读书
atf
LabVIEW开发
3D游戏建模
shellcode
CTA
卷积
2024/4/11 16:31:33
卷积神经网络 CNN (Convolutional Neural Network)
卷积神经网络 CNN (Convolutional Neural Network)
卷积神经网络是近些年逐步兴起的一种人工神经网络结构, 因为利用卷积神经网络在图像和语音识别方面能够给出更优预测结果, 这一种技术也被广泛的传播可应用. 卷积神经网络最常被应用的方面是计算机的图像识别, 不过因为不断地…
CNN卷积神经网络(数字分类)
CNN卷积神经网络——手写数字识别
import torch
import torch.nn as nn
from torch.autograd import Variable
import torch.utils.data as Data
import torchvision
import matplotlib.pyplot as plttorch.manual_seed(1)# Hyper parameters
EPOCH 1
BATCH_SIZE 50
LR 0.0…
卷积涨点论文 | Asymmetric Conv ACNet | ICCV | 2019
文章原创来自作者的微信公众号：【机器学习炼丹术】。交流群氛围超好，我希望可以建议一个：当一个人遇到问题的时候，有这样一个平台可以快速讨论并解答，目前已经1群已经满员啦，2群欢迎你的到来哦。加入群唯一…
全连接层和卷积层如何相互转化？
两者相互转换的可能性：
全连接层和卷积层之间唯一的不同就是卷积层中的神经元只与输入数据中的一个局部区域连接，且参数共享。然而不管在卷积和FC层中，神经元都是计算点积，所以它们的函数形式是一样的。因此，将此两者…
为什么传统CNN结构神经网络的输入图片尺寸是固定的？
对于CNN来说，一张图片经过conv和pooling时，这些层是不关心图片大小的。比如对于一个卷积层，output_size(input_size - kernel_size)/stride 1,它并不关心输入图片的尺寸大小，但是经过若干次conv和pooling后，要经过fla…
读MS-CapsNet: A Novel Multi-Scale Capsule Network的一些理解
论文链接！！！！！！
摘要：
指出胶囊网络的优势，即可以编码图片中特征的空间关系，这将很大程度上改善目前在图像分类的缺点（特征不变性）。但是原始的…
AlexNet——ImageNet Classification with Deep Convolutional Neural Networks
目录摘要结构ReLULRNOverlapping pooling训练技巧Data augmentation方法一：针对位置方法二：针对颜色Dropout实验结果及分析Qualitative evaluations卷积可视化特征的相似性研究意义研究成果论文总结摘要
在ILSVRC-2010上获最优结果（超出第二…
卷积神经网络CNN的基本概念
卷积神经网络CNN的基本概念
**神经元结构：**由一个线性函数和一个非线性的激活函数构成。激活函数的作用是改变数据的线性关系，并且将输入数据映射在某个范围内，防止数据过大溢出。
**全连接：**每一层的每个神经元都与下一层的每…
网络骨架（Backbone）之——VGGNet
网络骨架（Backbone）之——VGGNet
VGGNet一共有6个不同的版本，最常用的是VGG16
VGGNet的网络结构
VGGNet采用了五组卷积与三个全连接层，最后使用Softmax做分类。
VGGNet有一个显著的特点：每次经过池化层（…
卷积神经网络-CNN
这是博主自己学习CNN整理的一点小笔记 参考了很多大佬的文章，在文末贴出连接，推荐给大伙阅读
CNN原理
局部连接
对于一张图片，保留其原本的图形结构，通过局部扫描的方式，每次对图像的一个区域进行计算，进…
Keras学习：04.使用text-CNN处理自然语言（下）
前言:在上一篇文章中，已经介绍了Keras对文本数据进行预处理的一般步骤。预处理完之后，就可以使用深度学习中的一些模型进行文本分类。在这篇文章中，将介绍text-CNN模型以及使用该模型对imdb影评数据集进行情感分析。 正如上篇文章所说&#x…
用卷积神经网络（CNN）中的卷积核（过滤器）提取图像特征
这两天在听吴恩达讲解卷积神经网络的视频，对利用卷积层检测边缘特征也就是提取图像的特征有了一定的理解，并且通过查阅资料，用python实现了提取图像特征的过程，然后趁热打铁总结一下，话不多说，直接步入正题…
《Python深度学习》第五章-4（可视化中间激活层）读书笔记
5.4 卷积神经网络的可视化
卷积神经网络学到的表示非常适合可视化，很大程度上是因为它们是视觉概念的表示\color{red}视觉概念的表示视觉概念的表示。接下来介绍3种可视化方法。 可视化卷积神经网络的中间输出（中间激活）\color{red}可视化卷…
TensorFlow 2 ——基础神经网络和卷积神经网络
目录基础神经网络卷积神经网络基础神经网络
首先是处理训练数据。导入或者随机定义训练的数据 𝑥 和 𝑦 ，这里我们使用 NumPy 随机定义训练的数据：
import numpy as np
import tensorflow as tfx_data np.linspace(-1, 1, 300)…
ASHRAE KAGGLE大能源预测（前三名方案总结+相关知识点讲解+python实现）
文章目录1 概述2 处理思想学习2.1 移除异常值2.2 缺失值2.3 目标函数2.4 特征工程2.4.1 Savitzky-Golay filter2.4.2 Bayesian target encoding(python实现)2.5 models ensemble2.5.1 pearson correlation(python 实现)2.6 Why does postprocessing work? 2nd place magic喜欢…
深度学习中backbone网络优缺点（附图文）
backbone
VGG系列
采用连续的几个3x3的卷积核代替AlexNet中的较大卷积核（11x11，7x7，5x5），采用堆积的小卷积核是优于采用大的卷积核，因为多层非线性层可以增加网络深度来保证学习更复杂的模式，…
空洞（膨胀）卷积（Atrous/Dilation Convolution）(详细解释！！！)
Atrous/Dilation Convolution的思想：因为图像相邻像素几乎相同，如果全部参加卷积运算结果会产生冗余，于是选择跳过H个像素值取一个有效值，这样可以在增加感受野的提前下同时降低运算，但是缺点是采用这种方法会导致部分…
【一看就懂】EfficientNet详解。凭什么EfficientNet号称当今最强？
efficientNet的论文原文链接 英语过关的小伙伴也许可以挑战一下？哈哈
模型扩展Model scaling一直以来都是提高卷积神经网络效果的重要方法。 比如说，ResNet可以增加层数从ResNet18扩展到ResNet200。这次，我们要介绍的是最新的网络结构——Ef…
讲解GoogleNet的Inception从v1到v4的演变
喜欢的话请关注我们的微信公众号~《你好世界炼丹师》。
公众号主要讲统计学，数据科学，机器学习，深度学习，以及一些参加Kaggle竞赛的经验。公众号内容建议作为课后的一些相关知识的补充，饭后甜点。此外，为了…
什么是GoogleNet？什么是Inception？GoogleNet结构详解（2014年）
googleNet是2014年的ILSVRC的冠军模型，GoogleNet做了更大胆的网络上的尝试，而不是像vgg继承了lenet以及alexnet的一切框架。GoogleNet虽然有22层，但是参数量只有AlexNet的1/12
GoogleNet论文指出获得高质量模型最保险的做法就是增加模型的深…
UNet详解（附图文和代码实现）
卷积神经网络被大规模的应用在分类任务中，输出的结果是整个图像的类标签。但是UNet是像素级分类，输出的则是每个像素点的类别，且不同类别的像素会显示不同颜色，UNet常常用在生物医学图像上，而该任务中图片数据往往较少…
Pytorch深度学习入门与实战二——卷积神经网络
1.卷积神经网络基本单元 空洞卷积 通过在卷积核中添加空洞（0元素），从而增大感受野，获取更多的信息。 感受野：在卷积神经网络中，决定某一层输出结果中一个元素所对应的输入层的区域大小，即特征映…
AlexNet原理及代码实现
AlexNet 原理及代码实现
基础介绍：
原始图像：256X256X3 图像处理：数据增强 1. 随机剪切256X256x3<>224x224x3 2. 224x224旋转，位置变换 3. 图像增大：224x224<>227x227 4. 实际输入AlexNet网络࿱…
pytorch之nn.Conv1d和nn.Conv2d超详解
Conv1d
一般用于文本
nn.Conv1d(in_channels, out_channels, kernel_size, stride1, padding0, dilation1, groups1, biasTrue)参数解读：
in_channels： 输入通道。在文本分类中，即为词向量的维度out_channels： 卷积产生的通道。…
《Python深度学习》第五章-5（可视化过滤器）读书笔记
5.4 卷积神经网络的可视化
卷积神经网络学到的表示非常适合可视化，很大程度上是因为它们是视觉概念的表示\color{red}视觉概念的表示视觉概念的表示。接下来介绍3种可视化方法。 事中\color{blue}事中事中：可视化卷积神经网络的中间输出（中…
计算CNN的模型的算力FLOPS
YOLOv3中的有一输入日志显示了BFLOPS，代表了这一卷积层的算力具体有多少。下面是我输入的前面38层的日志;
layer filters size input output 0 conv 32 3 x 3 / 1 416 x 416 x 3 -> 416 x 416 x 32 0.299 BFLOPs 1 conv 64 3 x 3 / 2 …
【小白学PyTorch】13 EfficientNet详解及PyTorch实现
参考目录： 文章目录1 EfficientNet1.1 概述1.2 把扩展问题用数学来描述1.3 实验内容1.4 compound scaling method1.5 EfficientNet的基线模型2 PyTorch实现文章来自微信公众号【机器学习炼丹术】。我是炼丹兄，如果有疑问或者想要和炼丹兄交流的可以加微信…
3D卷积入门 | 多论文笔记 | R2D C3D P3D MCx R(2+1)D
文章转自微信公众号：【机器学习炼丹术】。有问题或者需要加入粉丝交流群可以私信作者~ 文章目录0 前言1 R2D2 C3D2.1 R3D3 P3D4 MCx5 R(21)D【前前沿】：某一次和粉丝交流的时候，收获一句话：人点亮技能书，不是一次性电量…
图像分割必备知识点 | Unet详解 理论+ 代码
文章转自：微信公众号【机器学习炼丹术】。文章转载或者交流联系作者微信：cyx645016617
Unet其实挺简单的，所以今天的文章并不会很长。 喜欢的话可以参与文中的讨论、在文章末尾点赞、在看点一下呗。
0 概述
语义分割(Semantic Segmentatio…
人工智能系列 之常见的深度学习模型
*LeNet： Yann LeCun的mnist手写体识别任务。
*AlexNet： Alex Krizhevsky发表，在2012年ImageNet ILSVRC比赛中夺冠，使用ReLU作为激活函数，使用Dropout避免过拟合。
*CaffeNet： 由Zeiler和Fergus于2013年…
深度可分离卷积 深度卷积 逐点卷积
深度可分离卷积 深度卷积(Depthwise Convolution) 逐点卷积(Pointwise Convolution)。
深度卷积 分组卷积(Group Convolution)： 输入通道数cinc_{in}cin，输出通道数coutc_{out}cout, 将输入feature map分为GGG组，每组分别卷积…
GEE中核函数在不同缩放级别下的区别
问题： 2个问题： 1. 内核都采用单位参数，可以是像素或米，文档指出： 内核的测量系统（“像素”或“米”）。如果内核以米为单位指定，则当缩放级别更改时它将调整大小。 我认为这是不正确…
Keras深度学习：02.CNN讲解及实践
前言：现今最主流的处理图像数据的技术当属深度神经网络了，尤其是卷积神经网络CNN尤为出名。本文将通过讲解CNN的介绍以及使用keras搭建CNN常用模型LeNet-5实现对MNist数据集分类，从而使得读者更好的理解CNN。 1.CNN的介绍
CNN是一种自动化提…
AI面试题之深入浅出卷积网络的平移不变性
卷积网络的平移不变性可能会经常在论文中看到，那这个到底是什么呢？看了一些论文的原文和网络上十几篇讲这个的博文，大概捋清了思路然后写下这个。不得不说，有的博文讲的有那么点问题。
1 什么是不变性
【不变性】就是目标发生了…
常见特征金字塔网络FPN及变体
好久没有写文章了（对不起我在划水），最近在看北京的租房（真真贵呀）。预告一下，最近无事，根据个人多年的证券操作策略和自己的浅显的AI时间序列的算法知识，还有自己Javascript的现学现…
轮廓检测论文解读 | 整体嵌套边缘检测HED | CVPR | 2015
主题列表：juejin, github, smartblue, cyanosis, channing-cyan, fancy, hydrogen, condensed-night-purple, greenwillow, v-green, vue-pro, healer-readable
贡献主题：https://github.com/xitu/juejin-markdown-themes
theme: juejin highlight:
0…
通俗讲：端侧神经网络GhostNet（2019）
喜欢的话请关注我们的微信公众号~《你好世界炼丹师》。
公众号主要讲统计学，数据科学，机器学习，深度学习，以及一些参加Kaggle竞赛的经验。公众号内容建议作为课后的一些相关知识的补充，饭后甜点。此外，为了…
pytorch实现 | Deformable Convolutional Networks | CVPR | 2017
文章转载自微信公众号：【机器学习炼丹术】，请支持原创。
这一篇文章，来讲解一下可变卷积的代码实现逻辑和可视化效果。全部基于python，没有C。大部分代码来自：https://github.com/oeway/pytorch-deform-conv 但是我研…
轮廓检测论文解读 | Richer Convolutional Features for Edge Detection | CVPR | 2017
有什么问题可以加作者微信讨论，cyx645016617 上千人的粉丝群已经成立，氛围超好。为大家提供一个遇到问题有可能得到答案的平台。
0 概述
论文名称：“Richer Convolutional Features for Edge Detection”论文链接：https://opena…
图像分割 | Context Prior CPNet | CVPR2020
文章转自微信公众号：「机器学习炼丹术」文章作者：炼丹兄（已授权）作者联系方式：cyx645016617论文名称：“Context Prior for Scene Segmentation”
0 综述
先上效果图，CPNet似乎对一些难样本有着…
SPPNet详解（白话讲解——附图文）
SPPNet是何凯明大神提出的，为了解决R-CNN中速度慢问题。
在神经网络中输入图片的尺寸必须是固定的，这是因为在设计的时候FC层中神经元的个数都是固定的，导致输入图片尺寸必须是固定的。
CNN是可以适应不同尺寸的输入图片，说明在…
光流 | flownet | CVPR2015 | 论文+pytorch代码
文章转自微信公众号「机器学习炼丹术」作者：炼丹兄（已授权）作者联系方式：微信cyx645016617（欢迎交流 共同进步）论文名称：“FlowNet: Learning Optical Flow with Convolutional Networks”论文链…
tf2.0搭建自编码器
何为自编码器
以下是来自TensorFlow实战-黄文坚这本书。 这里有一个自编码器的思想来源，就是说虽然图片，音频，视频千千万，但是往往“表达”他们的基本机构是少数的一些基本固定的结构。称为特征的稀疏表达。
这里来解释一下…
OpenCV图像变换（一）卷积
最近在学习OpenCV中的图像变换方面的知识，想就前面的学习进行个简单的总结。图像的变换就是将一幅图像转变成图像数据的另外一种表现形式。图像的变换有很多内容，主要涉及到图像的卷积滤波、扭曲、拉伸、霍夫变换、离散傅里叶变换等等。在这篇博文中&…
DetNet详解（很详细！！！一看就懂系列！！！！！！）
DetNet详解
DetNet由旷视科技发表在ECCV2018的论文，出发点为现有的检测任务的backbone网络都是由分类任务衍生而来，因此作者想针对检测专用的backbone网络做一些讨论和研究而设计的DetNet。
1.很多backbone网络在ImageNet大赛上做分类表现不错…
Pytorch卷积层输入输出大小计算
Pytorch中Conv2d有下面几个参数：
input_channels, output_channels, kernel_size, stride, padding, group
若输入图片为正方形，设输入为（C1, H1, W1）,输出为(C2, H2, W2)
则
C2 out_channels
H2 W2 ((H1 or W1 - kernel_…
RFBNet详细讲解（附图文解释）
1.RFBNet有哪些创新点？
RFBNet主要想利用一些技巧使得轻量型模型在速度和精度上达到很好权衡的检测器，其灵感来自于人类视觉的感受野结构Receptive Fields（RFs），提出了比较新颖的RF block（RFB）…
图像分割论文 | DRN膨胀残差网络 | CVPR2017
文章转自：同作者个人微信公众号【机器学习炼丹术】。欢迎交流沟通，共同进步，作者微信：cyx645016617
论文名称：‘Dilated Residual Networks’论文链接：https://arxiv.org/pdf/1705.09914.pdf
0 综述 这篇…
![[EE261学习笔记] 6.卷积的三个性质及卷积性的应用](https://img-blog.csdn.net/20180818203652713?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyOTQzMzk3/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70#pic_center)
[EE261学习笔记] 6.卷积的三个性质及卷积性的应用
本文内容分三块，分别是卷积的三个重要性质，以及傅里叶函数卷积性的两个应用：滤波装置，解一维无限长热柱方程 卷积的三个重要的性质：
1. 卷积操作是一种平均化的操作，f∗gf*gf∗g 会比 fff 与 ggg 更平滑&a…
深度学习_10_5_ResNet,DenseNetResNet实战
10_5_ResNet,DenseNet&ResNet实战
ResNet深度残差网络
当堆叠更深的网络结构的时候，网络的性能并没有得到提升。每次计算梯度时δEδwij−>δk\frac{\delta E}{\delta w_{ij}}->\delta_kδwijδE−>δk，δk\delta_kδk算子是通过…
卷积计算转换为矩阵乘计算的几种场景和方法
本文默认卷积的输入输出数据格式为NHWC。
1x1卷积 输入shape为[N, H, W, C] , filter为[Hf, Wf, Ci, Co]
FH, FW都为1，直接把输入shape reshape为[N, H * W, C], filter reshape为[[Hf * Wf * Ci, Co],然后进行矩阵乘得到[N, H * W, Co]，再reshape为卷…
飞桨学习笔记之经典图像分类模型
1 LeNet2 AlexNet3 VGG4 GoogLeNet5 ResNet1 LeNet
LeNet 通过连续使用卷积和池化层的组合提取图像特征。网络结构示意图：
第一模块：包含55的6通道卷积和22的池化。卷积提取图像中包含的特征模式（激活函数使用 sigmoid）&#x…
深度学习 卷积神经网络原理
深度学习 卷积神经网络原理一、前言二、全连接层的局限性三、卷积层3.1 如何进行卷积运算？3.2 偏置3.3 填充3.4 步长3.5 卷积运算是如何保留图片特征的？3.6 三维卷积3.7 多种特征提取四、池化层五、全连接层六、参考资料一、前言
本文分析了全连接层存在…
理解卷积与拉普拉斯变化学习笔记
关于卷积
卷积的运算只是乘积之和，真正令人困惑的在于一个乘积因子是X(τ)，而另一个是H(t-τ)。 这里解释一下为什么是t-τ：τ作为时间微元对应于线性时不变系统一般在t之前，那么这个时间微元τ到时刻t的时间间隔就是t-τ&#x…
Pelee：移动端实时检测Backbone
简介
在ImageNet数据集上，PeleeNet只有MobileNet模型的66%,并且比MobileNet精度更高。PeleeNet作为backbone实现SSD能够在VOC2007数据集上达到76.4%的mAP。文章总体上参考DenseNet的设计思路，提出了三个核心模块进行改进，有一定参考价值。
…
【数字信号处理】傅里叶变换（Fourier）
万恶之源（✘）
Hello Signal （✔） Supplement ： ❶ 先看图片下方标注 ↑ ❷ 一个域乘以一系列脉冲，另一个域便卷积一系列脉冲。乘以一系列脉冲的行为是采样的本质，卷积一系列脉冲是获得周期的…
【CNN基础】转置卷积学习笔记
目录1. 转置卷积的直观理解1.1 卷积和转置卷积2. 转置卷积的计算过程2.1 思路一：将转置卷积看成几个矩阵相加2.2 思路二：转置卷积是一种卷积3. 如何计算转置卷积输出feature map的size1. 转置卷积的直观理解
1.1 卷积和转置卷积
卷积的直观理解&#x…
VGG——Very Deep Convolutional Networks for Large-Scale Image Recognition
目录AbstractquestionmethodanswerIntroductionwhy research？ContributionDetailsArchitectureTrainingTestingConclusionAbstract
question
大规模图像识别任务下卷积网络深度对其预测准确率的影响。
method
使用具有非常小的（33）卷积滤…
Tensorflow 卷积方法详解
tf.nn.conv2d(input, filter, strides, padding, use_cudnn_on_gpuNone, nameNone) 结果返回一个Tensor，这个输出，就是我们常说的feature map，shape仍然是[batch, height, width, channels]这种形式。 第一个参数input：指需要做卷…
ZFNet——Visualizing and Understanding Convolutional Networks
目录BackgroundMotivationApproachArchitectureConclusionBackground
ILSVRC2013分类任务的冠军，top5的错误率为11.7%，使用反卷积对CNN的中间特征图进行可视化分析，通过分析特征行为找到提升模型的办法，微调Alexnet提升了表现。 …
图卷积神经网络，为图与数据分类提供向导 | 数学博士 · 科普专栏
Steven Hou 前言如今深度学习技术渗透到现实世界的每一个角落，传统理工科方向纷纷靠拢深度学习，最终他们是否也能席卷设计人文等等学科呢？我坚信利用最先进的深度学习方法结合特有问题的领域知识，才能达到未来。这也是我希望实现的…
卷积Convolution和池化pooling特征提取，分类
前言： 本次实验是练习convolution和pooling的使用，更深一层的理解怎样对大的图片采用convolution得到每个特征的输出结果，然后采用pooling方法对这些结果进行计算，使之具有平移不变等特性。实验参考的是斯坦福网页教程：…
机器学习基础概念收集
机器学习基础概念收集 机器学习基础概念收集卷积(convolution)协方差、相关系数PCA 主成分分析ICA 独立成分分析 收集下经典的数学知识和机器学习算法讲解，便于以后使用。 卷积(convolution) 最容易理解的对卷积(convolution)的解释 协方差、相关系数 马同学高等数…
深度可分离卷积、空洞卷积、反卷积、感受野计算、上采样
文章目录输出特征图尺寸的计算Depthwise卷积和Pointwise运算成本比较低空洞卷积反卷积上采样输出特征图尺寸的计算 Depthwise卷积和Pointwise运算成本比较低
如何计算？
空洞卷积
https://www.zhihu.com/people/merofine/posts?page2 这个人博客写得好。 概述
a…
MNIST数字分类——使用卷积神经网络
简介 关于使用Dense层（密集连接型网络）处理MNIST数字图像分类的问题，可以参考使用keras构建和训练mnist的神经网络。
卷积神经网络，是计算机视觉领域使用最广泛的一种深度学习模型。可以对比，使用简单的卷积神经网络&…
torch.nn.conv3d理解
前言
需要用到3DCNN，于是找到了torch.nn.conv3d，网上太多人写参数解读，但没什么人能讲得清楚的，于是我边理解边写代码验证，得到了我想要的结果。
实例
用3DCNN的开篇之作来当作例子解读一下这个函数的参数ÿ…
《Python深度学习》第五章-1（CNN简介）读书笔记
第五章 深度学习用于计算机视觉
5.1 卷积神经网络简介
5.1.1 卷积神经网络对 MNIST 分类
使用卷积神经网络对 MNIST 数字进行分类，在第 2 章用密集连接网络做过（当时的测试精度为 97.8%）。它是 Conv2D 层和 MaxPooling2D 层的堆叠。 实例…
Tensorflow学习笔记七——卷积神经网络
7.1 准备性认识 1.卷积网络的神经科学基础 方向选择性细胞：处于视觉系统较为前面的神经元细胞会在瞳孔瞥见眼前物体的边缘，并且这个边缘指向某个方向时呈现出活跃的状态。 图像通过视网膜刺激，传递到头后部的V1区[初级视觉皮层]：初…
深度学习_10_3_CIFAR100与VGG13实战
10_3_CIFAR100与VGG13实战
CIFAR100
与CIFAR10图片不变，但是分为10大类和每大类10小类。
32*3260K：50K10K
Pipline（流程）
Load datasets加载数据集Build Network创建网络TrainTest
13 Layers
conv * 2max pool 一小块
最…
MMDetection3D代码学习笔记——fuse-conv-bn的作用
MMDetection3D代码学习笔记——fuse-conv-bn的作用
fuse-conv-bn在mmdetection3d中的参数设置代码
parser.add_argument(--fuse-conv-bn,actionstore_true,helpWhether to fuse conv and bn, this will slightly increasethe inference speed)由help中的说明可以看出fuse-con…
Pytorch 中nn.Conv2d的参数用法 channel含义详解
文章目录nn.Conv2dchannelnn.Conv2d
nn.Conv2d是二维卷积方法，相对应的还有一维卷积方法nn.Conv1d,常用于文本数据的处理，而nn.Conv2d一般用于二维图像。
先看一下接口定义：
class torch.nn.Conv2d(in_channels,out_channels, kernel_size…
LSTM的备胎，用卷积处理时间序列——TCN与因果卷积（理论+Python实践）
什么是TCN
TCN全称Temporal Convolutional Network，时序卷积网络，是在2018年提出的一个卷积模型，但是可以用来处理时间序列。
卷积如何处理时间序列
时间序列预测，最容易想到的就是那个马尔可夫模型： P(yk∣xk,xk−…
【小白学PyTorch】4 构建模型三要素与权重初始化
这个系列是重新整理的一个《小白学PyTorch系列》。文章来自微信公众号【机器学习炼丹术】，喜欢的话动动小手关注下公众号吧~
文章目录： 文章目录1 模型三要素2 参数初始化3 完整运行代码4 更细致的看参数1 模型三要素
三要素其实很简单
必须要继承nn.…
NEON加速im2col+gemm的卷积推理
前言
主流框架包括caffe、tf、darknet实现卷积的时候不是直接进行卷积计算，而是往往采用im2colgemm的方式来进行加速，加速的思路是“空间换时间”提高读取数据过程cache的命中。本文主要利用ARM的NEON汇编指令来加速darknet框架的CPU卷积计算
darknet相…
MATLAB中conv和filter函数的区别
文章目录 1.函数简介w conv(u,v)yfilter(b,a,x)讨论情况 2.先说结论3.代码验证 1.函数简介
w conv(u,v)
w conv(u,v) 返回向量 u 和 v 的卷积结果，卷积运算是对信号的移位加权求和。
yfilter(b,a,x)
使用由分子和分母系数 b 和 a 定义的有理传递函数对输入数…
读《CSL-YOLO: A New Lightweight Object Detection System for Edge Computing》的一些理解
摘要
轻量型目标检测算法的兴起，是由于计算资源有限。作者提出了一种CSL-Module块，该块能通过更少的计算量产生更多的冗余特征，在中间阶段，我们用逐点卷积来代替深度分离卷积来产生候选特征。实验证明CSL-Module模块能媲美3 x 3卷…
【Pytorch】一文搞懂nn.Conv2d的groups参数的作用
目录1. 语言描述2. 代码验证：1. 语言描述
在Pytorch1.13的官方文档中，关于nn.Conv2d中的groups的作用是这么描述的： 简单来说就是将输入和输出的通道（channel）进行分组，每一组单独进行卷积操作࿰…
如何通俗易懂地解释卷积？
原作者：palet 转载链接：https://www.zhihu.com/question/22298352/answer/637156871 来源：知乎转载
知乎上看到的，很不错的解释卷积的文章，通俗易懂 https://www.zhihu.com/question/22298352?rf21686447
对卷积的困…
tf基础_03_CNN
卷积神经网络 （Convolutional Neural Network, CNN）是一种结构类似于人类或动物的 视觉系统 的人工神经网络，包含一个或多个卷积层（Convolutional Layer）、池化层（Pooling Layer）和全连接层&…
基于U-Net的递归残差卷积神经网络在医学图像分割中的应用
英文原文链接: Recurrent Residual Convolutional Neural Network based on U-Net (R2U-Net) for Medical Image Segmentation
摘要
基于深度学习（DL）的语义分割方法在过去的几年里已经提供了最先进的性能。更具体地说，这些技术已经成功地应…
别怕，卷积其实很简单
原文链接 https://blog.csdn.net/qq_39521554/article/details/79083864 相信很多时候，当我们在看到“卷积”时，总是处于一脸懵逼的状态，不但因为它的本义概念比较难理解，还因为它在不同的应用中发挥出的变幻莫测的作用也时常让人…
【Unity3D】边缘检测特效
1 边缘检测原理 边缘检测的原理是：检测每个像素周围的像素亮度差，如果亮度差异较大，就将该像素识别为边缘，并进行边缘着色。 使用过卷积神经网络（CNN）的读者，一定知道卷积运算，笔者之…
【深度学习】Pytorch教程（八）：PyTorch数据结构：2、张量的数学运算（6）：高维张量：乘法、卷积（conv2d~四维张量；conv3d~五维张量）
文章目录 一、前言二、实验环境三、PyTorch数据结构1、Tensor（张量）1. 维度（Dimensions）2. 数据类型（Data Types）3. GPU加速（GPU Acceleration） 2、张量的数学运算1. 向量运算2. 矩阵…
图像语义分割中的上采样(Upsampling)和下采样(subsampling)
图像语义分割中的上采样和下采样1. 下采样（subsampled）2. 上采样（upsampled）2.1 线性插值2.2 单线性插值2.3 双线性插值2.4 双线性插值举例2.5 插值法总结2.6 转置卷积（Transposed Convolution）3. FCN (Ful…
深度学习中的网络结构backbone汇总
深度学习中的常见网络结构backbone汇总：1、LeNet52、AlexNet3、VGG4、GoogLeNet/Inception4.1 Inception V14.2 Inception V2、Inception V34.3 Inception V45、ResNet5.1 preResNet5.2 ResNeXt6、DenseNet7、SE Net8、SqueezeNet9、MobileNet10、ShuffleNet1、LeNe…
pytorch中Conv1d、Conv2d与Conv3d详解
1 卷积介绍
1.1 什么是卷积
卷积（convolution），是一种运算，你可以类比于加，减，乘，除，矩阵的点乘与叉乘等等，它有自己的运算规则，卷积的符号是星号*。表达式…
【OpenCV】图像处理（二）图像形态学
最近一直在看一些关于图像处理中的图像形态学和图像的局部分割的东西，一直也没时间去整理记录下相关的内容。今天这篇博文中，我们将重点讨论图像形态学中最基本的转换-膨胀和腐蚀。
膨胀和腐蚀能用来做什么？
可以用来做诸如消除噪声、分割出…
【神经网络】6. 卷积神经网络
在实际的图像识别中，通常都是RGB三通道的彩色图，用常规的神经网络会出现待优化参数过多容易导致模型过拟合。为了减少待优化参数，我们会先对图片进行特征提取，将提取的特征送入全连接网络进行识别卷积（convolutional&a…
离散信号的卷积与相关
离散信号的卷积与相关 1.一维离散信号的卷积与相关1.1 scipy实现1.2 个人Python实现1.3 一维卷积与相关的关系 2.二维离散信号的卷积与相关2.1 二维卷积运算的scipy与个人Python实现2.1.1 pad 02.1.2 不需要pad 0 2.2 二维相关运算的scipy与个人Python实现 参考文献 这里的相关…
CNN卷土重来！超越Transformer！何恺明实验室重新设计纯卷积架构：ConvNeXt
点击上方“码农的后花园”，选择“星标” 公众号精选文章，第一时间送达本文转载自机器之心自 FAIR 、UC 伯克利的研究者重新检查了设计空间并测试了纯 ConvNet 所能达到的极限，表明卷积神经网络的性能不亚于视觉 Transformer。视觉识别的快速发…
卷积的理解，卷积与通道的关系
神经网络中的卷积操作卷积在图像领域的功能单通道卷积多通道卷积（1个卷积核）多通道卷积（多个卷积核）总结扩展 图像处理中的卷积核恒等（Identity）边缘检测（Edge detection）锐化&#…
提高神经网络感受野ASPP（附代码）
ASPP
DeepLab: Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected CRFs.论文中提出的一种可提高感受野的技术。
空洞空间卷积池化金字塔(atrous spatial pyramid pooling (ASPP))对所给定的输入以不同采样率的空洞卷积并行…
深度学习基础笔记——卷积神经网络概念及其计算方式
相关申明及相关参考：笔记仅作学习参考 此部分前阶段学习的，因此部分出入有所纰漏，如有侵权，请联系删除。 目录
卷积神经网络（Convolutional Neural Network，CNN）
卷积
卷积核（滤波…
抽丝剥茧，带你理解转置卷积（反卷积）
目录前言普通卷积（直接卷积）转置卷积形象化的转置卷积总结前言
转置卷积又叫反卷积、逆卷积。不过转置卷积是目前最为正规和主流的名称，因为这个名称更加贴切的描述了卷积的计算过程，而其他的名字容易造成误导。在主流的深度学习…
tf.keras.layers.Conv2D（）
官方文档如下：
2D convolution layer (e.g. spatial convolution over images). This layer creates a convolution kernel that is convolved with the layer input to produce a tensor of outputs. If use_bias is True, a bias vector is created and added to…
[EE261学习笔记] 7.卷积与中心极限定理
本文的最重要的一个定理，中心极限定理Central limit theorem(CLT)：
任何函数多次与自身进行卷积运算之后，都会逼近某高斯分布，即 limn→∞f(x)∗...∗f(x)limn→∞f∗n(x)12πσe−(x−μ)22σ2\huge\lim_{n\to \infty} f(x)…
大汇总 | 一文学会八篇经典CNN论文
本文主要是回顾一下一些经典的CNN网络的主要贡献。
论文传送门
【google团队】
[2014.09]inception v1: https://arxiv.org/pdf/1409.4842.pdf[2015.02]inception v2: https://arxiv.org/pdf/1502.03167.pdf[2015.12]inception v3: https://arxiv.org/pdf/1512.00567.pdf[20…
【知识点】CNN中concat与add的区别
cat操作经常用于将特征联合，多个卷积特征提取框架提取的特征融合或者是将输出层的信息进行融合；而add层更像是信息之间的叠加。 add是在一个特征上增加其语义信息，对最终的图像的分类是有益；cat导致的结果改进可能是由于cat操作通…
PixMatch：怎么加上maxsquare loss
怎么加上maxsquare loss
模仿maxsquare loss 对照着target loss 加到了PixMatch里面
加maxsquare loss的时候出现了
pytorch unsupported operand type(s) for *: MaxSquareloss and float
# wrong：
MaxSquareloss(pred_1, prob_1)# right:
MaxSquareloss()(pre…
【综述】神经网络中不同类型的卷积层
在计算机视觉中，卷积是最重要的概念之一。同时研究人员也提出了各种新的卷积或者卷积组合来进行改进，其中有的改进是针对速度、有的是为了加深模型、有的是为了对速度和准确率的trade-off。本文将简单梳理一下卷积神经网络中用到的各种卷积核以及改进版本…
【小白学PyTorch】11 MobileNet详解及PyTorch实现
文章来自微信公众号【机器学习炼丹术】。我是炼丹兄，欢迎加我微信好友交流学习：cyx645016617。 文章目录1 背景2 深度可分离卷积2.2 一般卷积计算量2.2 深度可分离卷积计算量2.3 网络结构3 PyTorch实现本来计划是想在今天讲EfficientNet PyTorch的&#…
AI面试题之(反)卷积输出尺寸计算
1 给我背住
【卷积计算公式】 outputinput2∗padding−kernelstride1output\frac{input2*padding-kernel}{stride}1outputstrideinput2∗padding−kernel1
【反卷积计算公式】 outputstride∗(input−1)2∗padding−kernel2outputstride*(input-1)2*padding-kernel2outputs…
Pytorch实现ResNet
Pytorch实现ResNet
一、ResNet网络介绍 ResNet在2015年被提出，在ImageNet比赛classification任务上获得第一名，目标检测第一名。获得COCO数据集中目标检测第一名，图像分割第一名。由于它“简单与实用”并存，之后很多方法都建立在…
【小白学PyTorch】12 SENet详解及PyTorch实现
文章来自微信公众号【机器学习炼丹术】。我是炼丹兄，有什么问题都可以来找我交流，近期建立了微信交流群，也在朋友圈抽奖赠书十多本了。我的微信是cyx645016617，欢迎各位朋友。 文章目录1 网络结构2 参数量分析3 PyTorch实现与解析…
读《R-CapsNet: An Improvement of Capsule Network for More Complex Data》一些理解
摘要：
老套路，首先说CNN很好但是有很致命的缺点，例如CNN需要大量样本进行训练，且在pooling层容易丢失很多重要信息——空间，位置等，所以hinton提出了capsnet，虽然capsnet在Mnist数据集上表现很…
【论文阅读-1】CycleGAN原理
CycleGAN原理
1. 初识CycleGAN
1.1 什么是CycleGAN CycleGAN是一种完成图像到图像\color{red}图像到图像图像到图像的转换的一种GAN。 图像到图像的转换是一类视觉和图形问题，其目标是获得输入图像和输出图像之间的映射\color{red}目标是获得输入图像和输出图像之…
从Lenet-5看CNN
从Lenet-5看CNN 文章目录从Lenet-5看CNN卷积卷积神经网络的结构输入层卷积层局部感知野权值共享池化层Lenet-5卷积神经网络关于感受野的计算什么是感受野感受野的计算感受野中心感受野小结关于卷积神经网络的部分代码二维卷积多输入通道多输出通道1x1卷积层最大池化层和ping填充…
High Precision Open-World Website Fingerprinting阅读笔记
1.High Precision Open-World Website Fingerprinting
会议： IEEE Symposium on Security and Privacy (S&P, CCF A) 方法 ：open-set classfication未知类 团队：香港科技大学 王涛 背景 ： 开放世界网站指纹分类存在基本比率谬误，根据贝叶斯公式，比率很大时，模型在o…
飞桨学习笔记之卷积神经网络基础
1 卷积1.1 卷积计算1.2 填充1.3 步幅1.4 感受野1.5 多输入通道、多输出通道和批量操作1.6 飞桨卷积API2 池化3 ReLU激活函数4 批归一化5 丢弃法API（Application Programming Interface，应用程序编程接口）是一些预先定义的函数，或指…
地标建筑物识别——Task3 语义分割模型发展
前言：该部分我们学习语义分割网络模型的发展：FCN 、SegNet、Unet、DeepLab、RefineNet、PSPNet、GAN 语义分割。语义分割（全像素语义分割）作为经典的计算机视觉任务（图像分类，物体识别检测，语义…
机器学习笔记 - 基于C++的深度学习 二、实现卷积运算
一、卷积 卷积是信号处理领域的老朋友。最初的定义如下 在机器学习术语中： I(…)通常称为输入 K(…)作为内核，并且 F(…)作为给定K的I(x)的特征图。 虑多维离散域，我们可以将积分转换为以下求和 对于二维数字图像，我们可以将其重写为：
<
《深度学习》之 VGG卷积神经网络 原理 详解
VGG卷积神经网络
一.背景
ILSVRC 2014的第二名是Karen Simonyan和 Andrew Zisserman实现的卷积神经网络，现在称其为VGGNet。它主要的贡献是展示出网络的深度是算法优良性能的关键部分。 他们最好的网络包含了16个卷积/全连接层。网络的结构非常一致，从…
卷积的计算 - numpy的实现 2
卷积的计算 - numpy的实现 2
flyfish
PyTorch计算 用于验证结果
import torchconv torch.nn.Conv2d(in_channels1, out_channels1, kernel_size2, stride1)# 定义一个卷积核
W torch.arange(1, 5).view(-1, 1, 2, 2).float()# 创建一个二维图像数据（4x4 像素&a…
PyTorch - Conv2d 和 MaxPool2d
文章目录Conv2d计算Conv2d 函数解析代码示例MaxPool2d计算函数说明卷积过程动画Transposed convolution animationsTransposed convolution animations参考视频：土堆说 卷积计算 https://www.bilibili.com/video/BV1hE411t7RN 关于 torch.nn 和 torch.nn.function t…
深度学习 — 卷积神经网络
文章目录深度学习 — 卷积神经网络一、CNN网络结构1. 卷积层参考资料深度学习 — 卷积神经网络
一、CNN网络结构
1. 卷积层 概念 感受野： 输出的feature map 上的一个节点，对应于输入图像上尺寸的大小。 特点 卷积层中低层的feature map,感受野比较小…
信号与线性系统翻转课堂笔记6——卷积
信号与线性系统翻转课堂笔记6——卷积
The Flipped Classroom6 of Signals and Linear Systems
对应教材：《信号与线性系统分析（第五版）》高等教育出版社，吴大正著
一、要点
（1，重点）卷积积…
一维卷积的意义和二维卷积（图像处理）的简单理解
在学习机器学习和图像处理的过程中，经常会遇到卷积这个概念。我每次遇到这个概念都有点似懂非懂的样子。有时候清楚它的直观解释，但又搞不清公式中是如何体现的。究其原因，还是我没有完全搞懂这个概念。 维基百科上有一个动态图来演示这个概念…
OpenCV-Python：图像卷积操作
目录
1.图像卷积定义
2.图像卷积实现步骤
3.卷积函数
4.卷积知识考点
5.代码操作及演示 1.图像卷积定义 图像卷积是图像处理中的一种常用操作，主要用于图像的平滑、锐化、边缘检测等任务。它可以通过滑动一个卷积核（也称为滤波器）在图像…
理解1D、2D、3D卷积神经网络的概念
目录引言二维CNN | Conv2D一维CNN | Conv1D三维CNN | Conv3D总结引言
当我们说卷积神经网络（CNN）时，通常是指用于图像分类的二维CNN。但是，现实世界中还使用了其他两种类型的卷积神经网络，即1维CNN和3维CNN。在本指南…
nc4hw4排布配合neon加速im2col+gemm的卷积推理
nc4hw4排布配合neon加速im2colgemm的卷积推理
一:前言
一个tensor常见的内存排布有nchw和nhwc,除此之外,MNN还有一种内存排布方式叫做nc4hw4,如何理解这个排布呢?这种排布对性能又有什么提升呢?
二:什么是nc4hw4 概念本身很简单,两幅图就很能说明.其实nc4hw4准确的说应该是…
CNN-LeNet与卷积网络基本特征
CNN是神经网络的基础。CNN的基础可以说来自于LeNet。1998年提出的LeNet可以说是现在所有CNN网络结构的内在灵魂，其他的CNN网络可以说都是基于LeNet发展起来的。本文依据LeNet，回顾一下卷积网络的基本特征与运算。 LeNet的主要贡献是通过CNN层，…
CNN经典模型框架展示与介绍
LeNet-5
首先，最为经典的就是LeNet-5，四层的神经网络结构，（2个卷积层和2个全连接层）有个需要注意的点是卷积完，会先进行池化再进行激活。由于池化和激活没有带参数进行运算，因此不算入神经网络…
GoogLeNet——Going deeper with convolutions
目录MotivationArchitectureInceptionGoogLeNetConclusionGoogLeNet在2014年由Google团队提出，斩获当年lmageNet竞赛中Classification Task(分类任务)第一名。Motivation
提高深度神经网络性能的最直接方法是增加它们的规模。这包括增加网络的深度(层数)和宽度(每层…
深度学习——带你通俗理解卷积神经网络（CNN）
卷积神经网络（CNN）基础知识 文章目录卷积神经网络（CNN）基础知识1.前言2.卷积层3.池化层4.全连接层5.经典的卷积神经网络1.前言 如果说深度神经网络模型中的“明星”是谁？那么非卷积神经网络莫属。 下面给大家简单介…
tf.conv1d 和 tf.conv2d 的区别
tf.conv1d是实现一维卷积，tf.conv2d是实现二维卷积。
当tf.conv2d的输入第二个或第三个维度为1时就等同于一维卷积了，详细见以下代码。
import tensorflow as tf
import numpy as npinput tf.constant([[[1], [7], [3], [2], [5], [6], [1]], [[11], …
卷积网络和卷积神经网络_卷积神经网络对转移性腺癌的分类
卷积网络和卷积神经网络凯拉斯vs法泰 (Keras vs fastai) Machine learning (ML) has the potential for numerous applications in the health care field. One promising application is in the area of anatomic pathology. ML allows representative images to be used to t…
非线性激活函数的理解
根据万能逼近定理(Universal Approximation Theory)，神经网络能以任意精度逼近连续函数。线性函数的线性组合还是线性函数，所以线性函数不能以任意精度逼近连续函数。
训练神经网络时，先随机初始化卷积核参数，把卷积层的结果输入…
【学习笔记】CNN卷积神经网络
概述
深度学习是一种利用复杂结构的多个处理层来实现对数据进行高层次抽象的算法，是机器学习的一个重要分支。传统的BP算法仅有几层网络，需要手工指定特征且易出现局部最优问题，而深度学习引入了概率生成模型，可自动地从训练集提…
【一维卷积】【二维卷积】
本篇为《深度学习》系列博客的第八篇，该系列博客主要记录深度学习相关知识的学习过程和自己的理解，方便以后查阅。
上篇说道这篇那应该写PCA，但是……，也不知道忙啥了，就一直没写，再拖拖……，用…