神经网络入门

  |   0 评论   |   0 浏览

神经网络的核心组件

  • , 多个层组合成网络(或模型
  • 输入数据和相应的目标
  • 损失函数,即用于学习和反馈信号。
  • 优化器, 决定学习过程如何进行

四者之间的关系: 多个层链接再一起组成了网络,将输入数据映射位预测值。然后损失函数将这些预测值与目标进行比较,得到损失值,用于衡量网络预测值与预测结果的匹配程度。优化器使用这个损失值来更新网络的权重。

image.png

层:深度学习的基础组件

神经网络的基本数据结构是。层是一个数据处理模块将一个或多个输入张量转换为一个或多个输出张量

有些层是无状态的,但大多数的层是有状态的,即层的权重。 权重是利用随机梯度下降学到的一个或多个张量,其中包含网络的知识。

不同的张量格式与不同的数据处理类型需要用到不同的层

  • 简单的向量数据保存在形状为 (samples,features) 的 2D 张量中,通常用密集连接层 [densely connected layer,也叫 全连接层密集层 , 对应于 Keras 的 Dense 类] 来处理
  • 序列数据保存在形状为 (samples,timesteps,features) 的 3D 张量中,通常用循环层(recurrent layer,比如 Keras 的 LSTM层) 来处理。
  • 图像数据保存在 4D 张量中,通常用二维卷积层(Keras 的Conv2D) 来处理

在 Keras 中,构建深度学习模型就是将相互兼容的多个层拼接在一起,以建立游泳的数据交换过程。这里层兼容性具体指的是每一层只接受特定形状的输入张量,并返回特定形状的输出张量

from keras import layers
layers = layers.Dense(32,input_shape=(784,))

上面 layers 是 有32 个输出单元的密集层。

我们创建了一个层,只接收第一个维度大小为 784的 2D 张量(第0 轴是批量维度,其大小没有指定因此可以任意取值)作为输入。这个层将返回一个张量,第一个维度的大小变成了 32。

因此,这个层后面只能连接一个接受32维向量最为输入的层。使用 Keras 时,你无需担心兼容性,因为向模型中添加的层都会自动匹配输入层的形状,例如下面这段代码。

from keras import models
from keras import layers

model = models.Sequential()
model.add(layers.Dense(32,input_shape=(784,)))
model.add(layers.Dense(32))

其中第二层没有输入形状(input_shape) 的参数,相反,它可以自动推导出输入形状等于上一层的输出形状。

模型:层构成的网络

深度学习模型构成的有向无环图。最常见的例子就是层的线性堆叠,将单一输入映射为单一输出。

常见的网络拓扑结构如下:

  • 双分支(two-branch) 网络
  • 多头(multihead) 网络
  • Inception 模块

网络的拓扑结构定义了一个假设空间。 你可能还记得第1章里机器学习的定义:"在预先定义好的可能性空间中,利用反馈信号的指引来寻找输入数据的有用表示。"

选定了网络拓扑结构,意味着将可能性空间 (假设空间)限定为一系列特定的张量运算,将输入数据映射为输出数据。然后,你需要为这些张量运算的权重张量找到一组合适的值。

损失函数于优化器:配置学习过程的关键

一旦确定了网络结构,你还需要选择一下两个参数。

  • 损失函数(目标函数) —— 在训练过程中需要将其最小化。它能够衡量当前任务是否已成功完成。
  • 优化器 —— 决定如何基于损失函数对网络进行更新。它执行的是随机梯度下降(SGD) 的某个变体。

具有多个输出的神经网络可能具有多个损失函数(每个输出对应一个损失函数)。但是,梯度下降过程必须基于单个标量损失值。因此,对于具有多个损失函数的网络,需要将所有损失函数取平均,变为一个标量值。

选择正确的目标函数对于解决问题是非常重要的。网络的目的是损失尽可能最小化,因此如果目标函数与成功完成当前任务不完全相关,那么网络最终得到的结果可能会不符合你的预期。

对于分类、回归、序列预测等常见问题,你可以遵循一些简单的知道原则来选择正确的损失函数。例如。

  • 对于二分问题,你可以使用 二元交叉熵(binary crossentropy)损失函数;
  • 对于多分类问题,可以使用分类交叉熵(categorical crossentropy) 损失函数;
  • 对于回归问题,可以用均方午查(mean-squared error) 损失函数;
  • 对于序列问题,可以用联结主义时序分类(CTC,connectionist temporal classification) 损失函数

只有在面对真正全新的研究问题时,你才需要自主开发目标函数。


标题:神经网络入门
作者:zh847707713
地址:http://lovehao.cn/articles/2020/10/13/1602585711862.html