透彻理解深度学背种思想思维 6
抓住矛盾忽略次矛盾池化 6
避免梯度消失ReLU批化 7
集成学思想Dropout 8
深层提取复杂特征思维 9
非线性思维 10
省特征工程思维 11
深度学概述：感知机深度网络 12
前言 12
机器学基础 12
感知机 13
训练 14
前馈神网络 15
超线性 17
训练 18
隐含层 20
网络例子 20
规模网络中难题 21
编码器 21
压缩输入数：灰度图 22
流行感 23
学 24
受限波尔兹曼机 24
差异 26
深度网络 27
栈式编码器 28
深度信度网络 29
卷积网络 31
卷积层 31
采样层 32
实现 32
结构 33
数流 34
训练 35
结 36
卷积层激活层池化层全连接层深度解析卷积神网络原理 37
局部连接+权值享 37
卷积神网络 38
卷积神网络输入层 39
卷神网络卷积层： 40
卷积神网络激励层 50
卷积神网络池化层 54
卷积神网络全连接层 56
基机器学协滤算法完成电子商务网站商品推荐系统 58
现购买 58
现矩阵 58
现矩阵做商品推荐 59
现矩阵做商品推荐问题 60
现矩阵正规化 61
协滤算法 62
矩阵子分解模型 65
推荐系统性度量 66
判断优算法 69
神网络模型27种神网络模型简介 71
着路线图起遨游机器学世界 90
路线图 90
目标 91
机器学里？ 91
电脑学？ 96
什监督学运作？ 100
监督机器学运作？ 101
什监督学工作？ 105
kmeans聚类工作？ 107
推荐系统风控模型知识图谱竟然网络挖掘实现 112
什网络挖掘 112
网络模型实现 114
网络挖掘应 116
网页排序 117
社交网络分析 117
推荐系统 117
知识图谱 118
深入剖析机器学中统计思想 119
统计学计算机学家争 120
统计思想机器学巨贡献 121
线性回：机变量离差方 123
朴素贝叶斯：贝叶斯定理 125
交叉验证：重采样方法 125
支持量机：统计学理 126
贝叶斯估计：足够观察数会分布更加真实 127
高斯程：统计中高斯分布贝叶斯定理观察数均值方差意义 130
CNN已老GNN清华学孙茂松组文综述GNN 132
原始GNN局限性 136
图神网络 136
图神网络变体 137
图(Directed Graphs ) 139
异构图(Heterogeneous Graphs) 139
带边信息图(Edgeinformative Graph) 139
训练方法图变体 140
传播步骤进行修改GNN变体 140
GNN三通框架 141
尚未解决问题 141
PYTHON进行监督学种热门聚类算法 144
监督学 VS 监督学 144
监督学做准备 146
聚类（Clustering） 147
Python中KMeans聚类 148
Python中K Means实现： 149
分层聚类 149
K Means聚类分层聚类区 150
tSNE聚类 151
Python中tSNE聚类实现数集Iris数集： 152
DBSCAN聚类 152
Python中DBSCAN聚类： 153
更监督技术： 154
透彻理解深度学背种思想思维
深度神网络2012年兴起时深度学模型够传统机器学问题例图分类语音识击败先进传统方法功支撑深度学种哲学思想种思维
抓住矛盾忽略次矛盾池化
神网络中池化突出化概括性特征相提取特征仅具低维度时防止拟合
max_pooling： 夜晚球俯瞰图灯光耀眼穿透性注意max部分产生亮光区域放视觉错觉 max_pooling 较抽象点特征（纹理）提取更池化种降采样技术减少参数数量防止拟合卷积核样池化层中神元连接面层输出神元应块感受野区域
池化体现抓住矛盾忽略次矛盾哲学思想抽取特征程中抓住图片特征中关键部分放弃重非决定性特征
避免梯度消失ReLU批化
深度神网络着层数增梯度消失棘手问题
ReLU处降低梯度弥散性增加稀疏性
线性整流函数ReLU（Rectified Linear Unit）定义h max(0a）中a Wx + b
降低梯度消失性特a > 0时时梯度具恒定值作着x绝值增加sigmoid函数梯度变越越ReLU恒定梯度导致更快学
增加稀疏性a≤ 0稀疏性出现网络层中存样单元越越表示稀疏性方面Sigmoid激活函数总产生非零值产生密集表示稀疏表示密集表示更益
批化BN(Batch Normalization)解决梯度消失问题减均值方差保证：
层输出均值方差规范化输出饱区拉倒非饱区（导数）解决梯度消失问题图中第二层第层梯度变化没BN时sigmoid激活函数梯度消失5倍BN时梯度消失33BN时relu激活函数梯度没消失
集成学思想Dropout
Dropout避免拟合种正化技术
Dropout种正化形式限制网络训练时数适应性避免学输入数时变聪明助避免度拟合
dropout质体现集成学思想集成学中采较弱分类器分训练分类器单独训练学会数方面错误组合起助产生更强分类器容易度拟合机森林GBDT典型集成算法
种集成算法装袋(bagging)中成员输入数子集训练仅学整输入特征空间子集
dropout作装袋极端版批量训练步骤中dropout程序创建网络（通机移单元）常样反传播进行训练概念讲整程类似许网络（步骤）集合网络单样训练（极端装袋）
测试时整网络（单位）例缩数学似整体均
显然种非常应深度学集成思想
深层提取复杂特征思维
天深度学已取非常成功深度神网络AlexNet8层GoogLeNet22层ResNet152层着层数增加top5错误率越越低达357
图文包含复杂层次关系特征提取器中找表示关系公式容易深度学系统具层表示力够网络模拟复杂关系
学应深度学时惧怕网络层次深正种深层结构提取图文语音等原始数抽象质特征
神网络构建逐步抽象特征层次结构
续层充越越复杂特征滤器特征结合前层特征
层输入应非线性变换输出中提供表示
层中神元会信息发送层神元层神元会学更抽象数
升越高学抽象特征越目标通数传递转换层分层方式学数复杂抽象表示感官数（例图中素）馈送第层层输出作层输入提供
深层次网络结构具强抽象学表征力
图识举例底层素东西层层时候慢慢边缘轮廓甚象部件等等总体逐渐时候确实断象进行抽象现象质抽象程中需阶段程需逐步粗取精逐步凸显终完成
层数什？中体现整体部分具体抽象认识哲学思想
抽取质性特征舍弃非质特征程逐渐抽象程抽丝剥茧层层萃取逐渐清晰统汇总层数少抽取出特征模糊法表征
非线性思维
层进行非线性变换深度学算法基思想数深层架构中层越构造非线性变换越复杂变换表示数深度学视表示学算法特例深层体系结构中学具表示级数表示实现终表示输入数高度非线性函数
深层体系结构层中非线性变换试图提取数中潜解释素PCA样线性变换作深层结构层中变换算法线性变换组合产生种线性变换拥深层架构没意义
例通深度学算法提供脸图第层学方边缘 第二层中组成边缘学更复杂特征嘴唇鼻子眼睛等脸部部分第三层中组成特征学更复杂特征面部形状终表示作面部识应中特征
提供该示例简单理解方式解释深度学算法通组合分层体系结构中获取表示找更抽象复杂数表示
省特征工程思维
传统机器学中特征工程作机器学技部分种情况需理解形式数转换输入算法中然训练测试模型前知道特征处数挖掘员会陷入开发新特征重建模型测量结果繁杂循环中直结果满意止项非常耗时务需花费量时间
图边标题神网络生成想象图片方式非常相似涉类复杂解释案例必须深度学背原超参数标题图需超参数数量非常高SVM情况手动选择超参数深度神网络通训练集学进行
深度学概述：感知机深度网络
前言
年工智领域活跃起传统学术圈外GoogleMicrosoftfacebook等工业界优秀企业纷纷成立相关研究团队取令瞩目成果功社交网络户产生量数数原始数需进步分析处理功廉价强计算资源出现GPGPU快速发展
素AI尤机器学领域出现股新潮流程度推动次复兴——深度学文中介绍深度学背关键概念算法简单元素开始基础进行步构建
机器学基础
果太熟悉相关知识通常机器学程：
1机器学算法需输入少量标记样10张狗片中1张标记1（意狗）标记0（意狗）——文监督式二叉分类
2算法学样正确狗图片分类然输入新图片时期算法输出正确图片标记（输入张狗图片输出1否输出0）
通常难置信：数模糊标记出错者数手写字母图片实际表示字母标记
感知机
感知机早监督式训练算法神网络构建基础
假面中存 n 点分标记01时加入新点果想知道点标记什（前提狗图片辨理）做呢？
种简单方法查找离点点什然返回点样标记种稍微智办法找出面条线标记数点分开条线作分类器区分新数点标记
例中输入数表示量 x (x_1 x_2) 函数实现果线输出0线输出1
数学方法表示定义表示权重量 w 垂直偏移量 b然输入权重偏移结合传递函数：
传递函数结果输入激活函数中产生标记面例子中激活函数门限截止函数（某阈值输出1）：
训练
感知机训练包括训练样输入计算样输出次计算权重 w 调整化输出误差误差输入样标记值实际计算出值差出误差计算方法均方差等基原样
缺陷
种简单感知机明显缺陷：学线性分函数缺陷重？ XOR简单函数线性分类器分类（图示分隔两类点失败）：
解决问题种层感知机——前馈神网络：事实组合群样感知机创建出更强学机器
前馈神网络
神网络实际量前讲感知机进行组合方法进行连接作激活函数
简单介绍前神网络具属性：
输入层输出层隐含层图示神网络中三神元输入层四神元隐含层二神元输出层
神元文提感知机
输入层神元作隐含层输入时隐含层神元输出层神元输入
条建立神元间连接权重 w（感知机中提权重类似）
t 层神元通常前层（ t 1层）中神元连接（通条连接权重设0断开条连接）
处理输入数输入量赋输入层中例中网络计算3维输入量（3输入层神元）假输入量 [7 1 2]第输入神元输入7中间输入1第三输入2值传播隐含层通加权传递函数传隐含层神元（前传播）隐含层神元计算输出（激活函数）
输出层隐含层样进行计算输出层计算结果整神网络输出
超线性
果感知机线性激活函数会样？整网络终输出然输入数通线性函数计算遍网络中收集权值调整换名话说线性函数组合线性函数果限定线性激活函数话前馈神网络实感知机强里网络少层
正原数神网络非线性激活函数数函数双曲正切函数阶跃函数整流函数等非线性函数神网络学输入数线性组合
训练
数常见应层感知机监督式训练算法反传播算法基流程：
1训练样通神网络进行前传播计算
2计算输出误差常均方差：
中 t 目标值 y 实际神网络计算输出误差计算方法MSE（均方差）通常种较选择
3网络误差通机梯度降方法化
梯度降常神网络中输入参数训练误差曲线权重佳值应该误差曲线中全局值（图中 global minimum）训练程中权重非常步幅改变（样组样训练完成）找全局值容易训练通常会结束局部值（图中local minima）例子中果前权重值0604方移动
图表示简单情况误差赖单参数网络误差赖网络权重误差函数非常非常复杂
消息反传播算法提供种通利输出误差修正两神元间权重方法关系身十分复杂定结点权重修正方法（简单）：
中 E 输出误差 w_i 输入 i 权重
实质做目利权重 i 修正梯度方关键方误差导数定计算：样型网络中机结点中机权重求导数呢？
答案：通反传播误差首次计算简单（预期值实际值做差）然通种巧妙方法反传回网络效训练程中修正权重（期）达值
隐含层
隐含层十分趣根普适逼原理具限数目神元隐含层训练成逼意机函数换句话说层隐含层强学函数说明隐含层（深度网络）实践中更结果
隐含层存储训练数抽象表示类脑（简化类）保存真实世界抽象样接种方法搞隐含层
网络例子
通 testMLPSigmoidBP 方法Java实现简单(423)前馈神网络 IRIS 数集进行分类数集中包含三类鸢尾属植物特征包括花萼长度花瓣长度等等类提供50样神网络训练特征赋输入神元输出神元代表类数集（100 表示植物Setosa010表示 Versicolour001表示 Virginica）分类错误率2150（分类150错2）
规模网络中难题
神网络中隐含层：样更高隐含层里前隐含层构建新抽象前提样更学规模网络增加隐含层层数通常会导致两问题：
1梯度消失：着添加越越隐含层反传播传递较低层信息会越越少实际信息前反馈层次间梯度开始消失网络中权重影响会变
2度拟合：许机器学核心难题简说度拟合指训练数着识效果时导模型非常复杂样结果会导致训练数非常识较果真实样识效果非常差
面深度学算法面难题
编码器
数机器学入门课程会放弃前馈神网络实际里面——请接着
编码器典型前馈神网络目标学种数集压缩分布式表示方法（编码思想）
概念讲神网络目训练重新建立输入数输入目标输出数样换句话说：正神网络输出输入样东西压缩理解先例子
压缩输入数：灰度图
里28x28素灰度图组成训练集素值作输入层神元输入（时输入层会784神元）输出层神元相数目（784）输出神元输出值输入图应素灰度值相
样算法架构背神网络学实际训练数标记映射学数身结构特征（正隐含层称作特征探测器(feature detector)）通常隐含层中神元数目输入输入层少神网络学重特征实现特征降维
想中间层少结点概念层学数产生紧致表示方法
流行感
更描述编码器应
次简单数集中包括感症状果感兴趣例子源码发布里
数结构：
输入数六二进制位
前三位病证状例1 0 0 0 0 0 代表病发烧0 1 0 0 0 0 代表咳嗽1 1 0 0 0 0 代表咳嗽发烧等等
三位表示抵抗力果病代表太患病例0 0 0 1 0 0 代表病接种流感疫苗组合：0 1 0 1 0 0 代表着接种流感疫苗咳嗽病等等
病时拥前三位中两位时认生病果少拥三位中两位健康：
111000 101000 110000 011000 011100 生病
000111 001110 000101 000011 000110 健康
训练编码器（反传播）六输入六输出神元两隐含神元
百次迭代发现生病样输入时两隐含层神元中（生病样总）总显示出更高激活值果输入健康样时隐含层会显示更高激活值
学
质说两隐含神元数集中学流感症状种紧致表示方法检验真实现学度拟合问题通训练神网络学紧致简单高度复杂数集度拟合表示方法
某种程度讲说找种简单表示方法更尝试感觉学数
受限波尔兹曼机
步受限波尔兹曼机（Restricted Boltzmann machines RBM）种输入数集学概率分布生成机神网络
RBM隐含层见层偏置层组成前馈神网络见层隐含层间连接方性（值见层>隐含层隐含层>见层意传输）全连接（前层神元层神元连接——果允许意层意神元连接意层波尔兹曼机（非受限））
标准RBM中隐含见层神元二态（神元激活值服伯努力分布01）存非线性变种
然学者已研究RBM长时间出现差异监督训练算法领域复兴
差异
单步差异算法原理：
1正程：
输入样 v 输入输入层中
v 通种前馈网络相似方法传播隐含层中隐含层激活值 h
2反程：
h 传回见层 v’ （见层隐含层连接方样传）
v’ 传隐含层中 h’
3权重更新：
中 a 学速率 v v’ h h’ w 量
算法思想正程中影响网络部真实数表示时反程中尝试通影响表示方法重建数目生成数原数相似差异影响权重更新
换句话说样网络具感知输入数表示程度力尝试通感知力重建数果重建出数原数差异进行调整次重建
流行感例子
说明差异例相流感症状数集测试网络包含6见层神元2隐含层神元RBM差异方法网络进行训练症状 v 赋见层中测试中症状值重新传见层然传隐含层隐含层神元表示健康生病状态编码器相似
进行百次迭代编码器相结果：输入生病样中隐含层神元具更高激活值输入健康样神元更兴奋
深度网络
现止已学隐含层中强特征探测器——编码器RBM现没办法效利功实际面数集特定找方法间接探测出特征
消息已发现结构通栈式叠加实现深度网络网络通贪心法思想训练次训练层克服前提反传播中梯度消失度拟合问题
样算法架构十分强产生结果Google著名猫识实验中通特定深度编码器标记图片库中学猫脸识
面更深入
栈式编码器
名字样种网络栈式结合编码器组成
编码器隐含层 t 会作 t + 1 层输入层第输入层整网络输入层利贪心法训练层步骤：
1通反传播方法利数第层编码器进行训练（t1图中红色连接部分）
2训练第二层编码器 t2 （绿色连接部分） t2 输入层 t1 隐含层已关心 t1 输入层整网络中移整训练开始输入样数赋 t1 输入层通前传播 t 2 输出层面t 2权重（输入>隐含隐含>输出）反传播方法进行更新t 2层 t1 层样通样训练
3层重复步骤12（移前面编码器输出层编码器代反传播进行训练）
4步骤13称预训练网络里权重值初始化合适位置通训练没输入数输出标记映射例网络目标训练识手写数字样训练特征探测器输出（隐含层中编码器）应图片标记样通常办法网络层（蓝色连接部分）面加全连接层整网络作层感知机反传播方法进行训练（步称微调）
栈式编码器提供种效预训练方法初始化网络权重样训练复杂层感知机
深度信度网络
编码器样波尔兹曼机进行栈式叠加构建深度信度网络（DBN）
例中隐含层 RBM t 作 RBM t+1 见层第RBM输入层整网络输入层层间贪心式预训练工作模式：
1 通差异法训练样训练第RBM t1
2 训练第二RBM t1 t2 见层 t1 隐含层训练开始数赋 t1 见层通前传播方法传 t1 隐含层然作 t2 差异训练初始数
3 层重复前面程
4 栈式编码器样通预训练网络通连接层间全连接 RBM 隐含层进行扩展构成通反传僠进行微调层感知机
程栈式编码器相似RBM编码器进行换差异算法反传播进行换
卷积网络
文软件架构——卷积网络类特殊图识非常效前馈网络
深入实际卷积网络臆先定义图滤波器者称赋相关权重方阵滤波器应整图片通常应滤波器应四6x6滤波器张图片然输出中坐标（11）素值输入图左角6x6区域加权素
面基础介绍定义出卷积网络属性：
卷积层
输入数应干滤波器图第卷积层46x6滤波器图应滤波器结果称特征图谱（feature map FM）特征图谱数目滤波器数目相等果前驱层卷积层滤波器应FM相输入FM输出外FM直觉讲果权重分布整图特征位置关时滤波器分探测出特征
采样层
缩减输入数规模例输入32x32图通2x2采样16x16输出图意味着原图四素合成输出图中素实现采样方法种常见值合均值合机合
采样层（卷积层）通常连接全连层全连层输出终输出
训练程通改进反传播实现采样层作考虑素基值更新卷积滤波器权重
应 MNIST 数集卷积网络例子JavaScript实现视类似网络
实现
目前止已学会常见神网络中元素写少实现程中遇挑战
概括讲目标实现深度学库基神网络满足条件框架：
表示种模型通架构（文提神网络中元素）
种训练算法（反传播差异等等）
体面性
满足求软件设计中分层思想
结构
基础部分开始：
NeuralNetworkImpl 神网络模型实现基类
网络包含 layer 集合
层中 connections 链表 connection 指两层间连接整网络构成环图
结构典反馈网络RBM 更复杂 ImageNet 已足够灵活
结构允许 layer 成网络元素 Deep Belief Network（深度信度网络）中layer RBM 中
外通架构DBN预训练阶段显示栈式RBM列表微调阶段显示前馈网络非常直观程序实现
数流
部分介绍网络中数流两步程
定义出层间序列例层感知机结果输入数赋输入层（首先计算层）然数通方法流输出层反传播中更新权重输出误差通广度优先方法输出层传回层部分通 LayerOrderStrategy 进行实现应网络图结构优势图遍历方法中样例包含 广度优先策略 定位指定层层序列实际层间连接进行决定策略部分返回连接序列表
计算激活值层关联 ConnectionCalculator包含连接列表（步）输入值（层）计算结果激活值例简单S形前馈网络中隐含层 ConnectionCalculator 接受输入层偏置层值（分输入值值全1数组）神元间权重值（果全连接层权重值实际矩阵形式存储 FullyConnected 结构中计算加权然结果传S函数ConnectionCalculator 中实现转移函数（加权求卷积）激活函数（应层感知机数函数双曲正切函数应RBM二态函数）中部分通 Aparapi GPU进行计算利迷批次训练
通 Aparapi 进行 GPU 计算
前提神网络年复兴重原训练方法高度行化允许通GPGPU高效加速训练文中选择 Aparapi 库进行GPU支持
Aparapi 连接计算强加重限制：
允许原始数类型维数组（变量）
GPU运行程序调 Aparapi Kernel 类身成员函数
样部分数（权重输入输出数）保存 Matrix 实例里面部维浮点数组Aparapi 连接计算 AparapiWeightedSum （应全连接层加权求函数） AparapiSubsampling2D （应采样层） AparapiConv2D （应卷积层）限制通 Heterogeneous System Architecture 里介绍容解决Aparapi 允许相代码运行CPUGPU
训练
training 模块实现种训练算法模块赖文提两模块BackPropagationTrainer （训练算法 Trainer 基类）前馈阶段前馈层计算误差传播权重更新时特殊广度优先层计算
新工作Java8环境开发更新功branch 获部分工作快会merge干
结
文目标提供深度学算法领域简明介绍基组成元素开始（感知机）逐渐深入种前流行效架构受限波尔兹曼机
神网络思想已出现长时间天果身处机器学领域知道深度学相关知识应该应该度宣传否认着GPGPU提供计算力包括Geoffrey Hinton Yoshua Bengio Yann LeCun and Andrew Ng研究学者提出高效算法领域已表现出希现正佳时间深入方面学
卷积层激活层池化层全连接层深度解析卷积神网络原理
局部连接+权值享
全连接神网络需非常计算资源支撑做反传播前传播说全连接神网络存储非常参数果样果没达量级时候轻轻松松样全部记会出现拟合情况
应该神元神元间连接权重数降降保证较强学力纠结方方法局部连接+权值享局部连接+权值享仅权重参数降学力没实质降低外处面张图片：
图表示方式
张图片描述东西左边右边位置构建网络识东西时候应该结果够达目图片位置具相权重（权值享）面图片需训练集中放张神网络识出面权值享处
卷积神网络局部连接+权值享神网络
卷积神网络
现卷积神网络初步认识面具体讲解卷积神网络卷积神网络旧层级结构层功形式做改变卷积神网络常处理图片数识辆汽车：
卷积神网络结构
中数输入张图片（输入层）CONV表示卷积层RELU表示激励层POOL表示池化层Fc表示全连接层
卷积神网络输入层
图片输出神网络前常常先进行图处理三种常见图处理方式：
均值化：输入数维度中心化0样求求均然样减均值样均值
化：数幅度化样范围特征言范围[11]
PCA白化：PCA降维维度相关度取消特征特征间相互独立白化数特征轴幅度化
均值化化
相关白化
卷神网络卷积层：
图片性质做局部关联性质图片素点影响周边素点距离素点较远素点二者间关系性质意味着神元处理全局图片（层全连接）神元需层局部连接相神元扫描区域然许神元（神元权值享）合起相扫描全局样构成特征图n特征图提取图片n维特征特征图神元完成
卷积神网络中先选择局部区域（filter）局部区域（filter）扫描整张图片 局部区域圈起节点会连接层节点灰度图（维）举例：
局部区域
图片矩阵式矩阵排列节点展成量更出卷积层输入层间连接全连接图中红色方框称filter2*2尺寸固定指定尺寸
出前filter2*2窗口窗口会图片矩阵左角滑右角滑次会子圈起四连接层神元然产生四权重四权重(w1w2w3w4)构成矩阵做卷积核
卷积核算法学会层计算第二层0节点数值局部区域线性组合（w1*0+w2*1+w3*4+w4*5）圈中节点数值应权重相加
卷积核计算
卷积操作
前面说图片量表示保留图片面结构信息 样卷积输出图量排列方式丢失面结构信息 然矩阵方式排列图展示连接蓝色结点连接四黄色结点
卷积层连接方式
图片矩阵然卷积神网络层矩阵卷积核图片矩阵左角右角滑动滑动次然圈起神元会连接层神元形成参数矩阵卷积核次滑动然圈起神元连接层神元产生参数矩阵确样权值享
卷积核会扫描图片局部矩阵作产生值第次时候（w1*0+w2*1+w3*4+w4*5）filter左右程中会矩阵（层矩阵原）具体程示：
卷积计算程
图中左边图矩阵filter3*3第次滑动时候卷积核图片矩阵作（1*1+1*0+1*1+0*0+1*1+1*0+0*1+0*0+1*1）4会产生值值右边矩阵第值filter滑动9次会产生9值说层9神元9神元产生值构成矩阵矩阵做特征图表示image某维度特征然具体维度知道图颜色图轮廓等等
单通道图片总结：单通道图片卷积处理图片矩阵指定卷积核左角右角滑动次滑动圈起结点会层结点相连连接会形成局部连接条连接会产生权重权重卷积核次滑动会产生卷积核权值享卷积核样卷积核会断时卷积核圈起局部矩阵作次产生值层结点值样次产生值组合起特征图表示某维度特征左滑动右程中会形成特征图矩阵（享卷积核）左滑动右会形成特征图矩阵（享卷积核）特征图表示特征某维度
三通道图片进行卷积操作？
应该已知道单通道灰度图处理实际图片RGB图三通道时图卷积呢？
彩色图
filter窗口滑时候widthheight角度滑动没考虑depth滑动次实际产生卷积核享卷积核现depth3滑动次实际产生具三通道卷积核（分作输入图片蓝色绿色红色通道）卷积核通道核蓝色矩阵作产生值绿色矩阵作产生值红色矩阵作产生值然值加起层结点值结果矩阵张特征图
三通道计算程
想张特征图话新卷积核进行左右滑动样会形成新特征图
三通道图片卷积程
说增加卷积核会产生特征图总说输入图片少通道卷积核需应少通道层中卷积核少会产生少特征图样卷积输出作新输入送入卷积层中处理特征图depth层特征图相应通道卷积核应处理逻辑清楚需先解基概念：
深度depth（通道）：层滤波器数决定
步长stride：次滑动步步数越特征数越少面例子中次滑动1步
填充值zeropadding：设置步长某位置滑避免边缘信息步步舍弃问题需设置填充值解决问题问题4x4图片2x2filter卷积变成3x3图片次卷积会圈话干层岂变越越？zero padding时帮助控制Feature Map输出尺寸时避免边缘信息步步舍弃问题
卷积计算公式
4x4图片边缘Zero padding圈3x3filter卷积Feature Map尺寸然4x4变
填充
然5x5filte2zero padding保持图片原始尺寸3x3filter考虑素距离1素关系5x5考虑素距离2素关系
规律： Feature Map尺寸等
(input_size + 2 * padding_size filter_size)stride+1
卷积层作总结点：卷积层实提取特征卷积层中重卷积核（训练出）卷积核探测特定形状颜色度等然特征图保持抓取空间结构卷积核应特征图表示某维度特征具体什特征知道特征图作输入卷积话探测更形状概念说着卷积神网络层数增加特征提取越越具体化
卷积神网络激励层
面讲解激励层作激励层作理解卷积层结果做非线性映射
激励层
图中f表示激励函数常激励函数种：
常激励函数
先激励函数Sigmoid导数014
激励函数Sigmoid
Tanh激活函数：sigmoid相似会关x轴应某方面偏
Tanh激活函数
ReLU激活函数（修正线性单元)：收敛快求梯度快较脆弱左边梯度0
ReLU激活函数
Leaky ReLU激活函数：会饱者挂掉计算快计算量较
Leaky ReLU激活函数
激励函数技巧：般sigmoid首先试RELU快心点果RELU失效请Leaky ReLU某情况tanh倒错结果
卷积神网络激励层卷积层线性计算结果进行非线性映射面图中理解展示非线性操作应特征图中里输出特征图作修正特征图示：
非线性操作
卷积神网络池化层
池化层：降低特征图维度保持分重信息池化层夹连续卷积层中间压缩数参数量减拟合池化层没参数层结果做采样（数压缩）采样两种常方式：
Max pooling：选取定义空间邻域（2x2 窗口）窗口修正特征图中取出元素池化证明效果更
Average pooling：均定义空间邻域（2x2 窗口）窗口修正特征图算出均值
Max pooling
注意点：poolingdepth分开执行depth5话pooling进行5次产生5池化矩阵池化需参数控制池化操作分开应特征图五输入图中五输出图
池化操作
max poolaverage pool分信息舍弃部分信息舍弃会损坏识结果？
卷积Feature Map中识物体必冗余信息采样掉冗余信息会损坏识结果
卷积冗余信息产生？
知道卷积核找特定维度信息说某形状图中会方出现形状卷积核卷积程中没出现特定形状图片位置卷积会产生值值意义池化层作值掉话然会损害识结果
图中假卷积核探测横折形状 卷积3x3Feature Map中真正数字3节点余数值务言关 3x3Max pooling没横折探测产生影响 试想里例子中果Max pooling网络学 网络会学Max pooling似效果权重似效果增加更参数代价直接进行池化处理
池化处理
卷积神网络全连接层
全连接层中神元权重连接通常全连接层卷积神网络尾部前面卷积层抓取足识图片特征接进行分类 通常卷积网络会末端长方体摊成长长量送入全连接层配合输出层进行分类面图中进行图分类四分类问题卷积神网络输出层会四神元
四分类问题
卷积神网络输入层卷积层激活层池化层全连接层讲解卷积神网络认全连接层间做特征提取全连接层做分类卷积神网络核心
基机器学协滤算法完成电子商务网站商品推荐系统
现购买
协滤户做推荐包括：购物历史纪录户商品间般化关联关系显然户推荐商品时候果买件商品部分时买某物品必起买商品推荐时买件商品户商品时买历史购物记录里考虑样现购买概念
买尿布样买婴湿巾果刚刚买尿布现购买现象帮助做出推荐呢？
现矩阵
首先先现矩阵什样？
现矩阵
现矩阵称矩阵中行表示件商品行表示商品列样表示件商品列表示商品行i列j相交位置买商品i买商品j户数
称矩阵时买物品ij户数时买物品ji户数样买尿布商品应位置加1
现现矩阵已现现矩阵做商品推荐？
现矩阵做商品推荐
假设户刚买尿布找现矩阵尿布行该行提取出
现矩阵尿布行
然计数商品作推荐发现婴湿巾数量100商品推荐系统购买尿布推荐婴湿巾
现矩阵做商品推荐问题
果件商品非常流行会出现什问题？
家里婴户说婴尿布非常流行户购买婴类商品时候会购买尿布户说购买婴类产品（长颈鹿咀嚼器）时候系统会现矩阵中取出长颈鹿咀嚼器行：
现矩阵长颈鹿咀嚼器行
会发现尿布永远次数果推荐户话发现购买婴类产品会推荐尿布起正常缺乏性化淹没产品（说买尿布代表买长颈鹿咀嚼器户想买尿布）想克服问题更加性化需解决流行商品推荐力度强问题现矩阵正规化常常矩阵正规化方法做Jaccard相似度
现矩阵正规化
具体说时买商品ij数量买商品ij数量
现矩阵正规化
操作做Jaccard相似度局限性考虑前购买行根前户购买商品推荐考虑历史购买行想解决问题需购物历史加权重系数（购买设置权重买较时间长商品设置权重）然推荐商品分
说户A购买商品{尿布牛奶}现户A进行推荐模型浏览推荐A商品进行分
分
（S湿巾尿布）表示购买尿布湿巾数S（湿巾牛奶）表示购买牛奶湿巾数然进行求然求均结果推荐湿巾分系统需推荐分数高商品（里没购买商品设置权重）
里问题推荐根户系统时没考虑文（时间）没考虑户特征（年龄性）考虑户现矩阵没考虑商品特征
协滤算法
问题冷启动问题果新户者架新商品时候会遇冷启动问题
想解决问题需外种思路种思路考虑户考虑商品特征协滤算法
电影推荐系统举例电影特征分表示该电影中动作片爱情片喜剧片成分占少？
户应权重分表示该户动作片爱情片喜剧片喜爱权重户权重参数电影特征相该户电影预测评分
电影成分例
图部电影特征现两户：
户权重
推断出户该电影预测评分72外户该电影预测评分08然言该电影评分72户更值推荐（然电影评分高5分里便举例子）
知道户权重组装成权重矩阵（L）矩阵行表示户知道电影权重组装成矩阵（R）矩阵列表示电影两矩阵相行户列电影电影评分矩阵（绿色矩阵）
行户列电影矩阵
现问题知道户电影题知道矩阵L矩阵R尝试逆思维估计LR认模型参数
现数部分户部分电影评分面矩阵中黑色方块
缺失评分数
矩阵子分解模型
矩阵子分解模型
已知数估计出模型参数LR种方式称矩阵子分解模型
通LR评分电影进行评分预测种方法解决冷启动问题特征矩阵分解结合起
特征矩阵分解结合
特征时间东西户信息历史购买非常明显特征矩阵分解隐含特征
面冷启动问题仅仅通特征（年龄性）估计新户评分发现更信息矩阵分解方法发现题特征（学特征）样推荐时候学特征种理念基特定户特征模型矩阵分解模型特征结合起种非常普遍混合模型想法
推荐系统性度量
测量推荐系统性召回率准确率
商品
商品中推荐两字表示推荐商品着×表示推荐商品画着粉色方块表示户喜欢
召回率计算方式
推荐出喜欢物品带推荐+粉色方块全部喜欢物品带粉色方块
准确率计算方式
推荐出喜欢物品带推荐+粉色方块推荐物品带推荐标识
果系统推荐物品保证召回率1样准确率结果会非常显然推荐产品想法想法应该推荐产品正户喜欢
准确率召回率1
准确率召回率度量较会算法需画准确率召回曲线
准确率召回曲线输入输出
画出召回率曲线需变化推荐物品数阈值种推荐商品数设置计算准确率召回率图示
召回率曲线
优推荐系统样着推荐商品数量增加召回率准确率双双1
判断优算法
算法应准确率召回曲线时候根曲线判断算法呢？
三条准确率召回曲线
定准确率希召回率越高越（反然）假现三推荐算法产生三准确率召回曲线单度量标准：曲线面积（AUC）曲线面积
知道基协滤构造推荐系统通准确率召回曲线选择优推荐算法
神网络模型27种神网络模型简介
1Perceptron(P) 感知机
1感知机
感知机知道简单古老神元模型接收输入然加总通激活函数传递输出层
2Feed Forward(FF)前馈神网络
2前馈神网络
前馈神网络（FF）古老方法——种方法起源50年代工作原理通常遵循规：
1节点完全连接
2激活输入层流输出回环
3输入输出间层（隐含层）
数情况种类型网络反传播方法进行训练
3Radial Basis Network(RBF) RBF神网络
3RBF神网络
RBF 神网络实际激活函数径基函数非逻辑函数FF前馈神网络（FF）两者间什区呢？
逻辑函数某意值映射[0 1]范围回答否问题适分类决策系统适连续变量
相反径基函数显示距离目标远 完美适函数逼机器控制（例作PID控制器代）
简言RBF神网络实具激活函数应方前馈网络
4Deep Feed Forword(DFF)深度前馈神网络
4DFF深度前馈神网络
DFF深度前馈神网络90年代初期开启深度学潘拉盒子然前馈神网络止隐含层底什特殊性？
训练传统前馈神网络时层传递少量误差信息堆叠更层次导致训练时间指数增长深度前馈神网络非常实直00年代初开发系列效训练深度前馈神网络方法 现构成现代机器学系统核心实现前馈神网络功效果远高
5Recurrent Neural Network(RNN) 递神网络
5RNN递神网络
RNN递神网络引入类型神元——递神元种类型第网络称约旦网络（Jordan Network）网络中隐含神元会收固定延迟（次次迭代）输出外普通模糊神网络非常相似
然许变化 — 传递状态输入节点变延迟等思想保持变种类型神网络文重时候——迭代结果样产生决策会前产生影响常见文例子文——单词前面单词句子文中进行分析
6LongShort Term Memory (LSTM) 长短时记忆网络
6LSTM长短时记忆网络
LSTM长短时记忆网络引入存储单元特殊单元数时间间隔（滞）时处理数递神网络 通记住前十词处理文LSTM长短时记忆网络通记住许帧前发生事情处理视频帧 LSTM网络广泛写作语音识
存储单元实际元素组成称门递性控制信息记住遗忘
7Gated Recurrent Unit (GRU)
7GRU具门LSTM
GRU具门LSTM
听起简单缺少输出门更容易基具体输入重复次相输出目前模型声音（音乐）语音合成中
实际组合然点：LSTM门组合成谓更新门(Update Gate)复位门(Reset Gate)输入密切相关
LSTM消耗资源少相效果
8Auto Encoder (AE) 动编码器
8AE动编码器
Autoencoders动编码器分类聚类特征压缩
您训练前馈(FF)神网络进行分类时您必须Y类中提供X示例期Y输出单元格中激活 称监督学
方面动编码器没监督情况进行训练结构 隐藏单元数量输入单元数量（输出单元数量等输入单元数）时动编码器训练时输出接输入方式强制动编码器泛化数搜索常见模式
9Variational AE (VAE) 变分编码器
9VAE变分编码器
变分编码器般编码器相压缩概率特征
简单改变般编码器回答纳数？问题时变分编码器回答两件事情间联系强？应该两件事情间分配误差完全独立？问题
10Denoising AE (DAE) 降噪动编码器
10DAE降噪动编码器
然动编码器酷时找鲁棒特征适应输入数（实际拟合例子）
降噪动编码器（DAE）输入单元增加噪声 通机位改变数机切换输入中位等等通样做强制降噪动编码器点嘈杂输入重构输出更加通强制选择更常见特征
11Sparse AE (SAE) 稀疏编码器
11SAE稀疏编码器
稀疏编码器（SAE）外时候抽离出数中隐藏分组样试动编码形式结构AE样隐藏单元数量输入输出单元数量
12Markov Chain (MC) 马尔科夫链
12Markov Chain (MC) 马尔科夫链
马尔夫链（Markov Chain MC）较老图表概念端点存种性搭建单词hello00053％概率会出现dear003551概率出现you样文结构
马尔科夫链典型神网络作基概率分类（贝叶斯滤）聚类（某类言）作限状态机
13Hopfield Network (HN) 霍普菲尔网络
13HN霍普菲尔网络
霍普菲尔网络（HN）套限样进行训练相样已知样作出反应
训练前样作输入样训练中作隐藏样作输出样
HN试着重构受训样时候输入值降噪修复输入果出半图片数列学反馈全部样
14Boltzmann Machine (BM) 波尔滋曼机
14 BM 波尔滋曼机
波尔滋曼机（BM）HN非常相单元标记输入时隐藏单元隐藏单元更新状态时输入单元变成输出单元（训练时BMHN更新单元非行）
第成功保留模拟退火方法网络拓扑
层叠波尔滋曼机谓深度信念网络深度信念网络作特征检测抽取
15Restricted BM (RBM) 限制型波尔滋曼机
15 RBM 限制型波尔滋曼机
结构限制型波尔滋曼机（RBM）BM相似受限RBM允许FF样反传播训练（唯反传播数前RBM会次输入层）
16Deep Belief Network (DBN) 深度信念网络
16DBN 深度信念网络
前提样深度信念网络（DBN）实际许波尔滋曼机（VAE包围）连起（神网络训练时候）已学样式生成数
17Deep Convolutional Network (DCN) 深度卷积网络
17 DCN 深度卷积网络
深度卷积网络（DCN）工神网络星具卷积单元（者池化层）核种目
卷积核事实处理输入数池化层简化（数情况非线性方程max）减少必特征
通常做图识图片部分运行（约20x20素）输入窗口素素着图滑动然数流卷积层卷积层形成漏斗（压缩识特征）图识讲第层识梯度第二层识线第三层识形状类推直特定物体级DFF通常接卷积层末端方便未数处理
18Deconvolutional Network (DN) 卷积网络
18 DN 卷积网络
卷积网络（DN）DCN颠倒DN获取猫图片生成（狗：0蜥蜴：0马：0猫：1）样量DNC量画出猫
19Deep Convolutional Inverse Graphics Network (DCIGN) 深度卷积反转图网络
19 DCIGN 深度卷积反转图网络
深度卷积反转图网络（DCIGN）长DCNDN粘起完全样
事实动编码器DCNDN作两分开网络承载网路输入输出间隔区数种神网络作图处理处理前没训练图抽象化水高网络某事物张图片中移重画者名鼎鼎CycleGAN样匹马换成斑马
20Generative Adversarial Network (GAN) 生成抗网络
20 GAN 生成抗网络
生成抗网络（GAN）代表生成器分辨器组成双网络家族直相互伤害——生成器试着生成数分辨器接收样数试着分辨出样生成够保持两种神网络训练间衡断进化中种神网络生成实际图
21Liquid State Machine (LSM) 液体状态机
21 LSM 液体状态机
液体状态机（LSM）种稀疏激活函数阈值代（全部相连）神网络达阈值时候单元格连续样释放出输出中积累价值信息次部副设零
种想法脑神网络广泛应计算机视觉语音识系统目前没重突破
22Extreme Learning Machine (ELM) 极端学机
22ELM 极端学机
极端学机（ELM）通产生稀疏机连接隐藏层减少FF网络背复杂性需更少计算机量实际效率程度取决务数
23Echo State Network (ESN) 回声状态网络
23 ESN 回声状态网络
回声状态网络（ESN）重复网络细分种类数会输入端果监测进行次迭代（请允许重复网路特征乱入）隐藏层间权重会更新
24Deep Residual Network (DRN) 深度残差网络
24 DRN 深度残差网络
深度残差网络（DRN）输入值部分会传递层特点做深层级（达300层）事实种没明确延时RNN
25Kohonen Network (KN) Kohonen神网络
25 Kohonen神网络
Kohonen神网络（KN）引入单元格距离特征数情况分类种网络试着调整单元格某种特定输入作出反应单元格更新 离单元格会更新
SVM样网络总认真正神网络
26Support Vector Machine (SVM)
26 SVM 支持量机
支持量机（SVM）二元分类工作网络处理少维度输入结果会否
SVM情况做神网络
27Neural Turing Machine (NTM) 神图灵机
27NTM 神图灵机
神网络黑箱——训练结果增强实际决定路径数见
神图灵机（NTM）尝试解决问题——提取出记忆单元FF作者说抽象版LSTM
记忆容编址网络基现状读取记忆编写记忆代表图灵完备神网络
着路线图起遨游机器学世界
路线图
机器学里？
流行语什意思？
类学？
电脑学？
什监督学运作？
什监督学工作？
里开始达里？
目标
首先机器学蕴含着涵非常复杂然数学严格分解成数学术语时非常简单旦真实世界例子样直话会变更加简单目标教代数基解疯狂东西运作
机器学里？
1959年IBM工作期间美国计算机游戏工智领域先驱亚瑟·塞缪尔创造机器学词接十年里计算机科学领域直生活公司学许研究实验室中直2010年左右时企业开始意识深度学价值预测企业政府产生量数集中见解时应
值注意根斯坦福学GSB控制数该领域许进展学术界公司部取
流行语什意思？
围绕工智兄弟机器学流行语列表似天增长理解切想象切里第原层面深入探讨点
述许领域类天做事情关：学处理语言（听）谈话（语音）计划（优化）移动（机器）（视觉）
偶然 AI种子植根神网络神网络种数学模型类思维（神元）第原理转化数学然转化计算机该数学解释请参阅面视化现担心理解
重解三题彼非常：
数科学 产生见解
机器学 产生预测（基统计概率）
工智 产生行动
三领域类学方式重叠
您收集信息获见解
您根您知道数做出预测
您根类操作产生您想想结果性执行操作
重注意基义词现已拥超级高度水深入解类计算机学间相似点点
类学？
类通特传感器收集数：眼睛耳朵鼻子舌头然脑解释数根数做出决定第原层面决定身体化学物质终神系统决定控制思想感受动作素决定外部结果结果通周围世界收集感官数脑表达感知种感官数会影响感受进影响思维脑情感部分古老影响力事实
例童第次接触熨斗样铁热物时会避免接触感受烧灼感觉疼痛
铁时会学会避免熨斗样热物感受烧灼感觉疼痛通常情况会哭助认识果想发生样情况做样决定称学反馈环
许例推断例子类学决策导致良结果决策导致良结果基构建块定程度监督机器学
父母教孩子做事时类监督学种监督学孩子灌输数影响决策出现错误时修复错误
例父母教孩子骑行车
首先父母孩子展示身体放行车
接父母教会孩子学会踩踏行车做点必须踏板施加力克服行车惯性状态踏板力推动行车移动前行走
假设孩子前次停止踩踏会行车掉会受伤会感痛苦会感害怕
前面提数会告诉孩子脑果踏板踏次行车学会
父母会进告诉孩子继续踩踏学模式反馈种数输入视觉音频物理混合父母直观展示该做什告诉孩子该做什帮助执行动作
终孩子会连续失败中学会骑行车旦学会骑行车永远会忘记孩子脑会套发达指令完成骑行车目标类高层次学项务方式计算机学方式相似
数学中种通误差法试验称梯度降快
身体利神元收集信息然次神元传递周围世界动作计算机面展示数学模型特（10）形式收集信息做出决定
电脑学？
现代计算机类处理二进制数必须告知组非常具体指令操作孩子出生时没移动吃饭哭泣指令预先编程够做事情没基指令集计算机计算机通类推理婴具子宫行计算机BIOS类似者生命中基指令集（计算机机箱开时）唯区BIOS必须编写类100％确定里开始预先编程重点
简单说计算机通机器学学三种方式（i）模型（ii）参数（iii）学者
模型 进行预测识系统
参数 模型形成决策信号素
学者 通观察预测实际结果差异调整参数进调整模型系统
假装名新老师希确定学生应该学佳时间便考试中获佳成绩样信息放教授第二堂课教学纲中
切始模型称机器学系统预测形式称假设：
接ML（机器学）模型创建数学公式模拟数中关系
现学生第年结束时收考试成绩输入模型测试假设结果发现模型合适输入数称训练集
模型中严重误差范围学生学4时
述计算结果意味着算法高估学生分数学者需调整预测
面图表中出关键精度指标低假设存计算误差范围
调整预测结果：
第二次迭代假设
现系统次运行次组新分数学者真实分数修正模型进行较
次获相高精确度：
模型精确机器学算法继续运行直接绝精度
行车孩子例子样种梯度降方法完全弥补机器学中切酷？
现您已解机器学非常简单实示例中运行机器学两构建块：
监督学（）
监督学
什监督学运作？
监督学赖监督者（）解决两类问题：分类（相似性分组）回（根系列独立输入制定定量输出）
分类：基定义特征相似象进行分组
回：变量相关变量
果您熟悉独立变量变量请继续阅读果没篇作品外行术语描述面部分非常相关果两含义点模糊请花点时间阅读
监督机器学运作？
您需解SML（监督机器学）程中四部分讨计算机学前部分非常相似进步进入数学部分详细介绍关键部分
数准备 准备数完成工作
训练 建立数学模型
测试调整 根想容评估输出分根良结果更改模型示例中介绍点会次讨
数准备：
位优秀工程师正评估数集三方面：偏斜分布数集均值中值模式
偏斜数集种遵循谓正态分布数集基意味着果创建数集视化您拥视觉称衡山状仅仅通视觉表现判断数集效更简单方法判断
称分布中您均值（数字总您总数量）等您中位数（果您前面面迭代中间数字）等您模式（常见数字）
数集满足标准绝重果样基会毫价值ML模型没样化数集情况达高精度
训练：
部分节介绍模型参数学者相想直观展示结果什样样您查机器学模型通分析结果朋友留深刻印象
展示例子前非常重概念需理解差异方差衡量模型新数敏感程度指标差异结果机器学说真糟糕实际意味着已构建真空中工作软件换句话说没采理数学法理数学转换现实世界程中考虑参数
Underfit：
低方差高偏差
意味着模型具良数运行公式太愚蠢需考虑更事情谓偏见偏见模型忽略应忽视事物
模型太简单异常数点
模型太简单没正确分类
度拟合：
高差异低偏差
数时会发生种情况干净利落没样化数集存偏差然该模型太愚蠢更选择训练算法数集问题监督机器学算法常见结果
高方差点均值差异
高方差点均值分布太
超级监督机器学
什监督学工作？
名字样监督种类型机器学涉少类参然数需清理呈现
中种方法电子商务公司拥量关客户数包括潜客户前客户家公司希找新客户服务产品通量数集包含某解信息公司数集应监督学找客户销售新方法时寻找新产品销售客户
实现目流行算法 kmeans聚类：
前聚类时例子进行分类时根否相形状象进行分组根否效形状
监督学聚类应中数基相似程度该数属类（称标记）分组起
例面绘制聚类图中您根花花瓣宽度进行分组赖花型
样化数集您拥根象象进行分组模型您终结果中推断出见解
洞察力模型公司追求素终推断出客户提供新产品
果您数集结果显示群（样性定义年龄种族教育收入理区域等）知道月花少钱购买产品根月花费金额素会根产品进行分组
接您出售支出集群中购买更产品理应程序会增加公司销售额您合理假设新产品中终会出售客户
kmeans聚类工作？
第1步：根意指标数分成集群（例子中某公司月花费作集群指标）拥组数字母K表示量化数字名称kmeans聚类
设置点
步骤2：选择位聚类中心k点聚类中间点
第3步：初设置k点移动新点通测量点距离初设置中心距离计算新点代数中学方便花花公子测量称欧里德距离者更简单术语毕达哥拉斯定理
现新点移动集群中心注意：新点会移动距离原点点群集单数点
聚合原始点数集中点距离找具总群集（例子中定义3点）（总定义距离加数字）旦知道聚类中接聚类知道新点聚类区域没告诉究竟需准确移动新点位置
第4步：计算想移动新点位置必须计算集群中点均值前述均值点值总点数
点移动（定性估计）
步骤5：真正步骤步继续运行算法中前面步骤直够点位置移动利移动集群换句话说非群集距离均值前计算更否会改变点
先退步必须先解释程（算法）然说明观点便消困惑
记说开始时选择k点作开始基础？
监督学全部意义告诉没意识类见解果改变次迭代中k点位置高精度做点
简单说明发生什k点述步骤完成会发生变化会直样做直方放置三点边缘情况简洁忽略
什公司付钱工程师运行算法呢？
算法结束时终集群选择寻找参数（评估属性）佳结果
集群中样输出例：
卫名26岁男性住旧金山优步工作月花费100美元买衣服通常会购买Clarks皮靴
Melanie名19岁女性住纽约市非盈利组织工作月花150美元买衣服通常买AG牛仔裤
Marcus名40岁男性住德克萨斯州奥斯汀埃克森美孚工作月花50美元买衣服通常买Carhart T恤
苏珊名25岁女性住华盛顿州西雅图亚马逊工作月花200美元买衣服通常买Frame牛仔布
四似没处实际市场找购买方拥商品甚知道想商品没广告没告诉
吧卫马库斯着梅兰妮苏珊类似消费惯城市工作年龄
通分析数公司根刚刚生成类似购物者洞察力提供广告会客户购买该商品展示广告时获量化转化率
数学模型部署工程师花费少量资金建造维护相潜处规模您会销售额超构建模型成
什公司kmeans样监督学模型道理
里里？
信信触机器学皮毛果面AI快会发现真涉超级高级话题
机器学中趣话题图中东西NLP（然语言处理）亚马逊Alexa处理您说CV（计算机视觉）机场扫描员通安检时查否观察名单然更
推荐系统风控模型知识图谱竟然网络挖掘实现
提社交网络分析推荐系统风控模型名词相信陌生社交网络分析非 Pandas+Matplotlib推荐系统概率余弦相似性协滤风控 LR（逻辑回）XGBoost 成熟模型占
许知道似相甚远社交网络分析推荐系统金融风险预测网络挖掘思想实现网络挖掘应领域搜索引擎知识图谱城市计算等
什网络挖掘
实般意义数挖掘数分析殊途通挖掘分析方法获取数中包含信息知识
般意义数挖掘通算法模型（常回分类聚类模型）进行描述预测网络挖掘出新解决方式
通数问题抽象网络模型帮助更进行数分析数挖掘
什抽象网络模型？社交网络中通常寻找具传播力V般说非户粉丝数排序
网挖掘思路太样通构建户相互关注网络模型寻找出V里关注信息传播中真正影响力（时候粉丝定具传播力）
外网络中组群（爱群体）分布密度等等宏观帮助分析整数样中关系
基社交网络组群发现
说网络挖掘基描述性统计方面更进步关键节点识组群发现某种程度发现做般描述性分析深刻洞见
网络模型实现
网络挖掘非问题抽象网络模型进行分析网络建模说解节点连边节点重性中心性关键指标节点间关系传递性相似度着重意义
网络相似衡量指标：节点度数分布聚类系数均路径长度等等
网络节点连边
然更重面真实问题者数时候实际问题抽象网络模型称问题形式化
领域通常构建样网络
样份数（Stack Overflow 户技数）技间连线值表示技间相关性权重
根技间关系构建网络模型着网络吓实networkx（Python库）构建行代码事情
通网络模型发现意思事情苹果系开发技（iosmac）聚块windows 系开发聚块网页开发社区果社区链接定相通技 LinuxGitPython 等
然网络模型探索开始续意思问题（帮助发现更知识应业务模型中）：
链路预测（短路径）
关键节点挖掘（寻找权威节点）
网络遍历（搜索检索）
社区发现（组群画）
相似节点挖掘（相似性推荐）
网络挖掘应
网络挖掘户画商品推荐金融风险评估城市交通优化流言信息传播等方面着广泛应业务般数挖掘方法效果佳加入网络模型幅提升说网络挖掘应舞台限宽广……
网页排序
谷歌 PageRank身构建庞网页网络模型基础（网页节点超链边）通计算网页中心度（权重）网页进行排序实现更加精准搜索推荐
社交网络分析
社交网络天然适合构建网络模型进行分析信息传播预测影响力分析社交组群发现友推荐户画等等单独出体体出发现样东西某种程度说社交网络分析建立网络模型分析基础
推荐系统
传统协滤算法基思想目标户选择相似性度较高户喜欢商品推荐目标户网络模型加入（友网络商品网络）程度解决样性问题冷启动问题社会推荐问题提升某场景推荐精度
知识图谱
网络挖掘知识图谱中发挥着重作遍历路径探寻关键节点挖掘等PatientsLikeMecom 病病症医院医生药品等等医疗数组织成知识图谱图谱医生搜索家族病史网络查询相似病例解决方案病搜索疾病相关病症药品医生相似病例等
网络挖掘实强化数分析挖掘技种全新视角探索更全面宏观网络知识体间关系
深入剖析机器学中统计思想
现机器学中家达成识 果机器学方法懂基础原理解释性件非常怕事情
统计强调推理机器学强调预测执行统计信息时需推断生成数程 进行机器学时想知道什样变量预测未会什样子
统计思想视角解数分布评估种结果概率理解数生成程模型解释性关注重点机器学更关注预测准确性知道模型实际应光准确性够类现没非常成功机器（系统）工作解释机器学中统计思想应非常重
统计学计算机学家争
原统计统计系机器学计算机系两相互相认方价值专注机器学计算机学家认统计理没解决问题统计学家认计算机学家重新建造轮子没新意
然着机器学迅猛发展统计学家认识计算机学家正做出贡献计算机学家认识统计理方法普遍性意义
Boosting SVM 稀疏学机器学界统计界二十年活跃方实二者相辅相成结果SVM理实早Vapnik等提出计算机界发明效求解算法非常实现代码陆续开源家SVM变成分类算法基准模型
机器学家通常具强计算力解决问题直觉统计学家长理分析具强建模力两者互补性
两者融合必然趋势
统计思想机器学巨贡献
清楚知道机器学应中迅猛发展工智具体落角台前英雄统计幕推动者
机器学数建模计算机科学观点侧重算法方法模型技
统计学数建模数学视角侧重模型参数准确估计模型效性拟合优度
机器学度关注预测准确性缺乏完全发展推理概念
1）似没认识预测（参数估计等）会受机误差系统误差（偏差）影响统计学家会接受预测中避免部分会尝试估计错误统计技术尝试找具偏差机误差估计
2）机器学中似没深入理解模型应分布群体新样限制划分训练集测试集实际源统计思想交叉验证惩罚方法指导简约性模型复杂性间达权衡早已统计中非常广泛手段部分机器学业者指导原似更时
机器学业者必须保持开放思维利方法应统计统计学密切相关领域中理解术语实际中充分应统计思想更机器学应实践中
正化：统计中惩罚思想
机器学中正化SVM中接触惩罚方法没学统计会感觉陌生实统计中常方法光滑样条Smooth Spline通二阶导数进行惩罚控制拟合曲线光滑程度LASSORidge regression回
惩罚核心目限制参数空间降低模型复杂度惩罚身反应应统计问题某种先验知识惩罚独特概率解释假设高斯噪声线性模型中LASSOL1惩罚相回参数加Laplace prior岭回Ridge regression中L2惩罚应般normal prior
SVM硬间隔支持量机中间隔身代表距离非负图示红色绿色两噪声点会整问题解引入惩罚子（松弛变量）种统计学中思想SVM容错力更鲁棒
线性回：机变量离差方
机器学前线性回实已统计学中方法果理解线性回算法果数拟合机器学视角问题觉太简单甚理解深刻统计视角会发现简单意义统计思想：
1机变量
Y Xβ+ε
Y X线性函数(部分)加误差项线性部分反映X变化引起Y变化误差项ε机变量般均值零高斯分布反映XY间线性关系外机素Y影响XY间线性关系解释变异性理解机变量真正理解拟合优度目标
2离差方
总离差方反映变量n观察值均值总误差
回方反映变量x变化变量 y 取值变化影响者说xy间线性关系引起y取值变化称解释方
残差方反映x外素 y 取值影响称解释方
注意：离差方公式均值零机变量误差推导
朴素贝叶斯：贝叶斯定理
朴素贝叶斯算法体现统计学思想更：
①贝叶斯定理②特征条件间相互独立假设
涉统计概率相关概念：条件概率联合概率分布先验概率验概率独立性
交叉验证：重采样方法
交叉验证质说重采样方法思想起源统计学交叉验证准确度解释模型正确概率相关东西
交叉验证数充足时候
样数进行切分组训练集测试集某次训练集中某样次成测试集中样谓交叉
支持量机：统计学理
支持量机产生源统计学理突破
统计学理种研究训练样限情况机器学规律学科换句话说统计学理中学统计性通限样否学中规律？
统计学理产生前机器学中统计学中关估计致性偏性估计方差界等分类错误率等渐性特征实际应中满足种问题高维空间时尤
万普尼克建立基统计学机器学理统计方法纳学等机器学方法
（1）结构风险验风险置信风险
（2）验风险化纳原致致性样数量趋穷时样点数限情况仅仅验风险似期风险十分粗糙结构风险期风险界
基理支持量机数学基础非常完备闪烁着统计思想火花机器学理界应领域极贡献
贝叶斯估计：足够观察数会分布更加真实
贝叶斯估计中统计思想：
贝叶斯定理
观察数足够观察数会估计更加符合数真实分布
已P（Θ）先验分布代表参数真实价值信念分布代表出售冰淇淋概率法样
左侧P（Θ|data）称验分布计算右侧容观察数考虑表示参数值信念分布
P（data|Θ ）似然分布般高斯分布（dataμσ）
通提供参数先验信念计算出验分布
两观察点拟合情况：
10数观察点贝叶斯估计拟合情况：
高斯程：统计中高斯分布贝叶斯定理观察数均值方差意义
分布：高斯分布实际中广泛存
贝叶斯定理：先验概率关事件发生概率猜测开始然观察前事件发生似然（性）根发生事情更新初始猜测 更新先验概率称验概率
预测新数点y值概率视角条件概率预测历史数XY值条件前y概率分布
分布均值：y*佳估计
GP建模中关键假设数表示元高斯分布样
条件概率p（y* | y）感兴趣：定数y *特定预测性？ 条件概率然遵循高斯分布（推导程略）：
y*佳估计种分布均值：
分布方差：估计确定性度量
估计确定性方差出：
CNN已老GNN清华学孙茂松组文综述GNN
文带解UCI数库Python API通实际案例拆解讲解代码
[ 导读 ]深度学法进行果推理图模型(GNN)解决方案清华学孙茂松教授组发表综述文全面阐述GNN方法应提出表征种GNN模型中传播步骤统表示文中图表建议高清印塑贴放手边作参考
深度学软肋什？
问题回答仁者见仁图灵奖Judea Pearl概999率会说法进行果推理
问题业界正进行积极探索中前景方图神网络(Graph Neural Network GNN)
清华学孙茂松教授组 arXiv 发布文Graph Neural Networks A Review of Methods and Applications作者现GNN模型做详全面综述
图神网络连接义符号义机结合仅深度学模型够应图种非欧里德结构深度学模型赋予定果推理力文第作者周界说
深度学方法鲁棒性解释性受质疑天图神网络工智发展提供行方
GNN深度学领域受广泛关注然想快速解领域研究员说会面着模型复杂应门类众问题
文希读者提供更高层次视角快速解GNN领域模型动机优势周界告诉新智元：时通应进行分类方便领域研究者快速解GNN应领域文献
毫夸张说文中图表想解学GNN果推理等方研究者说简直应该高清印塑然贴墙作参考——
GNN种变体通 aggregator & updater轻松分辨GNN模型篇综述强图表示例
想快速解GNN篇文章绝没错
容模型方面文GNN原始模型构建方式存问题出发介绍进行改进GNN变体包括处理图类型进行高效信息传递加速训练程介绍年提出通框架总结概括现方法具较强表达力
应文章GNN应领域分结构化场景非结构化场景场景介绍诸物理化学图文图生成模型组合优化问题等典GNN应
典型应场景介绍
文章提出四开放性问题包括处理堆叠层GNN造成滑问题处理动态变化图结构通方法处理非结构化数扩展更规模网络
作者整理GNN文列表：httpsgithubcomthunlpGNNPapers
篇综述部分摘译点击阅读原文查 arXiv 文
原始GNN局限性
GNN概念首先F Scarselli等文The graph neural network model（F Scarselli et al 2009）中提出里描述原始GNN列举原始GNN表示力训练效率方面局限性
接着介绍种GNN变体变体具图形类型利传播函数训练方法
介绍三通框架分message passing neural network (MPNN)nonlocal neural network (NLNN)graph network(GN)MPNN结合种图神网络图卷积网络方法NLNN结合种selfattention类型方法图网络GN概括文提图神网络变体
图神网络
前述图神网络(GNN)概念早Scarselli等2009年提出扩展现神网络处理图(graph)中表示数图中节点特性相关节点定义
然实验结果表明GNN建模结构化数强架构原始GNN存局限性
首先固定节点原始GNN迭代更新节点隐藏状态低效果放宽固定点假设设计层GNN节点邻域稳定表示
次GNN迭代中相参数数流行神网络层中参数种分层特征提取方法外节点隐藏状态更新序程RNN核(GRU LSTM)中获益
第三边法原始GNN中建模信息特征外学边隐藏状态重问题
果焦点放节点表示图形适合固定点固定点表示分布数值滑区分节点信息量较少
图神网络变体
节提出图神网络种变体首先图类型运行变体变体扩展原始模型表示力次列出传播步骤进行修改（卷积门机制注意力机制skip connection）种变体模型更学表示描述高级训练方法标题方法提高训练效率
图2概述GNN变体
览GNN变体
图类型(Graph Types)
原始GNN中输入图带标签信息节点边组成简单图形格式然世界许图形里介绍建模类型图形方法
图类型变体
图(Directed Graphs )
图形第变体图边作两边表明两节点间存着关系然边边带更信息例知识图中边head实体开始tail实体结束head实体tail实体父类表明应该区父类子类信息传播程图实例ADGPM (M Kampffmeyer et al 2018)
异构图(Heterogeneous Graphs)
图第二变体异构图异构图种类型节点处理异构图简单方法节点类型转换原始特征连接onehot特征量异构图GraphInception
带边信息图(Edgeinformative Graph)
图外变体条边信息权值边类型例G2SRGCN
训练方法图变体
训练方法变体
传播步骤进行修改GNN变体
传播步骤变体
GNN三通框架
图神网络变体外介绍通框架旨模型集成框架中
J Gilmer等(J Gilmer et al 2017)提出消息传递神网络(message passing neural network MPNN)统种图神网络图卷积网络方法
X Wang等(X Wang et al 2017)提出非局部神网络(nonlocal neural network NLNN)结合种selfattention风格方法
P W Battaglia等(P W Battaglia et al 2018)提出图网络(graph network GN)统统MPNNNLNN方法许变体交互网络(Interaction Networks)神物理引擎(Neural Physics Engine)CommNetstructure2vecGGNN关系网络(Relation Network)Deep SetsPoint Net
尚未解决问题
GNN领域取巨成功值注意GNN模型条件图务提供令满意解决方案里陈述开放性问题供进步研究
浅层结构
传统深度神网络堆叠数百层获更性更深结构具备更参数显著提高网络表达力然GNN总浅数超三层
实验显示堆叠GCN层导致度滑说顶点收敛相值研究员设法解决问题然GNN局限设计真正深度GNN未研究说令兴奋挑战进步深入理解GNN做出相贡献
动态图形具挑战性问题处理具动态结构图形静态图总稳定进行建模行动态图引入变化结构边节点出现消失时GNN适应做出改变目前动态GNN研究积极进行中认般GNN具备稳定性适应性重里程碑
非结构性场景
讨GNN非结构场景中应没找原始数中生成图佳方法图域中研究利CNN获取特征图然进行采样形成超素作节点直接利象检测算法获取象节点文域中研究句法树作句法图研究采全连接图关键找图生成佳方法GNN更广泛领域发挥更作
扩展性问题
嵌入式算法应社交网络推荐系统类规模网络环境图形嵌入算法面致命问题GNN例外GNN进行扩展困难涉中许核心流程数环境中消耗算力
种困难体现方面：首先图数规节点邻域结构批量化处理次存节点边数量达数百万时计算图拉普拉斯算子行外需指出扩展性高低决定算法否够应实际场景目前已研究提出解决问题办法正密切关注新进展
结
年中GNN已成图领域机器学务强实工具进展赖表现力模型灵活性训练算法进步文中图神网络进行全面综述GNN模型引入图类型传播类型训练类型分类GNN变体
外总结统表示GNN变体通框架应程序分类方面GNN应程序分结构场景非结构场景18场景然场景中应程序进行详细介绍提出四开放性问题指出图神网络挑战未研究方包括模型深度扩展性动态图处理非结构场景处理力
Python进行监督学种热门聚类算法
监督学机器学技术中类发现数中模式文介绍Python进行监督学种聚类算法包括KMeans聚类分层聚类tSNE聚类DBSCAN聚类等
监督学机器学技术中类发现数中模式监督算法数没标注意味着提供输入变量（X）没相应输出变量监督学中算法发现数中意义结构
Facebook首席AI科学家Yan Lecun解释说监督学——教机器学需明确告诉做件事情错真正AI关键
监督学 VS 监督学
监督学中系统试图前出例子中学反监督学中系统试图出例子中直接找模式果数集标记监督问题果数集标记监督问题
图左边监督学例子 回技术寻找特征间佳拟合线监督学中输入基特征分离预测取决属聚类（cluster）
重术语
特征（Feature）
：进行预测输入变量
预测（Predictions）
：提供输入示例时模型输出
示例（Example）
：数集行示例包含特征标签
标签（Label）
：特征结果
监督学做准备
文中Iris数集（鸢尾花卉数集）进行第次预测该数集包含150条记录组数5属性——花瓣长度花瓣宽度萼片长度萼片宽度类三类分Iris Setosa（山鸢尾）Iris Virginica（维吉尼亚鸢尾）Iris Versicolor（变色鸢尾）监督算法出鸢尾花四特征预测属类Python中sklearn Library加载Iris数集matplotlib进行数视化代码片段
紫罗兰色：山鸢尾绿色：维吉尼亚鸢尾黄色：变色鸢尾
聚类（Clustering）
聚类中数分成组简单说目具相似特征组分开组成聚类
视化示例：
图中左边图未完成分类原始数右边图聚类（根数特征数进行分类）出预测输入时会根特征属聚类中进行检查做出预测
Python中KMeans聚类
KMeans种迭代聚类算法目次迭代中找局部值首先选择需数量聚类已知道涉3类通参数n_clusters传递KMeans模型中数分组3类
现机三点（输入）分成三聚类基点间质心距离定输入分需聚类然重新计算聚类质心
聚类质心特征值集合定义生成组检查质心特征权重定性解释聚类代表什类型组
sklearn库导入KMeans模型拟合特征进行预测
Python中K Means实现：
分层聚类
顾名思义分层聚类种构建聚类层次结构算法该算法分配cluster数开始然两cluster加入cluster剩cluster时算法结束
分层聚类完成树状图表示面分层聚类例子 数集里找：httpsrawgithubusercontentcomviharunsupervisedlearningwithpythonmasterseedslessrowscsv
Python中分层聚类实现：
K Means聚类分层聚类区
分层聚类处理数K Means聚类K Means时间复杂度线性O（n）分层聚类时间复杂度二次O（n2）
K Means聚类中聚类意选择开始时次运行算法产生结果会结果分层聚类中重现
聚类形状超球形时（2D中圆形3D中球形）K Means聚类更
KMeans聚类允许嘈杂数分层聚类中直接嘈杂数集进行聚类
tSNE聚类
tSNE聚类视化监督学方法tSNE表示t分布机邻嵌入高维空间映射视化23维空间
具体言通二维点三维点高维象进行建模相似象附点建模相似象概率远离点建模
Python中tSNE聚类实现数集Iris数集：
里Iris数集具四特征（4d）变换二维图形表示类似tSNE模型应具n特征数集
DBSCAN聚类
DBSCAN（DensityBased Spatial Clustering of Applications with Noise具噪声基密度聚类方法）种流行聚类算法作预测分析中 Kmeans代求输入聚类数值运行作交换必须调整两参数
scikitlearn实现提供epsmin_samples参数默认值参数通常需调整eps参数邻域中考虑两数点间距离min_samples参数认聚类邻域中数点量
Python中DBSCAN聚类：
更监督技术：
成分分析（PCA）
异常检测（Anomaly detection）
动编码（Autoencoders）
深度置信网络（Deep Belief Nets）
Hebbian Learning
生成抗网络（GAN）
组织映射（SelfOrganizing maps）
文档香网(httpswwwxiangdangnet)户传
《香当网》用户分享的内容，不代表《香当网》观点或立场，请自行判断内容的真实性和可靠性！
该内容是文档的文本内容，更好的格式请下载文档
抓住矛盾忽略次矛盾池化 6
避免梯度消失ReLU批化 7
集成学思想Dropout 8
深层提取复杂特征思维 9
非线性思维 10
省特征工程思维 11
深度学概述：感知机深度网络 12
前言 12
机器学基础 12
感知机 13
训练 14
前馈神网络 15
超线性 17
训练 18
隐含层 20
网络例子 20
规模网络中难题 21
编码器 21
压缩输入数：灰度图 22
流行感 23
学 24
受限波尔兹曼机 24
差异 26
深度网络 27
栈式编码器 28
深度信度网络 29
卷积网络 31
卷积层 31
采样层 32
实现 32
结构 33
数流 34
训练 35
结 36
卷积层激活层池化层全连接层深度解析卷积神网络原理 37
局部连接+权值享 37
卷积神网络 38
卷积神网络输入层 39
卷神网络卷积层： 40
卷积神网络激励层 50
卷积神网络池化层 54
卷积神网络全连接层 56
基机器学协滤算法完成电子商务网站商品推荐系统 58
现购买 58
现矩阵 58
现矩阵做商品推荐 59
现矩阵做商品推荐问题 60
现矩阵正规化 61
协滤算法 62
矩阵子分解模型 65
推荐系统性度量 66
判断优算法 69
神网络模型27种神网络模型简介 71
着路线图起遨游机器学世界 90
路线图 90
目标 91
机器学里？ 91
电脑学？ 96
什监督学运作？ 100
监督机器学运作？ 101
什监督学工作？ 105
kmeans聚类工作？ 107
推荐系统风控模型知识图谱竟然网络挖掘实现 112
什网络挖掘 112
网络模型实现 114
网络挖掘应 116
网页排序 117
社交网络分析 117
推荐系统 117
知识图谱 118
深入剖析机器学中统计思想 119
统计学计算机学家争 120
统计思想机器学巨贡献 121
线性回：机变量离差方 123
朴素贝叶斯：贝叶斯定理 125
交叉验证：重采样方法 125
支持量机：统计学理 126
贝叶斯估计：足够观察数会分布更加真实 127
高斯程：统计中高斯分布贝叶斯定理观察数均值方差意义 130
CNN已老GNN清华学孙茂松组文综述GNN 132
原始GNN局限性 136
图神网络 136
图神网络变体 137
图(Directed Graphs ) 139
异构图(Heterogeneous Graphs) 139
带边信息图(Edgeinformative Graph) 139
训练方法图变体 140
传播步骤进行修改GNN变体 140
GNN三通框架 141
尚未解决问题 141
PYTHON进行监督学种热门聚类算法 144
监督学 VS 监督学 144
监督学做准备 146
聚类（Clustering） 147
Python中KMeans聚类 148
Python中K Means实现： 149
分层聚类 149
K Means聚类分层聚类区 150
tSNE聚类 151
Python中tSNE聚类实现数集Iris数集： 152
DBSCAN聚类 152
Python中DBSCAN聚类： 153
更监督技术： 154
透彻理解深度学背种思想思维
深度神网络2012年兴起时深度学模型够传统机器学问题例图分类语音识击败先进传统方法功支撑深度学种哲学思想种思维
抓住矛盾忽略次矛盾池化
神网络中池化突出化概括性特征相提取特征仅具低维度时防止拟合
max_pooling： 夜晚球俯瞰图灯光耀眼穿透性注意max部分产生亮光区域放视觉错觉 max_pooling 较抽象点特征（纹理）提取更池化种降采样技术减少参数数量防止拟合卷积核样池化层中神元连接面层输出神元应块感受野区域
池化体现抓住矛盾忽略次矛盾哲学思想抽取特征程中抓住图片特征中关键部分放弃重非决定性特征
避免梯度消失ReLU批化
深度神网络着层数增梯度消失棘手问题
ReLU处降低梯度弥散性增加稀疏性
线性整流函数ReLU（Rectified Linear Unit）定义h max(0a）中a Wx + b
降低梯度消失性特a > 0时时梯度具恒定值作着x绝值增加sigmoid函数梯度变越越ReLU恒定梯度导致更快学
增加稀疏性a≤ 0稀疏性出现网络层中存样单元越越表示稀疏性方面Sigmoid激活函数总产生非零值产生密集表示稀疏表示密集表示更益
批化BN(Batch Normalization)解决梯度消失问题减均值方差保证：
层输出均值方差规范化输出饱区拉倒非饱区（导数）解决梯度消失问题图中第二层第层梯度变化没BN时sigmoid激活函数梯度消失5倍BN时梯度消失33BN时relu激活函数梯度没消失
集成学思想Dropout
Dropout避免拟合种正化技术
Dropout种正化形式限制网络训练时数适应性避免学输入数时变聪明助避免度拟合
dropout质体现集成学思想集成学中采较弱分类器分训练分类器单独训练学会数方面错误组合起助产生更强分类器容易度拟合机森林GBDT典型集成算法
种集成算法装袋(bagging)中成员输入数子集训练仅学整输入特征空间子集
dropout作装袋极端版批量训练步骤中dropout程序创建网络（通机移单元）常样反传播进行训练概念讲整程类似许网络（步骤）集合网络单样训练（极端装袋）
测试时整网络（单位）例缩数学似整体均
显然种非常应深度学集成思想
深层提取复杂特征思维
天深度学已取非常成功深度神网络AlexNet8层GoogLeNet22层ResNet152层着层数增加top5错误率越越低达357
图文包含复杂层次关系特征提取器中找表示关系公式容易深度学系统具层表示力够网络模拟复杂关系
学应深度学时惧怕网络层次深正种深层结构提取图文语音等原始数抽象质特征
神网络构建逐步抽象特征层次结构
续层充越越复杂特征滤器特征结合前层特征
层输入应非线性变换输出中提供表示
层中神元会信息发送层神元层神元会学更抽象数
升越高学抽象特征越目标通数传递转换层分层方式学数复杂抽象表示感官数（例图中素）馈送第层层输出作层输入提供
深层次网络结构具强抽象学表征力
图识举例底层素东西层层时候慢慢边缘轮廓甚象部件等等总体逐渐时候确实断象进行抽象现象质抽象程中需阶段程需逐步粗取精逐步凸显终完成
层数什？中体现整体部分具体抽象认识哲学思想
抽取质性特征舍弃非质特征程逐渐抽象程抽丝剥茧层层萃取逐渐清晰统汇总层数少抽取出特征模糊法表征
非线性思维
层进行非线性变换深度学算法基思想数深层架构中层越构造非线性变换越复杂变换表示数深度学视表示学算法特例深层体系结构中学具表示级数表示实现终表示输入数高度非线性函数
深层体系结构层中非线性变换试图提取数中潜解释素PCA样线性变换作深层结构层中变换算法线性变换组合产生种线性变换拥深层架构没意义
例通深度学算法提供脸图第层学方边缘 第二层中组成边缘学更复杂特征嘴唇鼻子眼睛等脸部部分第三层中组成特征学更复杂特征面部形状终表示作面部识应中特征
提供该示例简单理解方式解释深度学算法通组合分层体系结构中获取表示找更抽象复杂数表示
省特征工程思维
传统机器学中特征工程作机器学技部分种情况需理解形式数转换输入算法中然训练测试模型前知道特征处数挖掘员会陷入开发新特征重建模型测量结果繁杂循环中直结果满意止项非常耗时务需花费量时间
图边标题神网络生成想象图片方式非常相似涉类复杂解释案例必须深度学背原超参数标题图需超参数数量非常高SVM情况手动选择超参数深度神网络通训练集学进行
深度学概述：感知机深度网络
前言
年工智领域活跃起传统学术圈外GoogleMicrosoftfacebook等工业界优秀企业纷纷成立相关研究团队取令瞩目成果功社交网络户产生量数数原始数需进步分析处理功廉价强计算资源出现GPGPU快速发展
素AI尤机器学领域出现股新潮流程度推动次复兴——深度学文中介绍深度学背关键概念算法简单元素开始基础进行步构建
机器学基础
果太熟悉相关知识通常机器学程：
1机器学算法需输入少量标记样10张狗片中1张标记1（意狗）标记0（意狗）——文监督式二叉分类
2算法学样正确狗图片分类然输入新图片时期算法输出正确图片标记（输入张狗图片输出1否输出0）
通常难置信：数模糊标记出错者数手写字母图片实际表示字母标记
感知机
感知机早监督式训练算法神网络构建基础
假面中存 n 点分标记01时加入新点果想知道点标记什（前提狗图片辨理）做呢？
种简单方法查找离点点什然返回点样标记种稍微智办法找出面条线标记数点分开条线作分类器区分新数点标记
例中输入数表示量 x (x_1 x_2) 函数实现果线输出0线输出1
数学方法表示定义表示权重量 w 垂直偏移量 b然输入权重偏移结合传递函数：
传递函数结果输入激活函数中产生标记面例子中激活函数门限截止函数（某阈值输出1）：
训练
感知机训练包括训练样输入计算样输出次计算权重 w 调整化输出误差误差输入样标记值实际计算出值差出误差计算方法均方差等基原样
缺陷
种简单感知机明显缺陷：学线性分函数缺陷重？ XOR简单函数线性分类器分类（图示分隔两类点失败）：
解决问题种层感知机——前馈神网络：事实组合群样感知机创建出更强学机器
前馈神网络
神网络实际量前讲感知机进行组合方法进行连接作激活函数
简单介绍前神网络具属性：
输入层输出层隐含层图示神网络中三神元输入层四神元隐含层二神元输出层
神元文提感知机
输入层神元作隐含层输入时隐含层神元输出层神元输入
条建立神元间连接权重 w（感知机中提权重类似）
t 层神元通常前层（ t 1层）中神元连接（通条连接权重设0断开条连接）
处理输入数输入量赋输入层中例中网络计算3维输入量（3输入层神元）假输入量 [7 1 2]第输入神元输入7中间输入1第三输入2值传播隐含层通加权传递函数传隐含层神元（前传播）隐含层神元计算输出（激活函数）
输出层隐含层样进行计算输出层计算结果整神网络输出
超线性
果感知机线性激活函数会样？整网络终输出然输入数通线性函数计算遍网络中收集权值调整换名话说线性函数组合线性函数果限定线性激活函数话前馈神网络实感知机强里网络少层
正原数神网络非线性激活函数数函数双曲正切函数阶跃函数整流函数等非线性函数神网络学输入数线性组合
训练
数常见应层感知机监督式训练算法反传播算法基流程：
1训练样通神网络进行前传播计算
2计算输出误差常均方差：
中 t 目标值 y 实际神网络计算输出误差计算方法MSE（均方差）通常种较选择
3网络误差通机梯度降方法化
梯度降常神网络中输入参数训练误差曲线权重佳值应该误差曲线中全局值（图中 global minimum）训练程中权重非常步幅改变（样组样训练完成）找全局值容易训练通常会结束局部值（图中local minima）例子中果前权重值0604方移动
图表示简单情况误差赖单参数网络误差赖网络权重误差函数非常非常复杂
消息反传播算法提供种通利输出误差修正两神元间权重方法关系身十分复杂定结点权重修正方法（简单）：
中 E 输出误差 w_i 输入 i 权重
实质做目利权重 i 修正梯度方关键方误差导数定计算：样型网络中机结点中机权重求导数呢？
答案：通反传播误差首次计算简单（预期值实际值做差）然通种巧妙方法反传回网络效训练程中修正权重（期）达值
隐含层
隐含层十分趣根普适逼原理具限数目神元隐含层训练成逼意机函数换句话说层隐含层强学函数说明隐含层（深度网络）实践中更结果
隐含层存储训练数抽象表示类脑（简化类）保存真实世界抽象样接种方法搞隐含层
网络例子
通 testMLPSigmoidBP 方法Java实现简单(423)前馈神网络 IRIS 数集进行分类数集中包含三类鸢尾属植物特征包括花萼长度花瓣长度等等类提供50样神网络训练特征赋输入神元输出神元代表类数集（100 表示植物Setosa010表示 Versicolour001表示 Virginica）分类错误率2150（分类150错2）
规模网络中难题
神网络中隐含层：样更高隐含层里前隐含层构建新抽象前提样更学规模网络增加隐含层层数通常会导致两问题：
1梯度消失：着添加越越隐含层反传播传递较低层信息会越越少实际信息前反馈层次间梯度开始消失网络中权重影响会变
2度拟合：许机器学核心难题简说度拟合指训练数着识效果时导模型非常复杂样结果会导致训练数非常识较果真实样识效果非常差
面深度学算法面难题
编码器
数机器学入门课程会放弃前馈神网络实际里面——请接着
编码器典型前馈神网络目标学种数集压缩分布式表示方法（编码思想）
概念讲神网络目训练重新建立输入数输入目标输出数样换句话说：正神网络输出输入样东西压缩理解先例子
压缩输入数：灰度图
里28x28素灰度图组成训练集素值作输入层神元输入（时输入层会784神元）输出层神元相数目（784）输出神元输出值输入图应素灰度值相
样算法架构背神网络学实际训练数标记映射学数身结构特征（正隐含层称作特征探测器(feature detector)）通常隐含层中神元数目输入输入层少神网络学重特征实现特征降维
想中间层少结点概念层学数产生紧致表示方法
流行感
更描述编码器应
次简单数集中包括感症状果感兴趣例子源码发布里
数结构：
输入数六二进制位
前三位病证状例1 0 0 0 0 0 代表病发烧0 1 0 0 0 0 代表咳嗽1 1 0 0 0 0 代表咳嗽发烧等等
三位表示抵抗力果病代表太患病例0 0 0 1 0 0 代表病接种流感疫苗组合：0 1 0 1 0 0 代表着接种流感疫苗咳嗽病等等
病时拥前三位中两位时认生病果少拥三位中两位健康：
111000 101000 110000 011000 011100 生病
000111 001110 000101 000011 000110 健康
训练编码器（反传播）六输入六输出神元两隐含神元
百次迭代发现生病样输入时两隐含层神元中（生病样总）总显示出更高激活值果输入健康样时隐含层会显示更高激活值
学
质说两隐含神元数集中学流感症状种紧致表示方法检验真实现学度拟合问题通训练神网络学紧致简单高度复杂数集度拟合表示方法
某种程度讲说找种简单表示方法更尝试感觉学数
受限波尔兹曼机
步受限波尔兹曼机（Restricted Boltzmann machines RBM）种输入数集学概率分布生成机神网络
RBM隐含层见层偏置层组成前馈神网络见层隐含层间连接方性（值见层>隐含层隐含层>见层意传输）全连接（前层神元层神元连接——果允许意层意神元连接意层波尔兹曼机（非受限））
标准RBM中隐含见层神元二态（神元激活值服伯努力分布01）存非线性变种
然学者已研究RBM长时间出现差异监督训练算法领域复兴
差异
单步差异算法原理：
1正程：
输入样 v 输入输入层中
v 通种前馈网络相似方法传播隐含层中隐含层激活值 h
2反程：
h 传回见层 v’ （见层隐含层连接方样传）
v’ 传隐含层中 h’
3权重更新：
中 a 学速率 v v’ h h’ w 量
算法思想正程中影响网络部真实数表示时反程中尝试通影响表示方法重建数目生成数原数相似差异影响权重更新
换句话说样网络具感知输入数表示程度力尝试通感知力重建数果重建出数原数差异进行调整次重建
流行感例子
说明差异例相流感症状数集测试网络包含6见层神元2隐含层神元RBM差异方法网络进行训练症状 v 赋见层中测试中症状值重新传见层然传隐含层隐含层神元表示健康生病状态编码器相似
进行百次迭代编码器相结果：输入生病样中隐含层神元具更高激活值输入健康样神元更兴奋
深度网络
现止已学隐含层中强特征探测器——编码器RBM现没办法效利功实际面数集特定找方法间接探测出特征
消息已发现结构通栈式叠加实现深度网络网络通贪心法思想训练次训练层克服前提反传播中梯度消失度拟合问题
样算法架构十分强产生结果Google著名猫识实验中通特定深度编码器标记图片库中学猫脸识
面更深入
栈式编码器
名字样种网络栈式结合编码器组成
编码器隐含层 t 会作 t + 1 层输入层第输入层整网络输入层利贪心法训练层步骤：
1通反传播方法利数第层编码器进行训练（t1图中红色连接部分）
2训练第二层编码器 t2 （绿色连接部分） t2 输入层 t1 隐含层已关心 t1 输入层整网络中移整训练开始输入样数赋 t1 输入层通前传播 t 2 输出层面t 2权重（输入>隐含隐含>输出）反传播方法进行更新t 2层 t1 层样通样训练
3层重复步骤12（移前面编码器输出层编码器代反传播进行训练）
4步骤13称预训练网络里权重值初始化合适位置通训练没输入数输出标记映射例网络目标训练识手写数字样训练特征探测器输出（隐含层中编码器）应图片标记样通常办法网络层（蓝色连接部分）面加全连接层整网络作层感知机反传播方法进行训练（步称微调）
栈式编码器提供种效预训练方法初始化网络权重样训练复杂层感知机
深度信度网络
编码器样波尔兹曼机进行栈式叠加构建深度信度网络（DBN）
例中隐含层 RBM t 作 RBM t+1 见层第RBM输入层整网络输入层层间贪心式预训练工作模式：
1 通差异法训练样训练第RBM t1
2 训练第二RBM t1 t2 见层 t1 隐含层训练开始数赋 t1 见层通前传播方法传 t1 隐含层然作 t2 差异训练初始数
3 层重复前面程
4 栈式编码器样通预训练网络通连接层间全连接 RBM 隐含层进行扩展构成通反传僠进行微调层感知机
程栈式编码器相似RBM编码器进行换差异算法反传播进行换
卷积网络
文软件架构——卷积网络类特殊图识非常效前馈网络
深入实际卷积网络臆先定义图滤波器者称赋相关权重方阵滤波器应整图片通常应滤波器应四6x6滤波器张图片然输出中坐标（11）素值输入图左角6x6区域加权素
面基础介绍定义出卷积网络属性：
卷积层
输入数应干滤波器图第卷积层46x6滤波器图应滤波器结果称特征图谱（feature map FM）特征图谱数目滤波器数目相等果前驱层卷积层滤波器应FM相输入FM输出外FM直觉讲果权重分布整图特征位置关时滤波器分探测出特征
采样层
缩减输入数规模例输入32x32图通2x2采样16x16输出图意味着原图四素合成输出图中素实现采样方法种常见值合均值合机合
采样层（卷积层）通常连接全连层全连层输出终输出
训练程通改进反传播实现采样层作考虑素基值更新卷积滤波器权重
应 MNIST 数集卷积网络例子JavaScript实现视类似网络
实现
目前止已学会常见神网络中元素写少实现程中遇挑战
概括讲目标实现深度学库基神网络满足条件框架：
表示种模型通架构（文提神网络中元素）
种训练算法（反传播差异等等）
体面性
满足求软件设计中分层思想
结构
基础部分开始：
NeuralNetworkImpl 神网络模型实现基类
网络包含 layer 集合
层中 connections 链表 connection 指两层间连接整网络构成环图
结构典反馈网络RBM 更复杂 ImageNet 已足够灵活
结构允许 layer 成网络元素 Deep Belief Network（深度信度网络）中layer RBM 中
外通架构DBN预训练阶段显示栈式RBM列表微调阶段显示前馈网络非常直观程序实现
数流
部分介绍网络中数流两步程
定义出层间序列例层感知机结果输入数赋输入层（首先计算层）然数通方法流输出层反传播中更新权重输出误差通广度优先方法输出层传回层部分通 LayerOrderStrategy 进行实现应网络图结构优势图遍历方法中样例包含 广度优先策略 定位指定层层序列实际层间连接进行决定策略部分返回连接序列表
计算激活值层关联 ConnectionCalculator包含连接列表（步）输入值（层）计算结果激活值例简单S形前馈网络中隐含层 ConnectionCalculator 接受输入层偏置层值（分输入值值全1数组）神元间权重值（果全连接层权重值实际矩阵形式存储 FullyConnected 结构中计算加权然结果传S函数ConnectionCalculator 中实现转移函数（加权求卷积）激活函数（应层感知机数函数双曲正切函数应RBM二态函数）中部分通 Aparapi GPU进行计算利迷批次训练
通 Aparapi 进行 GPU 计算
前提神网络年复兴重原训练方法高度行化允许通GPGPU高效加速训练文中选择 Aparapi 库进行GPU支持
Aparapi 连接计算强加重限制：
允许原始数类型维数组（变量）
GPU运行程序调 Aparapi Kernel 类身成员函数
样部分数（权重输入输出数）保存 Matrix 实例里面部维浮点数组Aparapi 连接计算 AparapiWeightedSum （应全连接层加权求函数） AparapiSubsampling2D （应采样层） AparapiConv2D （应卷积层）限制通 Heterogeneous System Architecture 里介绍容解决Aparapi 允许相代码运行CPUGPU
训练
training 模块实现种训练算法模块赖文提两模块BackPropagationTrainer （训练算法 Trainer 基类）前馈阶段前馈层计算误差传播权重更新时特殊广度优先层计算
新工作Java8环境开发更新功branch 获部分工作快会merge干
结
文目标提供深度学算法领域简明介绍基组成元素开始（感知机）逐渐深入种前流行效架构受限波尔兹曼机
神网络思想已出现长时间天果身处机器学领域知道深度学相关知识应该应该度宣传否认着GPGPU提供计算力包括Geoffrey Hinton Yoshua Bengio Yann LeCun and Andrew Ng研究学者提出高效算法领域已表现出希现正佳时间深入方面学
卷积层激活层池化层全连接层深度解析卷积神网络原理
局部连接+权值享
全连接神网络需非常计算资源支撑做反传播前传播说全连接神网络存储非常参数果样果没达量级时候轻轻松松样全部记会出现拟合情况
应该神元神元间连接权重数降降保证较强学力纠结方方法局部连接+权值享局部连接+权值享仅权重参数降学力没实质降低外处面张图片：
图表示方式
张图片描述东西左边右边位置构建网络识东西时候应该结果够达目图片位置具相权重（权值享）面图片需训练集中放张神网络识出面权值享处
卷积神网络局部连接+权值享神网络
卷积神网络
现卷积神网络初步认识面具体讲解卷积神网络卷积神网络旧层级结构层功形式做改变卷积神网络常处理图片数识辆汽车：
卷积神网络结构
中数输入张图片（输入层）CONV表示卷积层RELU表示激励层POOL表示池化层Fc表示全连接层
卷积神网络输入层
图片输出神网络前常常先进行图处理三种常见图处理方式：
均值化：输入数维度中心化0样求求均然样减均值样均值
化：数幅度化样范围特征言范围[11]
PCA白化：PCA降维维度相关度取消特征特征间相互独立白化数特征轴幅度化
均值化化
相关白化
卷神网络卷积层：
图片性质做局部关联性质图片素点影响周边素点距离素点较远素点二者间关系性质意味着神元处理全局图片（层全连接）神元需层局部连接相神元扫描区域然许神元（神元权值享）合起相扫描全局样构成特征图n特征图提取图片n维特征特征图神元完成
卷积神网络中先选择局部区域（filter）局部区域（filter）扫描整张图片 局部区域圈起节点会连接层节点灰度图（维）举例：
局部区域
图片矩阵式矩阵排列节点展成量更出卷积层输入层间连接全连接图中红色方框称filter2*2尺寸固定指定尺寸
出前filter2*2窗口窗口会图片矩阵左角滑右角滑次会子圈起四连接层神元然产生四权重四权重(w1w2w3w4)构成矩阵做卷积核
卷积核算法学会层计算第二层0节点数值局部区域线性组合（w1*0+w2*1+w3*4+w4*5）圈中节点数值应权重相加
卷积核计算
卷积操作
前面说图片量表示保留图片面结构信息 样卷积输出图量排列方式丢失面结构信息 然矩阵方式排列图展示连接蓝色结点连接四黄色结点
卷积层连接方式
图片矩阵然卷积神网络层矩阵卷积核图片矩阵左角右角滑动滑动次然圈起神元会连接层神元形成参数矩阵卷积核次滑动然圈起神元连接层神元产生参数矩阵确样权值享
卷积核会扫描图片局部矩阵作产生值第次时候（w1*0+w2*1+w3*4+w4*5）filter左右程中会矩阵（层矩阵原）具体程示：
卷积计算程
图中左边图矩阵filter3*3第次滑动时候卷积核图片矩阵作（1*1+1*0+1*1+0*0+1*1+1*0+0*1+0*0+1*1）4会产生值值右边矩阵第值filter滑动9次会产生9值说层9神元9神元产生值构成矩阵矩阵做特征图表示image某维度特征然具体维度知道图颜色图轮廓等等
单通道图片总结：单通道图片卷积处理图片矩阵指定卷积核左角右角滑动次滑动圈起结点会层结点相连连接会形成局部连接条连接会产生权重权重卷积核次滑动会产生卷积核权值享卷积核样卷积核会断时卷积核圈起局部矩阵作次产生值层结点值样次产生值组合起特征图表示某维度特征左滑动右程中会形成特征图矩阵（享卷积核）左滑动右会形成特征图矩阵（享卷积核）特征图表示特征某维度
三通道图片进行卷积操作？
应该已知道单通道灰度图处理实际图片RGB图三通道时图卷积呢？
彩色图
filter窗口滑时候widthheight角度滑动没考虑depth滑动次实际产生卷积核享卷积核现depth3滑动次实际产生具三通道卷积核（分作输入图片蓝色绿色红色通道）卷积核通道核蓝色矩阵作产生值绿色矩阵作产生值红色矩阵作产生值然值加起层结点值结果矩阵张特征图
三通道计算程
想张特征图话新卷积核进行左右滑动样会形成新特征图
三通道图片卷积程
说增加卷积核会产生特征图总说输入图片少通道卷积核需应少通道层中卷积核少会产生少特征图样卷积输出作新输入送入卷积层中处理特征图depth层特征图相应通道卷积核应处理逻辑清楚需先解基概念：
深度depth（通道）：层滤波器数决定
步长stride：次滑动步步数越特征数越少面例子中次滑动1步
填充值zeropadding：设置步长某位置滑避免边缘信息步步舍弃问题需设置填充值解决问题问题4x4图片2x2filter卷积变成3x3图片次卷积会圈话干层岂变越越？zero padding时帮助控制Feature Map输出尺寸时避免边缘信息步步舍弃问题
卷积计算公式
4x4图片边缘Zero padding圈3x3filter卷积Feature Map尺寸然4x4变
填充
然5x5filte2zero padding保持图片原始尺寸3x3filter考虑素距离1素关系5x5考虑素距离2素关系
规律： Feature Map尺寸等
(input_size + 2 * padding_size filter_size)stride+1
卷积层作总结点：卷积层实提取特征卷积层中重卷积核（训练出）卷积核探测特定形状颜色度等然特征图保持抓取空间结构卷积核应特征图表示某维度特征具体什特征知道特征图作输入卷积话探测更形状概念说着卷积神网络层数增加特征提取越越具体化
卷积神网络激励层
面讲解激励层作激励层作理解卷积层结果做非线性映射
激励层
图中f表示激励函数常激励函数种：
常激励函数
先激励函数Sigmoid导数014
激励函数Sigmoid
Tanh激活函数：sigmoid相似会关x轴应某方面偏
Tanh激活函数
ReLU激活函数（修正线性单元)：收敛快求梯度快较脆弱左边梯度0
ReLU激活函数
Leaky ReLU激活函数：会饱者挂掉计算快计算量较
Leaky ReLU激活函数
激励函数技巧：般sigmoid首先试RELU快心点果RELU失效请Leaky ReLU某情况tanh倒错结果
卷积神网络激励层卷积层线性计算结果进行非线性映射面图中理解展示非线性操作应特征图中里输出特征图作修正特征图示：
非线性操作
卷积神网络池化层
池化层：降低特征图维度保持分重信息池化层夹连续卷积层中间压缩数参数量减拟合池化层没参数层结果做采样（数压缩）采样两种常方式：
Max pooling：选取定义空间邻域（2x2 窗口）窗口修正特征图中取出元素池化证明效果更
Average pooling：均定义空间邻域（2x2 窗口）窗口修正特征图算出均值
Max pooling
注意点：poolingdepth分开执行depth5话pooling进行5次产生5池化矩阵池化需参数控制池化操作分开应特征图五输入图中五输出图
池化操作
max poolaverage pool分信息舍弃部分信息舍弃会损坏识结果？
卷积Feature Map中识物体必冗余信息采样掉冗余信息会损坏识结果
卷积冗余信息产生？
知道卷积核找特定维度信息说某形状图中会方出现形状卷积核卷积程中没出现特定形状图片位置卷积会产生值值意义池化层作值掉话然会损害识结果
图中假卷积核探测横折形状 卷积3x3Feature Map中真正数字3节点余数值务言关 3x3Max pooling没横折探测产生影响 试想里例子中果Max pooling网络学 网络会学Max pooling似效果权重似效果增加更参数代价直接进行池化处理
池化处理
卷积神网络全连接层
全连接层中神元权重连接通常全连接层卷积神网络尾部前面卷积层抓取足识图片特征接进行分类 通常卷积网络会末端长方体摊成长长量送入全连接层配合输出层进行分类面图中进行图分类四分类问题卷积神网络输出层会四神元
四分类问题
卷积神网络输入层卷积层激活层池化层全连接层讲解卷积神网络认全连接层间做特征提取全连接层做分类卷积神网络核心
基机器学协滤算法完成电子商务网站商品推荐系统
现购买
协滤户做推荐包括：购物历史纪录户商品间般化关联关系显然户推荐商品时候果买件商品部分时买某物品必起买商品推荐时买件商品户商品时买历史购物记录里考虑样现购买概念
买尿布样买婴湿巾果刚刚买尿布现购买现象帮助做出推荐呢？
现矩阵
首先先现矩阵什样？
现矩阵
现矩阵称矩阵中行表示件商品行表示商品列样表示件商品列表示商品行i列j相交位置买商品i买商品j户数
称矩阵时买物品ij户数时买物品ji户数样买尿布商品应位置加1
现现矩阵已现现矩阵做商品推荐？
现矩阵做商品推荐
假设户刚买尿布找现矩阵尿布行该行提取出
现矩阵尿布行
然计数商品作推荐发现婴湿巾数量100商品推荐系统购买尿布推荐婴湿巾
现矩阵做商品推荐问题
果件商品非常流行会出现什问题？
家里婴户说婴尿布非常流行户购买婴类商品时候会购买尿布户说购买婴类产品（长颈鹿咀嚼器）时候系统会现矩阵中取出长颈鹿咀嚼器行：
现矩阵长颈鹿咀嚼器行
会发现尿布永远次数果推荐户话发现购买婴类产品会推荐尿布起正常缺乏性化淹没产品（说买尿布代表买长颈鹿咀嚼器户想买尿布）想克服问题更加性化需解决流行商品推荐力度强问题现矩阵正规化常常矩阵正规化方法做Jaccard相似度
现矩阵正规化
具体说时买商品ij数量买商品ij数量
现矩阵正规化
操作做Jaccard相似度局限性考虑前购买行根前户购买商品推荐考虑历史购买行想解决问题需购物历史加权重系数（购买设置权重买较时间长商品设置权重）然推荐商品分
说户A购买商品{尿布牛奶}现户A进行推荐模型浏览推荐A商品进行分
分
（S湿巾尿布）表示购买尿布湿巾数S（湿巾牛奶）表示购买牛奶湿巾数然进行求然求均结果推荐湿巾分系统需推荐分数高商品（里没购买商品设置权重）
里问题推荐根户系统时没考虑文（时间）没考虑户特征（年龄性）考虑户现矩阵没考虑商品特征
协滤算法
问题冷启动问题果新户者架新商品时候会遇冷启动问题
想解决问题需外种思路种思路考虑户考虑商品特征协滤算法
电影推荐系统举例电影特征分表示该电影中动作片爱情片喜剧片成分占少？
户应权重分表示该户动作片爱情片喜剧片喜爱权重户权重参数电影特征相该户电影预测评分
电影成分例
图部电影特征现两户：
户权重
推断出户该电影预测评分72外户该电影预测评分08然言该电影评分72户更值推荐（然电影评分高5分里便举例子）
知道户权重组装成权重矩阵（L）矩阵行表示户知道电影权重组装成矩阵（R）矩阵列表示电影两矩阵相行户列电影电影评分矩阵（绿色矩阵）
行户列电影矩阵
现问题知道户电影题知道矩阵L矩阵R尝试逆思维估计LR认模型参数
现数部分户部分电影评分面矩阵中黑色方块
缺失评分数
矩阵子分解模型
矩阵子分解模型
已知数估计出模型参数LR种方式称矩阵子分解模型
通LR评分电影进行评分预测种方法解决冷启动问题特征矩阵分解结合起
特征矩阵分解结合
特征时间东西户信息历史购买非常明显特征矩阵分解隐含特征
面冷启动问题仅仅通特征（年龄性）估计新户评分发现更信息矩阵分解方法发现题特征（学特征）样推荐时候学特征种理念基特定户特征模型矩阵分解模型特征结合起种非常普遍混合模型想法
推荐系统性度量
测量推荐系统性召回率准确率
商品
商品中推荐两字表示推荐商品着×表示推荐商品画着粉色方块表示户喜欢
召回率计算方式
推荐出喜欢物品带推荐+粉色方块全部喜欢物品带粉色方块
准确率计算方式
推荐出喜欢物品带推荐+粉色方块推荐物品带推荐标识
果系统推荐物品保证召回率1样准确率结果会非常显然推荐产品想法想法应该推荐产品正户喜欢
准确率召回率1
准确率召回率度量较会算法需画准确率召回曲线
准确率召回曲线输入输出
画出召回率曲线需变化推荐物品数阈值种推荐商品数设置计算准确率召回率图示
召回率曲线
优推荐系统样着推荐商品数量增加召回率准确率双双1
判断优算法
算法应准确率召回曲线时候根曲线判断算法呢？
三条准确率召回曲线
定准确率希召回率越高越（反然）假现三推荐算法产生三准确率召回曲线单度量标准：曲线面积（AUC）曲线面积
知道基协滤构造推荐系统通准确率召回曲线选择优推荐算法
神网络模型27种神网络模型简介
1Perceptron(P) 感知机
1感知机
感知机知道简单古老神元模型接收输入然加总通激活函数传递输出层
2Feed Forward(FF)前馈神网络
2前馈神网络
前馈神网络（FF）古老方法——种方法起源50年代工作原理通常遵循规：
1节点完全连接
2激活输入层流输出回环
3输入输出间层（隐含层）
数情况种类型网络反传播方法进行训练
3Radial Basis Network(RBF) RBF神网络
3RBF神网络
RBF 神网络实际激活函数径基函数非逻辑函数FF前馈神网络（FF）两者间什区呢？
逻辑函数某意值映射[0 1]范围回答否问题适分类决策系统适连续变量
相反径基函数显示距离目标远 完美适函数逼机器控制（例作PID控制器代）
简言RBF神网络实具激活函数应方前馈网络
4Deep Feed Forword(DFF)深度前馈神网络
4DFF深度前馈神网络
DFF深度前馈神网络90年代初期开启深度学潘拉盒子然前馈神网络止隐含层底什特殊性？
训练传统前馈神网络时层传递少量误差信息堆叠更层次导致训练时间指数增长深度前馈神网络非常实直00年代初开发系列效训练深度前馈神网络方法 现构成现代机器学系统核心实现前馈神网络功效果远高
5Recurrent Neural Network(RNN) 递神网络
5RNN递神网络
RNN递神网络引入类型神元——递神元种类型第网络称约旦网络（Jordan Network）网络中隐含神元会收固定延迟（次次迭代）输出外普通模糊神网络非常相似
然许变化 — 传递状态输入节点变延迟等思想保持变种类型神网络文重时候——迭代结果样产生决策会前产生影响常见文例子文——单词前面单词句子文中进行分析
6LongShort Term Memory (LSTM) 长短时记忆网络
6LSTM长短时记忆网络
LSTM长短时记忆网络引入存储单元特殊单元数时间间隔（滞）时处理数递神网络 通记住前十词处理文LSTM长短时记忆网络通记住许帧前发生事情处理视频帧 LSTM网络广泛写作语音识
存储单元实际元素组成称门递性控制信息记住遗忘
7Gated Recurrent Unit (GRU)
7GRU具门LSTM
GRU具门LSTM
听起简单缺少输出门更容易基具体输入重复次相输出目前模型声音（音乐）语音合成中
实际组合然点：LSTM门组合成谓更新门(Update Gate)复位门(Reset Gate)输入密切相关
LSTM消耗资源少相效果
8Auto Encoder (AE) 动编码器
8AE动编码器
Autoencoders动编码器分类聚类特征压缩
您训练前馈(FF)神网络进行分类时您必须Y类中提供X示例期Y输出单元格中激活 称监督学
方面动编码器没监督情况进行训练结构 隐藏单元数量输入单元数量（输出单元数量等输入单元数）时动编码器训练时输出接输入方式强制动编码器泛化数搜索常见模式
9Variational AE (VAE) 变分编码器
9VAE变分编码器
变分编码器般编码器相压缩概率特征
简单改变般编码器回答纳数？问题时变分编码器回答两件事情间联系强？应该两件事情间分配误差完全独立？问题
10Denoising AE (DAE) 降噪动编码器
10DAE降噪动编码器
然动编码器酷时找鲁棒特征适应输入数（实际拟合例子）
降噪动编码器（DAE）输入单元增加噪声 通机位改变数机切换输入中位等等通样做强制降噪动编码器点嘈杂输入重构输出更加通强制选择更常见特征
11Sparse AE (SAE) 稀疏编码器
11SAE稀疏编码器
稀疏编码器（SAE）外时候抽离出数中隐藏分组样试动编码形式结构AE样隐藏单元数量输入输出单元数量
12Markov Chain (MC) 马尔科夫链
12Markov Chain (MC) 马尔科夫链
马尔夫链（Markov Chain MC）较老图表概念端点存种性搭建单词hello00053％概率会出现dear003551概率出现you样文结构
马尔科夫链典型神网络作基概率分类（贝叶斯滤）聚类（某类言）作限状态机
13Hopfield Network (HN) 霍普菲尔网络
13HN霍普菲尔网络
霍普菲尔网络（HN）套限样进行训练相样已知样作出反应
训练前样作输入样训练中作隐藏样作输出样
HN试着重构受训样时候输入值降噪修复输入果出半图片数列学反馈全部样
14Boltzmann Machine (BM) 波尔滋曼机
14 BM 波尔滋曼机
波尔滋曼机（BM）HN非常相单元标记输入时隐藏单元隐藏单元更新状态时输入单元变成输出单元（训练时BMHN更新单元非行）
第成功保留模拟退火方法网络拓扑
层叠波尔滋曼机谓深度信念网络深度信念网络作特征检测抽取
15Restricted BM (RBM) 限制型波尔滋曼机
15 RBM 限制型波尔滋曼机
结构限制型波尔滋曼机（RBM）BM相似受限RBM允许FF样反传播训练（唯反传播数前RBM会次输入层）
16Deep Belief Network (DBN) 深度信念网络
16DBN 深度信念网络
前提样深度信念网络（DBN）实际许波尔滋曼机（VAE包围）连起（神网络训练时候）已学样式生成数
17Deep Convolutional Network (DCN) 深度卷积网络
17 DCN 深度卷积网络
深度卷积网络（DCN）工神网络星具卷积单元（者池化层）核种目
卷积核事实处理输入数池化层简化（数情况非线性方程max）减少必特征
通常做图识图片部分运行（约20x20素）输入窗口素素着图滑动然数流卷积层卷积层形成漏斗（压缩识特征）图识讲第层识梯度第二层识线第三层识形状类推直特定物体级DFF通常接卷积层末端方便未数处理
18Deconvolutional Network (DN) 卷积网络
18 DN 卷积网络
卷积网络（DN）DCN颠倒DN获取猫图片生成（狗：0蜥蜴：0马：0猫：1）样量DNC量画出猫
19Deep Convolutional Inverse Graphics Network (DCIGN) 深度卷积反转图网络
19 DCIGN 深度卷积反转图网络
深度卷积反转图网络（DCIGN）长DCNDN粘起完全样
事实动编码器DCNDN作两分开网络承载网路输入输出间隔区数种神网络作图处理处理前没训练图抽象化水高网络某事物张图片中移重画者名鼎鼎CycleGAN样匹马换成斑马
20Generative Adversarial Network (GAN) 生成抗网络
20 GAN 生成抗网络
生成抗网络（GAN）代表生成器分辨器组成双网络家族直相互伤害——生成器试着生成数分辨器接收样数试着分辨出样生成够保持两种神网络训练间衡断进化中种神网络生成实际图
21Liquid State Machine (LSM) 液体状态机
21 LSM 液体状态机
液体状态机（LSM）种稀疏激活函数阈值代（全部相连）神网络达阈值时候单元格连续样释放出输出中积累价值信息次部副设零
种想法脑神网络广泛应计算机视觉语音识系统目前没重突破
22Extreme Learning Machine (ELM) 极端学机
22ELM 极端学机
极端学机（ELM）通产生稀疏机连接隐藏层减少FF网络背复杂性需更少计算机量实际效率程度取决务数
23Echo State Network (ESN) 回声状态网络
23 ESN 回声状态网络
回声状态网络（ESN）重复网络细分种类数会输入端果监测进行次迭代（请允许重复网路特征乱入）隐藏层间权重会更新
24Deep Residual Network (DRN) 深度残差网络
24 DRN 深度残差网络
深度残差网络（DRN）输入值部分会传递层特点做深层级（达300层）事实种没明确延时RNN
25Kohonen Network (KN) Kohonen神网络
25 Kohonen神网络
Kohonen神网络（KN）引入单元格距离特征数情况分类种网络试着调整单元格某种特定输入作出反应单元格更新 离单元格会更新
SVM样网络总认真正神网络
26Support Vector Machine (SVM)
26 SVM 支持量机
支持量机（SVM）二元分类工作网络处理少维度输入结果会否
SVM情况做神网络
27Neural Turing Machine (NTM) 神图灵机
27NTM 神图灵机
神网络黑箱——训练结果增强实际决定路径数见
神图灵机（NTM）尝试解决问题——提取出记忆单元FF作者说抽象版LSTM
记忆容编址网络基现状读取记忆编写记忆代表图灵完备神网络
着路线图起遨游机器学世界
路线图
机器学里？
流行语什意思？
类学？
电脑学？
什监督学运作？
什监督学工作？
里开始达里？
目标
首先机器学蕴含着涵非常复杂然数学严格分解成数学术语时非常简单旦真实世界例子样直话会变更加简单目标教代数基解疯狂东西运作
机器学里？
1959年IBM工作期间美国计算机游戏工智领域先驱亚瑟·塞缪尔创造机器学词接十年里计算机科学领域直生活公司学许研究实验室中直2010年左右时企业开始意识深度学价值预测企业政府产生量数集中见解时应
值注意根斯坦福学GSB控制数该领域许进展学术界公司部取
流行语什意思？
围绕工智兄弟机器学流行语列表似天增长理解切想象切里第原层面深入探讨点
述许领域类天做事情关：学处理语言（听）谈话（语音）计划（优化）移动（机器）（视觉）
偶然 AI种子植根神网络神网络种数学模型类思维（神元）第原理转化数学然转化计算机该数学解释请参阅面视化现担心理解
重解三题彼非常：
数科学 产生见解
机器学 产生预测（基统计概率）
工智 产生行动
三领域类学方式重叠
您收集信息获见解
您根您知道数做出预测
您根类操作产生您想想结果性执行操作
重注意基义词现已拥超级高度水深入解类计算机学间相似点点
类学？
类通特传感器收集数：眼睛耳朵鼻子舌头然脑解释数根数做出决定第原层面决定身体化学物质终神系统决定控制思想感受动作素决定外部结果结果通周围世界收集感官数脑表达感知种感官数会影响感受进影响思维脑情感部分古老影响力事实
例童第次接触熨斗样铁热物时会避免接触感受烧灼感觉疼痛
铁时会学会避免熨斗样热物感受烧灼感觉疼痛通常情况会哭助认识果想发生样情况做样决定称学反馈环
许例推断例子类学决策导致良结果决策导致良结果基构建块定程度监督机器学
父母教孩子做事时类监督学种监督学孩子灌输数影响决策出现错误时修复错误
例父母教孩子骑行车
首先父母孩子展示身体放行车
接父母教会孩子学会踩踏行车做点必须踏板施加力克服行车惯性状态踏板力推动行车移动前行走
假设孩子前次停止踩踏会行车掉会受伤会感痛苦会感害怕
前面提数会告诉孩子脑果踏板踏次行车学会
父母会进告诉孩子继续踩踏学模式反馈种数输入视觉音频物理混合父母直观展示该做什告诉孩子该做什帮助执行动作
终孩子会连续失败中学会骑行车旦学会骑行车永远会忘记孩子脑会套发达指令完成骑行车目标类高层次学项务方式计算机学方式相似
数学中种通误差法试验称梯度降快
身体利神元收集信息然次神元传递周围世界动作计算机面展示数学模型特（10）形式收集信息做出决定
电脑学？
现代计算机类处理二进制数必须告知组非常具体指令操作孩子出生时没移动吃饭哭泣指令预先编程够做事情没基指令集计算机计算机通类推理婴具子宫行计算机BIOS类似者生命中基指令集（计算机机箱开时）唯区BIOS必须编写类100％确定里开始预先编程重点
简单说计算机通机器学学三种方式（i）模型（ii）参数（iii）学者
模型 进行预测识系统
参数 模型形成决策信号素
学者 通观察预测实际结果差异调整参数进调整模型系统
假装名新老师希确定学生应该学佳时间便考试中获佳成绩样信息放教授第二堂课教学纲中
切始模型称机器学系统预测形式称假设：
接ML（机器学）模型创建数学公式模拟数中关系
现学生第年结束时收考试成绩输入模型测试假设结果发现模型合适输入数称训练集
模型中严重误差范围学生学4时
述计算结果意味着算法高估学生分数学者需调整预测
面图表中出关键精度指标低假设存计算误差范围
调整预测结果：
第二次迭代假设
现系统次运行次组新分数学者真实分数修正模型进行较
次获相高精确度：
模型精确机器学算法继续运行直接绝精度
行车孩子例子样种梯度降方法完全弥补机器学中切酷？
现您已解机器学非常简单实示例中运行机器学两构建块：
监督学（）
监督学
什监督学运作？
监督学赖监督者（）解决两类问题：分类（相似性分组）回（根系列独立输入制定定量输出）
分类：基定义特征相似象进行分组
回：变量相关变量
果您熟悉独立变量变量请继续阅读果没篇作品外行术语描述面部分非常相关果两含义点模糊请花点时间阅读
监督机器学运作？
您需解SML（监督机器学）程中四部分讨计算机学前部分非常相似进步进入数学部分详细介绍关键部分
数准备 准备数完成工作
训练 建立数学模型
测试调整 根想容评估输出分根良结果更改模型示例中介绍点会次讨
数准备：
位优秀工程师正评估数集三方面：偏斜分布数集均值中值模式
偏斜数集种遵循谓正态分布数集基意味着果创建数集视化您拥视觉称衡山状仅仅通视觉表现判断数集效更简单方法判断
称分布中您均值（数字总您总数量）等您中位数（果您前面面迭代中间数字）等您模式（常见数字）
数集满足标准绝重果样基会毫价值ML模型没样化数集情况达高精度
训练：
部分节介绍模型参数学者相想直观展示结果什样样您查机器学模型通分析结果朋友留深刻印象
展示例子前非常重概念需理解差异方差衡量模型新数敏感程度指标差异结果机器学说真糟糕实际意味着已构建真空中工作软件换句话说没采理数学法理数学转换现实世界程中考虑参数
Underfit：
低方差高偏差
意味着模型具良数运行公式太愚蠢需考虑更事情谓偏见偏见模型忽略应忽视事物
模型太简单异常数点
模型太简单没正确分类
度拟合：
高差异低偏差
数时会发生种情况干净利落没样化数集存偏差然该模型太愚蠢更选择训练算法数集问题监督机器学算法常见结果
高方差点均值差异
高方差点均值分布太
超级监督机器学
什监督学工作？
名字样监督种类型机器学涉少类参然数需清理呈现
中种方法电子商务公司拥量关客户数包括潜客户前客户家公司希找新客户服务产品通量数集包含某解信息公司数集应监督学找客户销售新方法时寻找新产品销售客户
实现目流行算法 kmeans聚类：
前聚类时例子进行分类时根否相形状象进行分组根否效形状
监督学聚类应中数基相似程度该数属类（称标记）分组起
例面绘制聚类图中您根花花瓣宽度进行分组赖花型
样化数集您拥根象象进行分组模型您终结果中推断出见解
洞察力模型公司追求素终推断出客户提供新产品
果您数集结果显示群（样性定义年龄种族教育收入理区域等）知道月花少钱购买产品根月花费金额素会根产品进行分组
接您出售支出集群中购买更产品理应程序会增加公司销售额您合理假设新产品中终会出售客户
kmeans聚类工作？
第1步：根意指标数分成集群（例子中某公司月花费作集群指标）拥组数字母K表示量化数字名称kmeans聚类
设置点
步骤2：选择位聚类中心k点聚类中间点
第3步：初设置k点移动新点通测量点距离初设置中心距离计算新点代数中学方便花花公子测量称欧里德距离者更简单术语毕达哥拉斯定理
现新点移动集群中心注意：新点会移动距离原点点群集单数点
聚合原始点数集中点距离找具总群集（例子中定义3点）（总定义距离加数字）旦知道聚类中接聚类知道新点聚类区域没告诉究竟需准确移动新点位置
第4步：计算想移动新点位置必须计算集群中点均值前述均值点值总点数
点移动（定性估计）
步骤5：真正步骤步继续运行算法中前面步骤直够点位置移动利移动集群换句话说非群集距离均值前计算更否会改变点
先退步必须先解释程（算法）然说明观点便消困惑
记说开始时选择k点作开始基础？
监督学全部意义告诉没意识类见解果改变次迭代中k点位置高精度做点
简单说明发生什k点述步骤完成会发生变化会直样做直方放置三点边缘情况简洁忽略
什公司付钱工程师运行算法呢？
算法结束时终集群选择寻找参数（评估属性）佳结果
集群中样输出例：
卫名26岁男性住旧金山优步工作月花费100美元买衣服通常会购买Clarks皮靴
Melanie名19岁女性住纽约市非盈利组织工作月花150美元买衣服通常买AG牛仔裤
Marcus名40岁男性住德克萨斯州奥斯汀埃克森美孚工作月花50美元买衣服通常买Carhart T恤
苏珊名25岁女性住华盛顿州西雅图亚马逊工作月花200美元买衣服通常买Frame牛仔布
四似没处实际市场找购买方拥商品甚知道想商品没广告没告诉
吧卫马库斯着梅兰妮苏珊类似消费惯城市工作年龄
通分析数公司根刚刚生成类似购物者洞察力提供广告会客户购买该商品展示广告时获量化转化率
数学模型部署工程师花费少量资金建造维护相潜处规模您会销售额超构建模型成
什公司kmeans样监督学模型道理
里里？
信信触机器学皮毛果面AI快会发现真涉超级高级话题
机器学中趣话题图中东西NLP（然语言处理）亚马逊Alexa处理您说CV（计算机视觉）机场扫描员通安检时查否观察名单然更
推荐系统风控模型知识图谱竟然网络挖掘实现
提社交网络分析推荐系统风控模型名词相信陌生社交网络分析非 Pandas+Matplotlib推荐系统概率余弦相似性协滤风控 LR（逻辑回）XGBoost 成熟模型占
许知道似相甚远社交网络分析推荐系统金融风险预测网络挖掘思想实现网络挖掘应领域搜索引擎知识图谱城市计算等
什网络挖掘
实般意义数挖掘数分析殊途通挖掘分析方法获取数中包含信息知识
般意义数挖掘通算法模型（常回分类聚类模型）进行描述预测网络挖掘出新解决方式
通数问题抽象网络模型帮助更进行数分析数挖掘
什抽象网络模型？社交网络中通常寻找具传播力V般说非户粉丝数排序
网挖掘思路太样通构建户相互关注网络模型寻找出V里关注信息传播中真正影响力（时候粉丝定具传播力）
外网络中组群（爱群体）分布密度等等宏观帮助分析整数样中关系
基社交网络组群发现
说网络挖掘基描述性统计方面更进步关键节点识组群发现某种程度发现做般描述性分析深刻洞见
网络模型实现
网络挖掘非问题抽象网络模型进行分析网络建模说解节点连边节点重性中心性关键指标节点间关系传递性相似度着重意义
网络相似衡量指标：节点度数分布聚类系数均路径长度等等
网络节点连边
然更重面真实问题者数时候实际问题抽象网络模型称问题形式化
领域通常构建样网络
样份数（Stack Overflow 户技数）技间连线值表示技间相关性权重
根技间关系构建网络模型着网络吓实networkx（Python库）构建行代码事情
通网络模型发现意思事情苹果系开发技（iosmac）聚块windows 系开发聚块网页开发社区果社区链接定相通技 LinuxGitPython 等
然网络模型探索开始续意思问题（帮助发现更知识应业务模型中）：
链路预测（短路径）
关键节点挖掘（寻找权威节点）
网络遍历（搜索检索）
社区发现（组群画）
相似节点挖掘（相似性推荐）
网络挖掘应
网络挖掘户画商品推荐金融风险评估城市交通优化流言信息传播等方面着广泛应业务般数挖掘方法效果佳加入网络模型幅提升说网络挖掘应舞台限宽广……
网页排序
谷歌 PageRank身构建庞网页网络模型基础（网页节点超链边）通计算网页中心度（权重）网页进行排序实现更加精准搜索推荐
社交网络分析
社交网络天然适合构建网络模型进行分析信息传播预测影响力分析社交组群发现友推荐户画等等单独出体体出发现样东西某种程度说社交网络分析建立网络模型分析基础
推荐系统
传统协滤算法基思想目标户选择相似性度较高户喜欢商品推荐目标户网络模型加入（友网络商品网络）程度解决样性问题冷启动问题社会推荐问题提升某场景推荐精度
知识图谱
网络挖掘知识图谱中发挥着重作遍历路径探寻关键节点挖掘等PatientsLikeMecom 病病症医院医生药品等等医疗数组织成知识图谱图谱医生搜索家族病史网络查询相似病例解决方案病搜索疾病相关病症药品医生相似病例等
网络挖掘实强化数分析挖掘技种全新视角探索更全面宏观网络知识体间关系
深入剖析机器学中统计思想
现机器学中家达成识 果机器学方法懂基础原理解释性件非常怕事情
统计强调推理机器学强调预测执行统计信息时需推断生成数程 进行机器学时想知道什样变量预测未会什样子
统计思想视角解数分布评估种结果概率理解数生成程模型解释性关注重点机器学更关注预测准确性知道模型实际应光准确性够类现没非常成功机器（系统）工作解释机器学中统计思想应非常重
统计学计算机学家争
原统计统计系机器学计算机系两相互相认方价值专注机器学计算机学家认统计理没解决问题统计学家认计算机学家重新建造轮子没新意
然着机器学迅猛发展统计学家认识计算机学家正做出贡献计算机学家认识统计理方法普遍性意义
Boosting SVM 稀疏学机器学界统计界二十年活跃方实二者相辅相成结果SVM理实早Vapnik等提出计算机界发明效求解算法非常实现代码陆续开源家SVM变成分类算法基准模型
机器学家通常具强计算力解决问题直觉统计学家长理分析具强建模力两者互补性
两者融合必然趋势
统计思想机器学巨贡献
清楚知道机器学应中迅猛发展工智具体落角台前英雄统计幕推动者
机器学数建模计算机科学观点侧重算法方法模型技
统计学数建模数学视角侧重模型参数准确估计模型效性拟合优度
机器学度关注预测准确性缺乏完全发展推理概念
1）似没认识预测（参数估计等）会受机误差系统误差（偏差）影响统计学家会接受预测中避免部分会尝试估计错误统计技术尝试找具偏差机误差估计
2）机器学中似没深入理解模型应分布群体新样限制划分训练集测试集实际源统计思想交叉验证惩罚方法指导简约性模型复杂性间达权衡早已统计中非常广泛手段部分机器学业者指导原似更时
机器学业者必须保持开放思维利方法应统计统计学密切相关领域中理解术语实际中充分应统计思想更机器学应实践中
正化：统计中惩罚思想
机器学中正化SVM中接触惩罚方法没学统计会感觉陌生实统计中常方法光滑样条Smooth Spline通二阶导数进行惩罚控制拟合曲线光滑程度LASSORidge regression回
惩罚核心目限制参数空间降低模型复杂度惩罚身反应应统计问题某种先验知识惩罚独特概率解释假设高斯噪声线性模型中LASSOL1惩罚相回参数加Laplace prior岭回Ridge regression中L2惩罚应般normal prior
SVM硬间隔支持量机中间隔身代表距离非负图示红色绿色两噪声点会整问题解引入惩罚子（松弛变量）种统计学中思想SVM容错力更鲁棒
线性回：机变量离差方
机器学前线性回实已统计学中方法果理解线性回算法果数拟合机器学视角问题觉太简单甚理解深刻统计视角会发现简单意义统计思想：
1机变量
Y Xβ+ε
Y X线性函数(部分)加误差项线性部分反映X变化引起Y变化误差项ε机变量般均值零高斯分布反映XY间线性关系外机素Y影响XY间线性关系解释变异性理解机变量真正理解拟合优度目标
2离差方
总离差方反映变量n观察值均值总误差
回方反映变量x变化变量 y 取值变化影响者说xy间线性关系引起y取值变化称解释方
残差方反映x外素 y 取值影响称解释方
注意：离差方公式均值零机变量误差推导
朴素贝叶斯：贝叶斯定理
朴素贝叶斯算法体现统计学思想更：
①贝叶斯定理②特征条件间相互独立假设
涉统计概率相关概念：条件概率联合概率分布先验概率验概率独立性
交叉验证：重采样方法
交叉验证质说重采样方法思想起源统计学交叉验证准确度解释模型正确概率相关东西
交叉验证数充足时候
样数进行切分组训练集测试集某次训练集中某样次成测试集中样谓交叉
支持量机：统计学理
支持量机产生源统计学理突破
统计学理种研究训练样限情况机器学规律学科换句话说统计学理中学统计性通限样否学中规律？
统计学理产生前机器学中统计学中关估计致性偏性估计方差界等分类错误率等渐性特征实际应中满足种问题高维空间时尤
万普尼克建立基统计学机器学理统计方法纳学等机器学方法
（1）结构风险验风险置信风险
（2）验风险化纳原致致性样数量趋穷时样点数限情况仅仅验风险似期风险十分粗糙结构风险期风险界
基理支持量机数学基础非常完备闪烁着统计思想火花机器学理界应领域极贡献
贝叶斯估计：足够观察数会分布更加真实
贝叶斯估计中统计思想：
贝叶斯定理
观察数足够观察数会估计更加符合数真实分布
已P（Θ）先验分布代表参数真实价值信念分布代表出售冰淇淋概率法样
左侧P（Θ|data）称验分布计算右侧容观察数考虑表示参数值信念分布
P（data|Θ ）似然分布般高斯分布（dataμσ）
通提供参数先验信念计算出验分布
两观察点拟合情况：
10数观察点贝叶斯估计拟合情况：
高斯程：统计中高斯分布贝叶斯定理观察数均值方差意义
分布：高斯分布实际中广泛存
贝叶斯定理：先验概率关事件发生概率猜测开始然观察前事件发生似然（性）根发生事情更新初始猜测 更新先验概率称验概率
预测新数点y值概率视角条件概率预测历史数XY值条件前y概率分布
分布均值：y*佳估计
GP建模中关键假设数表示元高斯分布样
条件概率p（y* | y）感兴趣：定数y *特定预测性？ 条件概率然遵循高斯分布（推导程略）：
y*佳估计种分布均值：
分布方差：估计确定性度量
估计确定性方差出：
CNN已老GNN清华学孙茂松组文综述GNN
文带解UCI数库Python API通实际案例拆解讲解代码
[ 导读 ]深度学法进行果推理图模型(GNN)解决方案清华学孙茂松教授组发表综述文全面阐述GNN方法应提出表征种GNN模型中传播步骤统表示文中图表建议高清印塑贴放手边作参考
深度学软肋什？
问题回答仁者见仁图灵奖Judea Pearl概999率会说法进行果推理
问题业界正进行积极探索中前景方图神网络(Graph Neural Network GNN)
清华学孙茂松教授组 arXiv 发布文Graph Neural Networks A Review of Methods and Applications作者现GNN模型做详全面综述
图神网络连接义符号义机结合仅深度学模型够应图种非欧里德结构深度学模型赋予定果推理力文第作者周界说
深度学方法鲁棒性解释性受质疑天图神网络工智发展提供行方
GNN深度学领域受广泛关注然想快速解领域研究员说会面着模型复杂应门类众问题
文希读者提供更高层次视角快速解GNN领域模型动机优势周界告诉新智元：时通应进行分类方便领域研究者快速解GNN应领域文献
毫夸张说文中图表想解学GNN果推理等方研究者说简直应该高清印塑然贴墙作参考——
GNN种变体通 aggregator & updater轻松分辨GNN模型篇综述强图表示例
想快速解GNN篇文章绝没错
容模型方面文GNN原始模型构建方式存问题出发介绍进行改进GNN变体包括处理图类型进行高效信息传递加速训练程介绍年提出通框架总结概括现方法具较强表达力
应文章GNN应领域分结构化场景非结构化场景场景介绍诸物理化学图文图生成模型组合优化问题等典GNN应
典型应场景介绍
文章提出四开放性问题包括处理堆叠层GNN造成滑问题处理动态变化图结构通方法处理非结构化数扩展更规模网络
作者整理GNN文列表：httpsgithubcomthunlpGNNPapers
篇综述部分摘译点击阅读原文查 arXiv 文
原始GNN局限性
GNN概念首先F Scarselli等文The graph neural network model（F Scarselli et al 2009）中提出里描述原始GNN列举原始GNN表示力训练效率方面局限性
接着介绍种GNN变体变体具图形类型利传播函数训练方法
介绍三通框架分message passing neural network (MPNN)nonlocal neural network (NLNN)graph network(GN)MPNN结合种图神网络图卷积网络方法NLNN结合种selfattention类型方法图网络GN概括文提图神网络变体
图神网络
前述图神网络(GNN)概念早Scarselli等2009年提出扩展现神网络处理图(graph)中表示数图中节点特性相关节点定义
然实验结果表明GNN建模结构化数强架构原始GNN存局限性
首先固定节点原始GNN迭代更新节点隐藏状态低效果放宽固定点假设设计层GNN节点邻域稳定表示
次GNN迭代中相参数数流行神网络层中参数种分层特征提取方法外节点隐藏状态更新序程RNN核(GRU LSTM)中获益
第三边法原始GNN中建模信息特征外学边隐藏状态重问题
果焦点放节点表示图形适合固定点固定点表示分布数值滑区分节点信息量较少
图神网络变体
节提出图神网络种变体首先图类型运行变体变体扩展原始模型表示力次列出传播步骤进行修改（卷积门机制注意力机制skip connection）种变体模型更学表示描述高级训练方法标题方法提高训练效率
图2概述GNN变体
览GNN变体
图类型(Graph Types)
原始GNN中输入图带标签信息节点边组成简单图形格式然世界许图形里介绍建模类型图形方法
图类型变体
图(Directed Graphs )
图形第变体图边作两边表明两节点间存着关系然边边带更信息例知识图中边head实体开始tail实体结束head实体tail实体父类表明应该区父类子类信息传播程图实例ADGPM (M Kampffmeyer et al 2018)
异构图(Heterogeneous Graphs)
图第二变体异构图异构图种类型节点处理异构图简单方法节点类型转换原始特征连接onehot特征量异构图GraphInception
带边信息图(Edgeinformative Graph)
图外变体条边信息权值边类型例G2SRGCN
训练方法图变体
训练方法变体
传播步骤进行修改GNN变体
传播步骤变体
GNN三通框架
图神网络变体外介绍通框架旨模型集成框架中
J Gilmer等(J Gilmer et al 2017)提出消息传递神网络(message passing neural network MPNN)统种图神网络图卷积网络方法
X Wang等(X Wang et al 2017)提出非局部神网络(nonlocal neural network NLNN)结合种selfattention风格方法
P W Battaglia等(P W Battaglia et al 2018)提出图网络(graph network GN)统统MPNNNLNN方法许变体交互网络(Interaction Networks)神物理引擎(Neural Physics Engine)CommNetstructure2vecGGNN关系网络(Relation Network)Deep SetsPoint Net
尚未解决问题
GNN领域取巨成功值注意GNN模型条件图务提供令满意解决方案里陈述开放性问题供进步研究
浅层结构
传统深度神网络堆叠数百层获更性更深结构具备更参数显著提高网络表达力然GNN总浅数超三层
实验显示堆叠GCN层导致度滑说顶点收敛相值研究员设法解决问题然GNN局限设计真正深度GNN未研究说令兴奋挑战进步深入理解GNN做出相贡献
动态图形具挑战性问题处理具动态结构图形静态图总稳定进行建模行动态图引入变化结构边节点出现消失时GNN适应做出改变目前动态GNN研究积极进行中认般GNN具备稳定性适应性重里程碑
非结构性场景
讨GNN非结构场景中应没找原始数中生成图佳方法图域中研究利CNN获取特征图然进行采样形成超素作节点直接利象检测算法获取象节点文域中研究句法树作句法图研究采全连接图关键找图生成佳方法GNN更广泛领域发挥更作
扩展性问题
嵌入式算法应社交网络推荐系统类规模网络环境图形嵌入算法面致命问题GNN例外GNN进行扩展困难涉中许核心流程数环境中消耗算力
种困难体现方面：首先图数规节点邻域结构批量化处理次存节点边数量达数百万时计算图拉普拉斯算子行外需指出扩展性高低决定算法否够应实际场景目前已研究提出解决问题办法正密切关注新进展
结
年中GNN已成图领域机器学务强实工具进展赖表现力模型灵活性训练算法进步文中图神网络进行全面综述GNN模型引入图类型传播类型训练类型分类GNN变体
外总结统表示GNN变体通框架应程序分类方面GNN应程序分结构场景非结构场景18场景然场景中应程序进行详细介绍提出四开放性问题指出图神网络挑战未研究方包括模型深度扩展性动态图处理非结构场景处理力
Python进行监督学种热门聚类算法
监督学机器学技术中类发现数中模式文介绍Python进行监督学种聚类算法包括KMeans聚类分层聚类tSNE聚类DBSCAN聚类等
监督学机器学技术中类发现数中模式监督算法数没标注意味着提供输入变量（X）没相应输出变量监督学中算法发现数中意义结构
Facebook首席AI科学家Yan Lecun解释说监督学——教机器学需明确告诉做件事情错真正AI关键
监督学 VS 监督学
监督学中系统试图前出例子中学反监督学中系统试图出例子中直接找模式果数集标记监督问题果数集标记监督问题
图左边监督学例子 回技术寻找特征间佳拟合线监督学中输入基特征分离预测取决属聚类（cluster）
重术语
特征（Feature）
：进行预测输入变量
预测（Predictions）
：提供输入示例时模型输出
示例（Example）
：数集行示例包含特征标签
标签（Label）
：特征结果
监督学做准备
文中Iris数集（鸢尾花卉数集）进行第次预测该数集包含150条记录组数5属性——花瓣长度花瓣宽度萼片长度萼片宽度类三类分Iris Setosa（山鸢尾）Iris Virginica（维吉尼亚鸢尾）Iris Versicolor（变色鸢尾）监督算法出鸢尾花四特征预测属类Python中sklearn Library加载Iris数集matplotlib进行数视化代码片段
紫罗兰色：山鸢尾绿色：维吉尼亚鸢尾黄色：变色鸢尾
聚类（Clustering）
聚类中数分成组简单说目具相似特征组分开组成聚类
视化示例：
图中左边图未完成分类原始数右边图聚类（根数特征数进行分类）出预测输入时会根特征属聚类中进行检查做出预测
Python中KMeans聚类
KMeans种迭代聚类算法目次迭代中找局部值首先选择需数量聚类已知道涉3类通参数n_clusters传递KMeans模型中数分组3类
现机三点（输入）分成三聚类基点间质心距离定输入分需聚类然重新计算聚类质心
聚类质心特征值集合定义生成组检查质心特征权重定性解释聚类代表什类型组
sklearn库导入KMeans模型拟合特征进行预测
Python中K Means实现：
分层聚类
顾名思义分层聚类种构建聚类层次结构算法该算法分配cluster数开始然两cluster加入cluster剩cluster时算法结束
分层聚类完成树状图表示面分层聚类例子 数集里找：httpsrawgithubusercontentcomviharunsupervisedlearningwithpythonmasterseedslessrowscsv
Python中分层聚类实现：
K Means聚类分层聚类区
分层聚类处理数K Means聚类K Means时间复杂度线性O（n）分层聚类时间复杂度二次O（n2）
K Means聚类中聚类意选择开始时次运行算法产生结果会结果分层聚类中重现
聚类形状超球形时（2D中圆形3D中球形）K Means聚类更
KMeans聚类允许嘈杂数分层聚类中直接嘈杂数集进行聚类
tSNE聚类
tSNE聚类视化监督学方法tSNE表示t分布机邻嵌入高维空间映射视化23维空间
具体言通二维点三维点高维象进行建模相似象附点建模相似象概率远离点建模
Python中tSNE聚类实现数集Iris数集：
里Iris数集具四特征（4d）变换二维图形表示类似tSNE模型应具n特征数集
DBSCAN聚类
DBSCAN（DensityBased Spatial Clustering of Applications with Noise具噪声基密度聚类方法）种流行聚类算法作预测分析中 Kmeans代求输入聚类数值运行作交换必须调整两参数
scikitlearn实现提供epsmin_samples参数默认值参数通常需调整eps参数邻域中考虑两数点间距离min_samples参数认聚类邻域中数点量
Python中DBSCAN聚类：
更监督技术：
成分分析（PCA）
异常检测（Anomaly detection）
动编码（Autoencoders）
深度置信网络（Deep Belief Nets）
Hebbian Learning
生成抗网络（GAN）
组织映射（SelfOrganizing maps）
文档香网(httpswwwxiangdangnet)户传
《香当网》用户分享的内容，不代表《香当网》观点或立场，请自行判断内容的真实性和可靠性！
该内容是文档的文本内容，更好的格式请下载文档
