如何创造性地应用深度学习视觉模型于非视觉任务


    创造性应深度学视觉模型非视觉务 2
    深度学图超分辨率重建中应 8
    前言 8
    1SRCNN 8
    2 DRCN 9
    3 ESPCN 10
    4 VESPCN 12
    5 SRGAN 13
    RGRBM作粗粒度程 16
    精确 19
    重整化群理:鸟瞰图 19
    物理学中旋转概念 19
    重整化数学 20
    变分重整化组(VRG) 23
    RBM简总结 24
    完全映射RGRBM 26
    应伊辛模型 26
    结展 27
    深度学练记录:生成钢琴音乐? 29


    创造性应深度学视觉模型非视觉务
    导读
    众周知目前深度学计算机视觉领域已应落加迁移学容易训练出视觉务模型现实中务原始数非视觉类型面样问题强深度学视觉模型文作者3具体案例展示切
    介绍
    年深度学已彻底改变计算机视觉迁移学优秀学资源数天甚数时利预先训练模型应领域获先进结果着深度学变商品化需求变成领域创造性应
    迁移学教程:httpsmachinelearningmasterycomtransferlearningfordeeplearning深度学教程:httpscoursefastai
    天计算机视觉领域深度学已程度解决视觉象分类目标检测识问题领域深度神网络表现优类
    数视化然利深度学视觉模型指CNN做点必须数非视觉型转换图然某针图预训练模型处理数会种方法强感惊讶
    文中介绍3创造性深度学案例展示公司深度学视觉模型应非视觉领域案例中会非计算机视觉问题进行转换说明便利适图分类深度学模型
    案例:石油工业
    石油工业中磕头机常开采石油天然气连接游梁发动机提供动力游梁发动机旋转运动转化抽油杆垂直复运动抽油杆泵样油输送表面

    磕头机称抽油机源:
    httpscommonswikimediaorg
    复杂机械系统样抽油机容易发生障帮助诊断抽油机安装测功计测量杆负载测量绘制出张测功计泵卡显示发动机旋转周期部分负载

    测功计泵卡样例源:
    httpswwwresearchgatenet
    抽油机出障时测功计泵卡形状会改变通常会邀请专业技术员检查卡泵部位出现障需采取什措施修复作出判断程非常耗时需非常狭窄专业知识效解决
    方面程起动化前什传统机器学系统试没取效果准确率仅60左右
    深度学应领域公司贝克休斯(Baker Hughes)案例中测功计泵卡转换成图然作输入传ImageNet预训练模型中结果令印象深刻——需采预训练模型新数进行微调准确率60升93模型进步优化准确率达97

    贝克休斯部署系统示例左侧输入图右侧障模式实时分类系统便携式设备运行分类时间显示右角源:httpswwwyoutubecom
    仅击败前基传统机器学方法现该公司需抽油机技术员花时间诊断问题提高效率立开始修复机械障
    解更信息阅读篇讨类似方法文
    案例二:线欺诈检测
    计算机户计算机时独特模式惯浏览网站时鼠标方式者编写邮件时键盘敲击方式独二
    案例中Splunk解决问题通计算机鼠标方式户进行分类果系统够根鼠标模式唯识户欺诈检测想象:欺诈者窃取某登录名密码然登录网商店购物欺诈者电脑鼠标方式独二系统容易检测种异常情况防止欺诈交易发生时会通知账户真正者
    段特殊javascript代码收集鼠标活动该软件510毫秒记录次鼠标活动户页面约会产生5000–10000数点该数两挑战:首先户说量数第二户数集包含数量数点方便通常言长度序列需更精巧深度学架构
    解决办法户网页鼠标活动转换单图幅图中鼠标移动条线表示颜色编码鼠标移动速度左击右击绿色红色圆圈表示种处理初始数方法解决述两问题:首先图相次处理图深度学模型

    幅图中鼠标移动条颜色编码鼠标速度线表示左击右击绿色红色圆圈表示源:httpswwwsplunkcom
    SplunkTensorFlow加Keras构建分类户深度学系统做两实验:
    实验:某金融服务网站户组分类——访问类似页面时区分普通客户非客户
    仅2000张图片组成较训练集基VGG16修改网络结构进行2分钟训练系统80准确率识两类
    实验二:单户分类
    该务定户通鼠标活动预测户模仿者回仅360张图片训练集基VGG16考虑数集更拟合(dropoutbatch normalization)网络结构进行修改3分钟训练准确率达78左右考虑该务挑战性结果令印象非常深刻
    想解更信息请参阅面篇描述系统实验完整文章
    文章链接:httpswwwsplunkcomblog20170418deeplearningwithsplunkandtensorflowforsecuritycatchingthefraudsterinneuralnetworkswithbehavioralbiometricshtml
    案例三:鲸鱼声音检测
    例子中谷歌卷积神网络分析录音检测中座头鲸研究言例踪单鲸鱼运动歌曲特性鲸鱼数量等趣研究目谷歌处理数需图卷积神网络
    音频数转换成图方法时频谱时频谱音频数基频率特征视觉表示

    男性声音说十九世纪时频谱例子源:
    httpscommonswikimediaorg
    音频数转换成时频谱谷歌研究员Resnet50架构训练模型达性:
    精度90:90模型类鲸鱼歌声音频剪辑正确类
    召回率90:果首鲸鱼歌声录音90率会贴样标签
    结果令印象深刻鲸鱼研究定帮助
    焦点鲸鱼转处理音频数创建时频谱时根音频数类型选择频率针类语音座头鲸歌声工业设备录音等需频率场景重信息包含频段中必须领域知识选择该参数例果类语音数第选择应该梅尔倒频谱
    目前软件包音频librosa免费音频分析python库CPU生成时频谱果TensorFlow开发想GPU做时频谱计算
    librosa相关链接:httpslibrosagithubiolibrosa
    请参考面篇谷歌工智原始博客文章解更关谷歌处理座头鲸数信息
    谷歌博客文章:httpsaigoogleblogcom201810acousticdetectionofhumpbackwhaleshtml
    总言文概述般方法遵循两步骤
    首先找种数转换成图方法
    第二预训练卷积网络头训练
    第步第二步更难需思考数否转换成图展现创造性方希述提供示例解决问题帮助果例子问题请写面评中
    参考引
    IoT for Oil & Gas—The Power of Big Data and ML (Cloud Next ’18)
    httpswwwyoutubecomwatchv6_kdEguYwwg&featureyoutube&t1692
    Beam Pump Dynamometer Card Prediction Using Artificial Neural Networks
    httpswwwknepublishingcomindexphpKnEEngineeringarticledownload30836587
    Splunk and Tensorflow for Security Catching the Fraudster with Behavior Biometrics
    httpswwwsplunkcomblog20170418deeplearningwithsplunkandtensorflowforsecuritycatchingthefraudsterinneuralnetworkswithbehavioralbiometricshtml
    Acoustic Detection of Humpback Whales Using a Convolutional Neural Network
    httpsaigoogleblogcom201810acousticdetectionofhumpbackwhaleshtml

    深度学图超分辨率重建中应
    前言
    篇文章会吃力需定基础懂文章质量高喜欢编老铁记点赞关注想问啥私信编里抱拳
    超分辨率技术(SuperResolution)指观测低分辨率图重建出相应高分辨率图监控设备卫星图医学影等领域重应价值SR分两类张低分辨率图重建出高分辨率图单张低分辨率图重建出高分辨率图基深度学SR基单张低分辨率重建方法Single Image SuperResolution (SISR)
    SISR逆问题低分辨率图存许高分辨率图应通常求解高分辨率图时会加先验信息进行规范化约束传统方法中先验信息通干成出现低高分辨率图实例中学基深度学SR通神网络直接学分辨率图高分辨率图端端映射函数
    文介绍较新基深度学SR方法包括SRCNNDRCN ESPCNVESPCNSRGAN等
    1SRCNN
    SuperResolution Convolutional Neural Network (SRCNN PAMI 2016 代码)较早提出做SR卷积神网络该网络结构十分简单仅仅三卷积层

    该方法低分辨率图先双三次(bicubic)插值放目标通三层卷积网络做非线性映射结果作高分辨率图输出作者三层卷积结构解释成传统SR方法应三步骤:图块提取特征表示特征非线性映射终重建
    三卷积层卷积核分9x9 1x15x5前两输出特征数分6432 该文章分Timofte数集(包含91幅图)ImageNet数集进行训练相双三次插值传统稀疏编码方法SRCNN高分辨率图更加清晰图放倍数3例子

    SR质量进行定量评价常两指标PSNR(Peak SignaltoNoise Ratio)SSIM(Structure Similarity Index)两值越高代表重建结果素值金标准越接图表明放倍数SRCNN取传统方法效果

    2 DRCN
    SRCNN层数较少时感受野较(13x13)DRCN (DeeplyRecursive Convolutional Network for Image SuperResolution CVPR 2016 代码)提出更卷积层增加网络感受野(41x41)时避免网络参数该文章提出递神网络(RNN)网络基结构:

    SRCNN类似该网络分三模块第Embedding network相特征提取第二Inference network 相特征非线性变换第三Reconstruction network特征图重建结果中Inference network递网络数循环通该层次循环进行展开等效组参数串联卷积层图示:

    中H1HDD享参数卷积层DRCN层卷积结果通Reconstruction Net重建结果D重建结果加权均终输出外受ResNet启发DRCN通skip connection输入图Hd输出相加作Reconstruction Net输入相Inference Net学高分辨率图低分辨率图差恢复图高频部分
    实验部分DRCN包含91张图Timofte数集进行训练效果SRCNN较提高

    3 ESPCN
    SRCNNDRCN中低分辨率图先通采样插值高分辨率图样作网络输入意味着卷积操作较高分辨率进行相低分辨率图计算卷积会降低效率 ESPCN(RealTime Single Image and Video SuperResolution Using an Efficient SubPixel Convolutional Neural NetworkCVPR 2016 代码)提出种低分辨率图直接计算卷积高分辨率图高效率方法

    ESPCN核心概念亚素卷积层(subpixel convolutional layer)图示网络输入原始低分辨率图通两卷积层特征图输入图样特征通道r2(r图目标放倍数)素r2通道重新排列成r x r区域应高分辨率图中r x r子块r2 x H x W特征图重新排列成1 x rH x rW高分辨率图变换然称作subpixel convolution 实际没卷积操作
    通subpixel convolution 图低分辨率高分辨率放程插值函数隐含包含前面卷积层中动学层图做变换前面卷积运算低分辨率图进行效率会较高

    重建效果PSNR指标ESPCNSRCNN1080HD视频图做放四倍高分辨率重建SRCNN需0434sESPCN需0029s

    4 VESPCN
    视频图SR问题中相邻帧具强关联性述种方法单幅图进行处理VESPCN( RealTime Video SuperResolution with SpatioTemporal Networks and Motion Compensation arxiv 2016)提出视频中时间序列图进行高分辨率重建达实时处理效率求方法示意图包括三方面:

    纠正相邻帧位移偏差先通Motion estimation估计出位移然利位移参数相邻帧进行空间变换二者齐二齐相邻干帧叠放起做三维数低分辨率三维数三维卷积结果r2 x H x W三利ESPCN思想该卷积结果重新排列1 x rHx rW高分辨率图
    Motion estimation程通传统光流算法计算DeepMind 提出Spatial Transformer Networks 通CNN估计空间变换参数VESPCN方法尺度Motion estimation:先输入图低分辨率初始变换输入图相分辨率更精确结果图示:

    SR重建相邻帧间位移估计通神网路实现融合起进行端端联合训练VESPCN损失函数:

    第项衡量重建结果金标准间差异第二项衡量相邻输入帧空间齐差异第三项滑化空间位移场图展示Motion Compensation 相邻帧间整齐差值图0

    图出Motion Compensation重建出高分辨率视频图更加清晰

    5 SRGAN
    SRGAN (PhotoRealistic Single Image SuperResolution Using a Generative Adversarial Network arxiv 21 Nov 2016)生成式抗网络(GAN)SR问题出发点传统方法般处理较放倍数图放倍数4时容易结果显滑缺少细节真实感SRGANGAN生成图中细节
    传统方法代价函数般均方差(MSE)

    该代价函数重建结果较高信噪缺少高频信息出现度滑纹理SRGAN认应重建高分辨率图真实高分辨率图低层次素值高层次抽象特征整体概念风格应接整体概念风格评估呢?判器判断副高分辨率图算法生成真实果判器法区分出算法生成图达假乱真效果
    该文章代价函数改进

    第部分基容代价函数第二部分基抗学代价函数基容代价函数述素空间均方差外包含基特征空间均方差该特征利VGG网络提取图高层次特征:

    抗学代价函数基判器输出概率:

    中DθD()图属真实高分辨率图概率GθG(ILR)重建高分辨率图SRGAN生成式网络判式网络分:

    该方法实验结果

    定量评价结果PSNRSSIM两指标评价重建结果金标准素值空间差异SRGAN评价值高MOS(mean opinion score)评价显示SRGAN生成高分辨率图起更真实


    物理学深度学解释性启发
    令惊讶局部块旋转结构训练程中出现表明DNN组织实现块旋转重整化需手动干涉学

    工智存生活角落智手机社交媒体供稿推荐引擎线广告网络导航工具基AI应程序示例应程序天会影响语音识动驾驶机器翻译视觉象识等领域深度学已系统改进现技术状态
    然深度神网络(DNN)强原启发式理解 验中知道通型数集遵循特定训练获优异结果
    基基物理概念框架(称重整化群(Renormalization RG))种称受限玻尔兹曼机(RBM)神网络间显着类提出种解释
    RGRBM作粗粒度程
    重整化种法获关微观部分信息时研究物理系统行技术种粗粒度方法显示物理定律着缩检查长度尺度物体变化 戴模糊眼镜

    改变观察物理系统长度尺度时(放时)理遍历(航行)理空间
    该重视RG理源提供强力框架基事实解释什物理学身

    描述诸卫星类复杂结构运动需考虑成分运动
    RG理提供强框架解释什物理身
    例需应牛顿运动定律需考虑卫星微观成分极复杂行解释运动实践中做系统基组件详细行进行均RG理解释什程序效
    外RG理似表明物理世界现理似值未知真理
    RG理似表明目前物理世界理某未知真实理似
    调查系统处显示相似性时RG运行良相似系统观察长度范围完全似身部分显示相似性系统示例分形

    界点处系统显示出彼相距极远部分间强相关性子部分影响整系统系统物理特性完全独立微观结构
    工神网络视粗粒度迭代程工神网络层组成图示较早层仅输入数(边缘颜色)中学较低级特征较深层层次较低级特征(较早特征提供)组合成较高级特征杰弗里辛顿话说:首先学简单特征然根目标学更复杂特征然分阶段进行
    RG程中更深层次保留认相关特征强调相关特征

    卷积神网络(CNN)
    CNN识复杂程度面层中更高
    精确
    物理学机器学涉具许成分系统物理学研究包含许(相互作)物体系统机器学研究包括量维度复杂数外类似物理学中RG神网络设法数进行分类例动物图片组成部分(例颜色)
    2014年篇文中两位物理学家Pankaj MehtaDavid Schwab提供基重整化群理深度学表现解释文强调DNN强特征提取器效模仿粗粒化程RG程特征
    引文句话:DNN架构视种迭代粗粒度方案中NN新高级层数中学越越抽象高级特征
    实际文中设法证明RG受限玻尔兹曼机间确实存确切映射(RBM)构成DNN构建块双层神网络

    通堆叠RBM建立RGDNN间映射
    重整化群理:鸟瞰图
    述重化涉粗粒度技术应物理系统RG理通概念框架需方法操作概念变分重整化群(VRG)KadanoffHoughtonYalabik1976年提出种样方案
    清楚阐述文选择专注种特定类型系统说明RG工作量子旋系统完全普遍进行深入研究数学机器前物理学中旋转含义进行解释
    物理学中旋转概念
    物理学中旋定义基粒子复合粒子原子核携带角动量形式
    然旋转定义没典应物量子力学概念具旋粒子通常描绘围绕身轴旋转顶部旋转磁现象密切相关

    粒子旋转(黑色箭头)相关磁场线
    重整化数学
    考虑N旋转系统集合出视化目假设放格子图示

    旋转二维点阵(箭头表示)球体带电原子
    旋转二进制变量相关联

    索引i标记晶格中旋位置方便起见量v表示旋配置

    热衡系统旋配置v相关概率分布具形式:

    处(方便起见温度设定1)物体H(v)系统谓哈密顿量定义 应系统中粒子动势算子分母Z称分区函数化子:

    系统哈密顿量表示旋间相互作相应项总:

    参数集

    称耦合常数决定旋(第二项)间旋外部磁场(第项)间相互作强度
    需考虑重数量源初热力学概念定义 物理系统中转化工作量 数学例子中出:

    符号tr代表迹(线性代数概念)文中代表见旋配置总v
    重新正规化程步骤中系统长度尺度行均粗粒度系统哈密顿量新耦合常数表示

    获新粗粒度变量例子中者块旋转h新哈密顿量:

    更理解什块旋转请考虑面二维晶格箭头代表旋转现晶格划分方形块方块包含2×2旋块旋应块中均旋

    块旋转RG中系统粗粒化描述旋转块效行新块变量
    请注意新哈密顿量具原始哈密​​顿量相结构仅旋块配置代物理旋

    两汉密尔顿义者具相结构具变量耦合
    换句话说模型形式会改变缩模型变化参数时通系统重复步骤获理完全重整化次RG迭代参数删参数保留剩称
    汉密尔顿义者间联系通求RG变换(面行中描述)变化获
    变分重整化组(VRG)
    述实现RG映射变分重整化组(VRG)方案该方案中映射操作员实现

    中λ组参数运算符隐藏输入(见)旋间耦合进行编码满足关系:

    定义面出新哈密顿量然精确RG变换中粗粒度系统具原始系统完全相

    相条件

    实践中条件完全满足变分方案找化间差异λ

    等效似精确RG变换
    RBM简总结
    详细描述受限制Boltzmann机部工作原理里提供更简洁解释
    受限制玻尔兹曼机器(RBMs)基量生成简单版包含两层:
    层见单元v表示
    隐藏层单位h表示

    简单受限制Boltzmann机例证
    次考虑二元见数集v中n元素概率分布中提取

    输入见数概率分布
    RBM中隐藏单元(量h表示)耦合见单元中交互量式出:

    量子指数λ表示变分参数集{ cbW } 前两元素量第三矩阵RBM目标输出λ相关 概率分布该概率分布接输入数P(v)分布
    配置(vh)参数λ相关联概率该量函数函数:

    联合概率通隐藏单位求轻松获见单位变分(边缘化)分布样隐藏单位边缘化分布通见单位求:

    定义RBM哈密顿量:

    λ参数选择优化谓KullbackLeibler距离(KL)散度相熵测量两概率分布案例中感兴趣真实数分布RBM产生见单位变分分布间KL差异进步说:

    两发行版相时:

    完全映射RGRBM
    MehtaSchwap表明建立RGRBM间精确映射变分运算符选择表达式:

    回想哈密顿量H(v)包含部编码输入数概率分布通种变分算子选择快速证明隐藏层RG哈密顿量RBM哈密顿量相:

    外实现精确RG变换时真实变分哈密顿量相:

    具旋v 块旋h重整化组步骤精确映射见单元v隐藏单元h组成双层RBM
    着堆叠越越RBM层实际正执行越越RG转换
    应伊辛模型
    根基原理出结RBM种监督深度学算法实现变分RG程非应关系MehtaSchwab通易理解Ising旋转模型实现堆叠RBM展示想法作输入数Ising模型采样旋转配置输入DNN中结果显示显然DNN似正执行(Kadanoff) 块旋转重整化
    作者话中令惊讶局部块旋转结构训练程中出现表明DNN组织实现块旋转重整化需手动干涉学
    结果表明DNN似正执行块旋重整化
    图中A显示DNN架构B中绘制学参数W显示隐藏单元见单元间相互作D中着DNN层移动时逐渐形成块旋转(图中斑点)E中示出现三数样宏观结构RBM重建

    深度神网络应2D Ising模型
    结展
    2014年表明受限制玻尔兹曼机(RBM)种神网络重整化群相连概念初物理学文中回顾部分分析前述RG深度神网络具非哲学相似性:复杂系统提炼成相关部分种RGRBM映射种相似性种形式化
    深度学生物学程许相似处假设脑某种类固醇重整化理解感知现实分
    正作者许通逻辑说明数中挑选出相关特征想存样暗示
    假设脑某种类固醇重整化理解感知现实理

    深度学练记录:生成钢琴音乐?
    通试验Tensorflow v20 Alpha逐步生成钢琴音乐♪♪♪

    家篇文章中会分享家关工智实验教家深度学生成音符前关生成歌词文章次生成音乐笔记生成文件(MIDI格式)

    音乐角钢琴文注意帮助递神网络(RNN)门控递单元(GRU)变体生成钢琴音符文仅介绍生成笔记介绍生成正确MIDI文件计算机中播放
    文针AI感兴趣尤想练深度学希通发表篇文章增加写作技巧文章容产生帮助
    果您想解完整源代码文末尾Github链接现存储库中提供python笔记Colaboratory链接
    开场音乐
    音乐m4a141
    AI中国
    声音1:开钢琴
    (该音乐文中创建模型生成)

    介绍
    技术数

    预处理MIDI文件
    训练模型
    推理生成MIDI文件
    结果


    介绍
    工智前热门话题仅数(监督)生成某东西计算机视觉领域许研究员正研究生成Advesarial网络(GAN)生成图先进技术例NVIDIAGAN创建逼真面部生成器关GAN生成音乐研究

    果谈音乐发生器价值帮助音乐家创作音乐增强创造力想未果领域高度关注数音乐家会创作出AI辅助产生音乐
    文重点介绍通音乐中生成连续音符生成音乐知道预处理数转换神网络输入生成音乐

    该实验Tensorflow v20(处alpha阶段)作深度学框架想展示通遵循佳实践测试Tensorflow v20Tensorflow v20中喜欢功通AutoGraph加速模型训练通@tffunction定义函数没tfsession没全局初始化特征Tensorflow转移PyTorch原 Tensorflow性说太Tensorflow v20改变切增加性做实验变舒适
    该实验注意层注意层告诉定序实例(例音乐笔记C D E F G中)标记解该标记标记影响程度例子(NLP务):

    图1:注意力视化
    关注意更信息特关transformer信息您阅读篇棒文章
    没进步问题继续生成音乐
    技术数
    实验:
    Tensorflow v20:深度学框架Tensorflow新版处alpha阶段开发阶段
    Python 37
    Colaboratory:免费Jupyter笔记环境需设置完全云中运行拥GPU Tesla K80甚TPU悲Tensorflow v20 alpha撰写文时然支持TPU
    Python库pretty_midi:操作创建MIDI文件库
    数MagentaMAESTRO(MIDI音频编辑步TRacks组织)作数集数集仅包含钢琴乐器约1000音乐中机抽取100音乐加快训练时间

    关音乐生成器工作道:

    图2:道
    程简化起见流程划分:
    1预处理MIDI文件作神网络输入
    2训练程
    3生成MIDI文件
    预处理MIDI文件
    讨预处理midi文件前需知道midi格式文件什
    pcmag中MIDI定义
    (乐器数字接口)乐器合成器计算机间音乐信息交换标准协议MIDI开发台合成器键盘播放台合成器产生音符音符钮拨盘踏板调整定义代码MIDI控制消息编排系列合成器合成器扮演乐谱部分MIDI 10版1983年引入
    总MIDI文件包含系列包含注释工具例钢琴吉组合种乐器通常音符
    预处理MIDI文件库Python中中pretty_midi操作MIDI文件创建新文件文中库
    pretty_midi文件格式

    图3PrettyMidi格式
    开始第二音符开始结束秒钟演奏音符结束次音符重叠音高演奏音符MIDI数字速度发出音符力
    MIDI数字注名关系参考图

    图4Midi数字注释名称
    阅读Midi文件
    批量读取midi文件pretty_midi读取方式
    midi_pretty_format pretty_midiPrettyMIDI (songmid)
    PrettyMidi象
    钢琴卷轴阵列进行预处理

    图5pretty tymidiPiano Roll Array
    文中需乐器中提取音符许MIDI文件音乐中种乐器数集中MIDI文件包含种乐器钢琴钢琴乐器中提取音符更简单提取需帧秒音符pretty_midi方便函数get_piano_roll获取二进制2D numpy中音符数组(注释时间)维度数组中音符长度128时间音乐时长FPS
    做源代码

    预处理字典时间笔记

    图6钢琴卷轴数组字典
    钢琴卷轴数组转换成字典字典音符播放时间开始例面图中28开始(果转换秒假设转换piano_roll速度5 fps音乐开始播放速度56 s285)
    创建字典字典值转换字符串例
    array([4968]) > '4968'
    做点应该循环字典键改变值
    for key in dict_note
    dict_note[key] ''join(dict_note[key])

    预处理输入音符列表神网络目标

    图7字典列出序列
    字典转换成连续笔记笔记作神网络输入然时间步长作神网络输入目标

    图8滑动窗口
    文中序列列表长度50意味着果fps5包含10秒(50 5)游戏时间序列
    列表中e表示段时间没演奏音符时候音符间会跳跃者没音符图7中示例中43跳46果转换序列序列列表
    […'6177' '6177' 'e' 'e' '73'…]
    做呢批音乐处理音符
    50长度滑动窗口音乐中第音符列表中添加e49次然开始时间设置字典中第timestep图7中例子中28然音乐中添加第音符(示例77’中)
    然实例窗口滑动1次列表中添加48次etimestep 28中播放音符添加列表中timestep 29中播放音符添加列表中重复操作直音乐结束
    段音乐中重复面程
    源代码

    创建注意分词器
    深入研究神网络前必须创建标记器序音符更改音符序索引首先应该音符映射表示音符id索引
    例:
    {
    '6177' 1 # 6177 will be identified as 1
    'e' 2
    '73' 3


    }
    果前输入:
    ['6177''6177''e''e''73']
    转换:
    [ 11223 ]
    做法

    总结预处理功功:



    训练模型
    解Tensorflow v20新功进行训练前架构:
    神网络架构

    图9:神网络架构
    深度学架构3层门控循环单元(GRU种回神网络变体)注意层丢失神网络会快度拟合
    Self Attention Layers存储库进行编辑便Tensorflow v20
    深度学架构3层门控递单元(GRU递神网络种变体)注意层该方法采跳脱法神网络会快速拟合
    Self Attention层存储库稍微编辑便Tensorflow v20
    代码:

    训练
    通迭代数集中音乐更新模型权重述预处理数然批输入实例神网络目标例
    GradientTape更新神网络权重首先apply_gradients计算损失应反传播果您熟悉PyTorchPytorch训练神网络模型方面工作方式
    务必函数@ tffunction会功转换签名训练更快 tffunction缺点批量作神网络输入例批量64果数集70批包含6实例程序抛出异常图形具初始图形输入许工作原理通函数时查第输入创建占位符
    文中16 BATCH_SONG96 BATCH_NNET_SIZE意味着音乐列表中获取16音乐然提取序列然神网络中步提取序列实例中获取96序列作神网络输入目标
    代码:

    推理生成MIDI文件

    图10:推理生成MIDI文件
    训练神网络模型生成MIDI文件两种方法:
    需开始时选择:
    生成机50音符作音乐开头
    49空音符('e')然选择开始音符(例'72'确保音符NoteTokenizer中)

    图11:关生成器工作视化
    选择音乐生成器种子训练模型基50机音符预测音符预测值作机选择音符概率分布样做直想指定序列长度然放前50音符
    生成音符列表序列次转换钢琴卷轴阵列然转换PrettyMidi象
    调整音乐速度节奏生成MIDI文件
    代码 :

    生成注释中编写midi文件:

    结果
    样做时训练耗时1时持续1 epoch样做时决定进行4 epoch(4时)训练
    已训练4 epoch模型结果:
    头条号限制发送条音频详细资料请私信编回复音乐免费获取
    (请注意MIDI文件转换mp3文件线转换器执行操作注释似点遗漏果您想听会原始MIDI传存储库中)
    生成笔记间存明显差异果音符生成播放音符时节奏缓慢50机音符生成时没缓慢开始
    选择机50音符开始音乐序列注意块视化:
    首先注意

    图12:第次注意
    第二注意

    图13:第二次注意
    正您第注意块会学序列实例中音符聚焦音符然第二关注区块中没关注什结果判断果音符位置离前音符远会聚焦(图12图13中黑色)

    包含钢琴音乐MAESTRO数集构建生成音乐工具预处理训练神网络模型然生成音乐音乐MIDI格式Tensorflow v20完成认Tensorflow v20户体验(UX)前版更
    模型产生音乐连贯听调整播放音符方式例:发生器音符(意味着音乐开头)时慢节奏开始
    尝试音乐生成器文中已尝试生成单仪器果音乐种乐器办?需更架构做点尝试种方法试验音乐数

    关生成钢琴音乐笔记文章实际通查第篇关深度学文章启发生成音乐抒情效果 生成音符?做试验效
    说试验困难首先需搜索易预处理输入神网络文件格式发现MIDI简单文件然需知道否库Python中预处理文件找两music21pretty_midi存储库没时选择pretty_midi需考虑预处理笔记值庆幸pretty_midi方便函数get_piano_roll更容易
    没读关音乐研究文许研究文Colaboratory中复制显示
    注意层缺乏视化效果
    存储库:
    httpsgithubcomharyoanote_music_generator

    文档香网(httpswwwxiangdangnet)户传

    《香当网》用户分享的内容,不代表《香当网》观点或立场,请自行判断内容的真实性和可靠性!
    该内容是文档的文本内容,更好的格式请下载文档

    下载文档到电脑,查找使用更方便

    文档的实际排版效果,会与网站的显示效果略有不同!!

    需要 6 香币 [ 分享文档获得香币 ]

    下载文档

    相关文档

    会议视觉设计

    会议视觉设计  无论是平面设计、还是立体设计,其设计角度,无非考虑视觉传达、以及实际效用两个层面。  作为会议服务公司的全案型设计,要求设计人员具备平面设计与三维空间设计双方面的专业素养。会议...

    11年前   
    631    0

    广绣的包装视觉设计

     广绣的包装视觉设计Packaging visual design of Guangxiu ...

    2年前   
    577    0

    华南新城视觉设计简报

    2000/3/20华南新城视觉设计创意简报1、 华南新城定位人和自然的共荣对于渴望拥有现代生活,又能以自然美景为伴的广州人而言,华南新城是都市生活在森林公园的再现,她体现人和自然共荣。在这一切...

    9年前   
    551    0

    华南新城视觉设计简报

    2000/3/20 华南新城视觉设计创意简报 1、 华南新城定位 人和自然的共荣 对于渴望拥有现代生活,又能以自然美景为伴的广州人而言,华南 新城是都市生活在森林公园的再...

    11年前   
    26451    0

    视觉算法工程师的工作职责

    视觉算法工程师的工作职责职责:1、负责机器视觉系统图像处理、分析及算法研发,视频图像特征提取等应用开发;2、研究并开发基于地图信息的单目、双目摄像头,vslam及其他相关传感器的自主定位算法。...

    2年前   
    474    0

    视觉算法工程师的职责

    视觉算法工程师的职责职责:1.负责公司视觉分析算法研发,包括运动轨迹预测、同图像上多人脸识别、物体特征提取的算法研发工作2.负责技术的前期预研,完成算法开发库,封装算法调用文档;3.负责业务模...

    2年前   
    466    0

    视觉设计师工作职责汇总

    视觉设计师工作职责汇总1、负责公司天猫店铺的整体形象设计,品牌形象打造,商品描述视觉化,促销活动创意;2、负责品牌视觉设计装修工作,对网店整体装修设计进行规划、组织、实施、监控。3、负责品牌推...

    2年前   
    530    0

    2021视觉设计总监职责

    2021视觉设计总监职责1、把控公司电商视觉设计的创意及方向,规划产品设计逻辑及设计进程;2、把握店铺的整体风格和视觉呈现,全面提升店铺的整体视觉效果;3、对品牌店铺整体视觉把控、对产品拍摄风...

    2年前   
    481    0

    机器视觉教学大纲

    《机器视觉》教学大纲课程编码:08241059课程名称:机器视觉英文名称:MACHINE VISION开课学期:7学时/学分:36/2 (其中实验学时:4 )课程类型:专业方向选修课开课专业...

    3年前   
    885    0

    2021视觉设计师工作职责

    2021视觉设计师工作职责深度参与相关页面内容的整体策划,文案,动效和开发等端到端工作,;深度参与网站整体UX交互/UI视觉的方案设计与改版更新;定期收集行业/友商网站设计流行趋势,主导网站内...

    2年前   
    540    0

    传统视觉文化的“中国元素”

    传统视觉文化的“中国元素”   中国元素是我国灿烂文化的独特象征和宝贵财富,它形式多样、内涵丰富、历史悠久,是其他艺术形式难以替代的。而传统视觉文化主要以“中国元素”的形式进行有限利用,是...

    9年前   
    7461    0

    视觉传达本科毕业论文

    论文序号:省高等教育自学考试视觉传达专业本科毕业论文浅谈图案在现代包装中的应用论文作者:准考证号:作者单位:视觉传达班指导老师:主考学校:XX学院完成时间:20XX 年X 月浅谈图案在现代包装...

    4年前   
    1342    0

    理切片视觉化元素在公益推广活动中的应用探索

     病理切片视觉化元素在公益推广活动中的应用探索Application of Visual Elements of Pathological Sections in Public W...

    9个月前   
    211    0

    如何办视觉冲击力最强的婚礼

    如何办视觉冲击力最强的婚礼?         很多新人都在问,我的婚礼到底要怎么布置?流程怎么安排?音乐怎么搭配?主持人要选什么风格的?摄影有必要用专业的吗?造型师一定要全程的吗?什么是主题婚...

    10年前   
    435    0

    最佳视觉效果的获奖感言

    最佳视觉效果的获奖感言  视觉特效的奇妙之处就是让观众以为他们看到的是真的,但讽刺的是很多都是假的,我想感谢所有福克斯和福克斯XX的团队成员,是他们让大家相信有时候冒点小险才能出人意料,《少年...

    9年前   
    505    0

    视觉设计师工作职责精编

    视觉设计师工作职责精编1、负责公司产品的TV端及移动端的设计、原型绘制及创意构思。2、关注公司上线产品的用户体验,研究用户心理,在UE方面能有独到的见解。3、根据产品经理的要求设计出符合需求的...

    2年前   
    464    0

    2021视觉设计师工作职责汇编

    2021视觉设计师工作职责汇编1.根据创意脚本,独立完成项目分镜、界面、平面视觉图等工作;2.根据项目制作内容、品质要求、交付时间点,执行项目制作;3.工作期间主要从事平面视觉图设计、UI界面...

    2年前   
    421    0

    视觉算法工程师的基本职责

    视觉算法工程师的基本职责职责:1、负责设计需求规格、实现方案、测试用例等,撰写相关的技术文档;2、负责完成项目技术前期方案评估、算法设计及文档编写;3、负责图像采集或通讯等模块的开发、维护工作...

    2年前   
    382    0

    视觉算法工程师岗位的职责说明

    视觉算法工程师岗位的职责说明职责:1.负责公司产品研发中视觉测量算法的研发和验证;2.负责公司产品研发中视觉测量算法开发文档的整理;3.负责配合软件部完成视觉测量算法的实现;4.负责公司视觉算...

    2年前   
    469    0

    视觉算法工程师的主要职责

    视觉算法工程师的主要职责职责:1.工业相机的firmware开发及功能整合;2.深度学习模型的构建与优化或机器学习算法的优化,提升效果.性能与易用性;3.结合业务产景,能灵活调整算法框架和数据...

    2年前   
    620    0

    文档贡献者

    丁***1

    贡献于2020-12-14

    下载需要 6 香币 [香币充值 ]
    亲,您也可以通过 分享原创文档 来获得香币奖励!
    下载文档