科技博士论文

近段时间，国内科研领域的抄袭、学术造假等问题频频发生。据数据统计显示，从1997年至2017年，每年都有学术不端案例被媒体曝光。其实，现实中不少人的论文都是花钱请人写的，甚至一些领导的论文都是由别人代劳的，而买卖论文更是成为一个庞大的盈利行业……。这无不让人感慨，我们的科学界到底怎么了？最近，清华大学就又出现了一件博士论文造假的事件。清华大学深圳研究院的2010级的叶肖鑫，在读博期间发表的16篇学术论文，存在自我抄袭，更加严重的是，就连他的学位论文都是如此。最后，叶肖鑫被取消博士学位，他的导师唐国翌也承担连带责任，取消研究生招生资格，提前退休。事件一出，很多的网友都不相信清华大学居然会出这样的事情，但这真的就是事实。其实在近一二十年，中国科技界在世界上曾创造出一些成果的全球第一、最快、水平最高等纪录。但撤稿创纪录则是许多人没有想到的。为什么如此高端的科技领域依然存在着论文抄袭，论文作假事件？其中很重要的一个原因就是金钱。在当今这个科研领域体系，一位科研人员，他发表的论文篇数和论文含金量将直接决定自己的职位晋升以及能否获得更多科研经费。但事实上，想短时间内发表很多具有含金量的论文是很难的，这就形成了一个矛盾。在这样的科研体系下，出现学术造假也就显得在所难免的。除此之外，出现如此多的学术造假、抄袭后，我们的惩罚力度是不够的。其实这种学术造假存在的风险与造假所带了的“利益”是极不相称，造假带来的利益太高，而受到的处罚太轻。而且出于面子等原因考虑，一些高校和科研单位不愿对学术造假等进行严肃处理，而是大事化小，小事化了。这样的处理，只会让那些学术不端行为的人越来越大胆。当然，也存在客观原因，那就是自己是否适合做科研。其实科研领域对一个人的综合能力要求很高的，不仅仅要具备专业的知识，还需要具备不错的文字功底。因为你研究出来的东西，你需要通过文字给大家展示出来啊。但实际上，不是每一个博士甚至更高科技领域的人都具备着两项能力。所以，在进入科研领域前，还需要考量自己是否适合科研领域？随着我们国家越来越重视科技领域，对科研人员的水平要求也越来越高，这就很容易让一些实力不足的人掉队。因此，迫于压力，学术造假也就变成那些能力不足科研人员解决问题的唯一办法。科研就是这个社会进步的领头羊，如果在科研领域存在造假现象，这种失去追求精神的行为也将严重降低科研的公信力。现在，国家也越来越重视打击学术造假的问题，但这还不够，这更需要社会各界来共同监督。大家对于学术造假有什么看法？欢迎大家评论讨论。

在如今的研究型大学中，学术是一个被大家反复提到的一个词，想要做好学术，基本功要扎实，写作能力要过关，写作能力的培养应该贯穿本科教育的全过程。学术写作和传统的工具性、创意性、文学性写作不同，本质上是锻炼思维能力、逻辑性、缜密性、说服力和独立学习的能力。面对很多科技工作者，写科技论文要掌握提炼和发表科研数据，怎样才能做到呢？如何写一篇科技类论文？复旦大学博士生导师卢宝荣曾经总结过一个十六字的方略，恰恰抓住了其中的精髓，那就是“化整为零、各个击破、有机联系、巧妙整合。”他认为论文写作是一门艺术，数据才是最主要的，其他的都是辅助性的，只要掌握写作技巧，一切都是水到渠成的事情。小易就带大家一起来参详一下卢宝荣教授的写作技巧，看能不能对你有所帮助。1.“化整为零”，一篇科技类论文分为四个部分，分别是Introction、Materials and Methods、 Result和Discussion，如果按照常规的从前往后写会有点不好写，因为一个整体容易让人混乱，我们不妨将论文拆成几个部分，分模块来写，这样主题明确，范围小一点，应更加容易入手。2.“各个击破”，论文的Introction是比较难处理的，因为刚开始写的时候，不容易把握全文，提炼其中的精华，我们可以把Introction部分先放一放，先从Materials and Methods部分入手，但是也有人先写结果，这都是可以的，将Materials and Methods和 Result部分写好之后，再写其他两个部分就相对简单多了，论文的主要部分都写完了，最后写Introction，因为前面写过有印象，能够有助于总结和延伸。3.“有机联系”，我们将论文的各个部分写完之后，还要根据论文的主线将论文的各个部分连接起来，这时候就要理清论文的逻辑关系，围绕着论文的主线，让各个部分不跑偏，这时候可以进行适当的修改，让论文的逻辑性更强。4.“巧妙整合”，各个部分写作完成之后，就应该考虑论文的两个部分连接该用怎样的引导语，让两个部分连接的不突兀，形成一篇合理的论文。论文的初稿也就完成了。是不是脉络清晰了很多呢？将科研中的数据变成知识，这就是论文写作的妙处所在，论文传播的是知识而不是原始数据，数据是用来支撑论文的知识、思想和结论的。科技论文还应该做到三点，那就是准确、简洁和清楚。希望小易的分享能对您的写作有帮助，欢迎在下方留言评论！

机器之心报道作者：杜伟还记得在双人无限扑克和多人无限扑克中战胜人类顶级玩家的游戏 AI 系统冷扑大师（Libratus）和 Pluribus 吗？近日，这两个 AI 系统的开发者之一、CMU 大神宣布其完成博士论文，并即将从 CMU 毕业。当地时间 9 月 21 日，FAIR 研究科学家 Noam Brown 在推特宣布其顺利完成了 CMU 博士论文答辩，并公开了长达 230 页的超硬核博士论文《Equilibrium Finding for Large Adversarial Imperfect-Information Games》以及 101 页的 slides。Noam 在论文前言中表示，除了章节 5.3 中描述的 ReBel 算法，论文中所有其他研究都是与其导师 Tuomas Sandholm 合作完成的。在整个研究过程中，Tuomas 给了 Noam 耐心指导。Noam 表示，如果没有导师的悉心指导，他肯定不会顺利地完成博士学位。Noam Brown 与其导师 Tuomas Sandholm 教授（右）。Noam Brown 的博士论文题目为《大型对抗性不完美信息博弈的均衡发现》。不完美信息博弈模拟了多个智能体与私人信息之间的交互。在这一设置下，一个典型的目标是近似一个均衡，其中所有智能体的策略都能达到最优。完美信息博弈（Perfect-information Games）和不完美信息博弈（Imperfect-information Games）是游戏中信息博弈的两种主要形式。在游戏中，完美信息博弈的前提是所有玩家都知道关于游戏的信息，如规则等；而不完美信息博弈中的玩家对正在玩的游戏没有共同知识，如其他玩家是谁、哪些策略或行动是可行的、结果如何取决于行动等。就难度而言，信息的不完美增加了玩家决策选择的难度，因而博弈分析的难度也更大。围棋、国际象棋、跳棋等棋类游戏属于完美信息博弈。扑克牌则属于典型的不完美信息博弈，这也是 Noam Brown 一直以来的研究重心。从 2017 年的 AI 系统 Libratus 到 2019 年的新算法 Pluribus，它们都属于不完美信息博弈的范畴。在论文中，Noam Brown 对博士期间的一系列研究成果进行了汇总。机器之心对该论文的核心内容进行了简要介绍，感兴趣的读者可以阅读原论文。论文地址：http://www.cs.cmu.e/~noamb/thesis.pdfSlides 地址：http://www.cs.cmu.e/~noamb/thesis_slides.pdf博士论文简介这篇博士论文详述了大型对抗性不完美信息博弈中均衡计算的一系列进展。这些新技术使得 AI 智能体首次有可能在无限注扑克游戏中击败顶级职业玩家，而这正是几十年来 AI 和博弈论领域一直存在的重大挑战性难题。反事实遗憾最小化（CFR）的改进作者首先介绍了对反事实遗憾最小化（counterfactual regret minimization, CFR）做出的改进，这是一种在双人零和博弈中收敛至纳什均衡的迭代算法。此外还描述了 CFR 的新变体，它们利用折扣原则（discounting）来显著加快收敛速度。CFR 方法。然后，作者介绍了理论上合理的剪枝（pruning）技术，这些技术可以在大型博弈中呈数量级地加快收敛速度。CFR 中的剪枝流程。将 CFR 扩展至大型博弈作者描述了通过自动抽象和函数近似算法将 CFR 扩展至大型博弈的新方法。具体而言，作者介绍了首个在不完美信息博弈中离散化连续动作空间的算法，该算法被证明局部最优。但是，这种算法需要大量的领域知识，并且难以扩展至其他博弈中。以往方法的局限性。所以，作者提出了 CFR 的一种变体 Deep CFR，它使用了神经网络函数近似，而没有使用基于 bucketing 的抽象。Deep CFR 是首个可以扩展至大型博弈的 non-tabular 形式的 CFR，并且使得 CFR 在几乎没有领域知识的设置下实现部署。利用 Deep CFR 扩展至大型博弈中。不断改进的搜索技术作者提出了一种新的不完美信息博弈搜索技术，该技术确保智能体的搜索策略不被对手利用。这些新的搜索形式在理论和实践两方面均优于以往方法。此外，作者介绍了一种深度受限（depth-limited）搜索方法，它的计算成本显著低于以往方法。Pluribus 算法中的深度受限搜索。最后，作者提出了一种新型 ReBel 算法，它在训练和测试时结合强化学习和搜索，并为缩小完美信息博弈和不完美信息博弈研究的差距迈出了关键一步。在双人无限注德州扑克中的结果对比。以下是博士论文的章节目录：致力于德扑游戏 AI 研究的 CMU 大神 Noam BrownNoam Brown，Facebook 人工智能实验室的研究科学家，他致力于结合计算博弈论和机器学习来开发能够在不完美信息多智能体环境中进行策略推理的 AI 系统，其研究成果应用到了首个分别在在双人无限扑克和多人无限扑克中战胜人类顶级玩家的 Libratus 和 Pluribus。这两个游戏 AI 系统为 Noam Brown 带来了巨大的荣誉。2017 年，Noam Brown 与其导师 Tuomas Sandholm 开发的 AI 系统 Libratus 在宾夕法尼亚州匹兹堡 Rivers 赌场持续 20 天 1 对 1 无限制德扑比赛中成功战胜了 4 名全球顶级职业玩家。该研究登上了《科学》杂志，与研究相关的另一篇论文《Safe and Nested Subgame Solving for Imperfect-Information Games》也获得了 NIPS 2017 最佳论文奖。此外，Noam 团队还因此获得了 IJCAI 颁发的第二枚马文 · 明斯基奖章（Marvin Minsky Medal）。Noam 在 IJCAI 2019 大会上领取马文 · 明斯基奖章证书。2019 年，Noam Brown 与其导师 Tuomas Sandholm 在 Libratus 的基础上，开发出了所需算力更少的新算法 Pluribus。在为期 12 天、超过 10000 手牌的比赛中，Pluribus 击败了 15 名人类顶级玩家。这是 AI 首次在玩家人数（或队伍）大于 2 的大型基准游戏中击败顶级职业玩家。Pluribus 不仅登上了《科学》杂志的封面，还被该杂志列为 2019 年度十大突破科研成就之一。Pluribus 登上了《科学杂志》封面。此外，Noam 还曾获得 2017 年度 Allen Newell「卓越研究奖」，也曾被 MIT 科技评论评选为 2019 年度「35 岁以下科技精英」（MIT TR35）。2019 年，Noam Brown 与其导师 Tuomas Sandholm 合著的论文《Solving Imperfect-Information Games via Discounted Regret Minimization》获得了 AAAI 杰出论文荣誉提名奖。参考链接：https://mp.weixin.qq.com/s/IoaSWYvBn_M2Io5EGcDWOAhttps://www.cs.cmu.e/~noamb/

大三开始搞科研，大四“直博”成为电子科技大学基础与前沿研究院首名博士生。在直博的四年里，童鑫共发表SCI论文21篇，其中9篇论文发表在研究领域高影响力（IF＞10）的期刊上。在SCI上发表论文很难吗？一位不愿意透露姓名的高校教授对此评价，“从数量上来看，这总数超过很多教授10年的发文量。”其实，SCI作为国际上最具权威性的期刊，国际公认的进行科学统计与科学评价的主要检索工具之一，是体现科学研究国际影响力的重要指标。不过，SCI对于很多国内科研人员来说，由于语言等条件的制约是非常具有挑战性的。据该教授介绍，虽然发表SCI论文的难度确实因研究领域而异，某些学科领域本身就具有先天的优势，更容易做出成果。但童鑫能以如此高的速度发表SCI学术论文，还包含有一区文章（一区一般是各领域的top期刊），平均下来每年要发表5篇左右，这几乎可以用“开挂”来形容。△童鑫和导师王志明教授“当你奋战在科学前沿，把最新的学术理论转化成实际应用的时候，真的有一种莫大的成就感，”基础与前沿研究院2014级博士生童鑫说，“每发表一篇论文我都会告诉自己，哪怕再微薄，我也为这个领域贡献了一份力量，留下了一个脚印。”其实，好成绩背后，是科研习惯的养成，而这一切，得益于其导师王志明教授。基础院初创，一切还在摸索的过程中，暂时没有条件给童鑫提供优越的科研环境。王志明就别出心裁的选择了“自顶向下”的培养方法，要求童鑫广阅读、作综述，还要争取发表到一流的期刊上去。综述性质的文章往往是专业领域有所成就的专家执笔来写，这可难坏了童鑫。而王志明自有他的道理：“我们想要做世界一流的研究，却暂时没有与之相配的环境和器材，如果一开始就老老实实干最简单的工作，那就永远也不可能跻身一流。”童鑫不敢懈怠，啃了小半年本领域的高深论文，“这样的一个经历培养了我在科研方面的逻辑思维能力，让我以后的路走得更轻松。”2015年12月，他成功在SCI一区顶级刊物《先进科学》上发表了题为“高性能钙钛矿太阳能电池”的论文，两年内被引次数多达25次。这是他在科研领域踏下的第一个深深的脚印，也成为了他叩开海外联合培养大门的一把“金钥匙”。在之后的学习中，童鑫成功申请到国家公派名额前往加拿大国立科学研究院进行联合培养。留学期间他将研究方向锁定在半导体材料领域的宠儿——量子点。他说：“量子点更大的天地是在未来日常生活中的光电器件以及生物学上的应用，那就必须要解决有毒的问题”。最终，他的研究成果以论文的形式被发表在了能源材料领域顶级期刊《先进能源材料》上。而一连串的成果也像滚雪球一样被不断地研发出来，童鑫的“科研脚印”也越踩越多，越踩越深。值得一提的是，童鑫一直在用自己的努力搭建着中外交流的桥梁。留学期间，他前后为其所在学院引进8名教授。“国家在基础前沿领域的人才缺口很大，科研实力相比欧美发达国家还有待提高”，童鑫坚定地说，“我想踏踏实实搞我喜欢的研究，踏好每一个脚印，争取为国家多做点贡献。”姚卓琛 成都商报客户端记者 赵雨欣图片由电子科技大学提供

选自Stanford机器之心编译参与：路雪、蒋思源韩松，2017 年斯坦福大学电子工程系博士毕业，师从 NVIDIA 首席科学家 Bill Dally 教授。他的研究也广泛涉足深度学习和计算机体系结构，他提出的 Deep Compression 模型压缩技术曾获得 ICLR'16 最佳论文，ESE 稀疏神经网络推理引擎获得 FPGA'17 最佳论文，对业界影响深远。他的研究成果在 NVIDIA、Google、Facebook 得到广泛应用，博士期间创立了深鉴科技，2018 年将任职 MIT 助理教授。本文对韩松博士的毕业论文做了介绍。第一章 引言本文，我们协同设计了适合深度学习的算法和硬件，使之运行更快更节能。我们提出的技术能够使深度学习的工作负载更加高效、紧密，然后我们设计了适合优化 DNN 工作负载的硬件架构。图 1.1 展示了本文的设计方法。打破算法和硬件栈之间的界限创造了更大的设计空间（design space），研究者获得之前从未有过的自由度，这使得深度学习能够实现更好的优化。在算法方面，我们研究如何简化和压缩 DNN 模型，以减少计算量和内存的占用。在 ImageNet 上，我们在不损失预测准确度的情况下将 DNN 压缩了 49 倍 [25,26]。我们还发现模型压缩算法能够去除冗余、防止过拟合，可以作为合适的正则化方法 [27]。在硬件方面，压缩后的模型具备提速和降低能耗的极大潜力，因为它所需的算力和内存减少。然而，模型压缩算法使计算模式变的非常规，很难并行化。因此，我们为压缩后的模型设计了一种定制化硬件，设计模型压缩的数据结构和控制流程。该硬件加速器的能量效率比 GPU 高出 3400 倍，比之前的加速器高出一个数量级 [28]。该架构的原型在 FPGA 上，且已用于加速语音识别系统 [29]。图 1.1：本文重点是协同设计适合深度学习的算法和硬件。本文回答了两个问题：哪些方法可以使深度学习算法更加高效，哪些硬件架构最适合这类算法。图 1.2：论文主题贡献：正则化训练、模型压缩、加速推理第二章 背景本章首先介绍什么是深度学习以及它的工作原理和应用；然后介绍我们实验所用的神经网络架构、数据集、在数据集上训练架构的框架。之后，我们介绍压缩、正则化和加速方面之前的研究。第三章 神经网络剪枝现代深度神经网络使用非常多的参数以提供足够强大的模型，因此这种方法在计算量和内存上都需要足够的资源。此外，传统的神经网络需要在训练前确定与修正架构，因此训练过程并不会提升架构的性能。而若直接选择复杂的架构，那么过多的参数又会产生过拟合问题。因此，选择适当容量（capacity）的模型和消除冗余对计算效率和准确度的提升至关重要。为了解决这些问题，我们发展了一种剪枝方法（pruning method）来移除冗余并保证神经网络连接的有效性，这种方法能降低计算量和内存的要求以提升推断的效果。这种方法关键的挑战是如何在模型剪枝后还保留原来的预测准确度。我们的剪枝方法移除了冗余连接，并仅通过重要的连接学习（下图 3.1）。在该图的案例中，共有三层神经网络，剪枝前第 i 层和 i+1 层间的连接为密集型连接，剪枝后第 i 层和 i+1 层间的连接为稀疏连接。当所有与神经元相联结的突触都被移除掉，那么该神经元也将移除。神经网络剪枝将密集型神经网络转化为稀疏型神经网络，并且在减少了参数与计算量的情况下完全保留预测准确度。剪枝不仅提高了推断速度，同时还降低了运行大型网络所需要的计算资源与能源，因此它可以在电池受限的移动设备上使用。剪枝同样有利于将深度神经网络储存并传递到移动应用中。图 3.1：对深度神经网络的神经元与突触进行剪枝。在初始化训练阶段后，我们通过移除权重低于阈值的连接而实现 DNN 模型的剪枝，这种剪枝将密集层转化为稀疏层。第一阶段需要学习神经网络的拓扑结构，并关注重要的连接而移除不重要的连接。然后我们重新训练稀疏网络，以便剩余的连接能补偿移除的连接。剪枝和再训练的阶段可以重复迭代地进行以减少神经网络复杂度。实际上，这种训练过程除了可以学习神经网络的权重外，还可以学习神经元间的连通性。这与人类大脑的发育过程 [109] [110] 十分相似，因为生命前几个月所形成的多余突触会被「剪枝」掉，神经元会移除不重要的连接而保留功能上重要的连接。在 ImageNet 数据集中，剪枝方法可以将 AlexNet 的参数数量减少 9 倍（6100 万降低为 670 万）而没有准确度上的损失。VGG-16 同样有类似的现象，参数总量可以减少 13 倍左右（1.38 亿降低为 1.03 千万）而完全没有准确度损失。我们还试验了更多高效的全卷积神经网络：GoogleNet（Inception-V1）、SqueezeNet 和 ResNet-50，它们不具有或有很少的全连接层。在这些实验中，我们发现在准确度降低前它们有相似的剪枝率，即 70% 左右的全卷积神经网络参数可以被剪枝。GoogleNet 从 700 万参数降低到 200 万参数，SqueezeNet 从 120 万参数降低到 38 万参数，而 ResNet-50 从 2550 万参数降低到 747 万参数，这些网络在 ImageNet Top-1 和 Top-5 准确度上都完全没有损失。在本章节以下部分中，我们提供了如何剪枝神经网络和再训练模型以保留预测准确度的方法。我们还展示了剪枝后模型在商业化硬件上运行所产生的速度与能源效率提升。第四章 量化训练与深度压缩本章节介绍了用于压缩深度神经网络的量化训练（trained quantization）技术，但它与前一章所介绍的剪枝技术相结合时，我们就能构建「深度压缩」[26]，即一种深度神经网络的模型压缩流程。深度压缩（Deep Compression）由剪枝、量化训练和可变长度编码（variable-length coding）组成，它可以压缩深度神经网络数个量级而没有什么预测准确度损失。这种大型压缩能使机器学习在移动设备上运行。「深度压缩」是一种三阶段流程（图 4.1），它可以在保留原始准确度的情况下减小深度神经网络的模型大小。首先我们可以移除冗余连接而剪枝网络，这一过程只需要保留提供最多信息的连接（如第三章所述）。下一步需要量化权重，并令多个连接共享相同的权重。因此只有 codebook（有效权重）和索引需要储存，且每个参数只需要较少的位就能表示。最后，我们可以应用可变长度编码（Huffman 编码）来利用有效权重的不均匀分布，并在没有训练准确度损失情况下使用可变长度编码表征权重。我们最重要的观点是，剪枝与量化训练可以在不相互影响的情况下压缩神经网络，因此可以产生惊人的高压缩率。深度压缩令存储需求变得很小（兆字节空间），所有的权重都可以在芯片上缓存而不需要芯片外的 DRAM。而动态随机储存器不仅慢同时能耗还比较高，因此深度压缩可以令模型更加高效。深度压缩是第六章高效推断机（efficient inference engine/EIE）的基础，其通过压缩模型实现了显著的速度和能源效率提升。图 4.1：深度压缩的流程：剪枝、量化学习和可变长度编码表 4.1：深度压缩在没有准确度损失的情况下节约了 17 倍到 49 倍的参数存储需求。表 4.9：使用不同更新方法比较均匀量化和非均匀量化的结果。-c 仅更新形心（centroid），-c+1 同时更新形心和标签。ResNet-50 的基线准确度分别为 76.15% 和 92.87%。所有结果都经过再训练。图 4.10：非均匀量化的表现要好于均匀量化。图 4.10 和表 4.9 比较了均匀量化和非均匀量化的性能。非均匀量化指的是相邻编码的距离不为常数。量化训练是非均匀量化的一种形式，因为其不同编码的距离并不相同。对于非均匀量化（本研究），基线 ResNet-50 所有层级的参数可以压缩为 4 比特而没有准确度损失。然而对于均匀量化，基线 ResNet 所有层的参数只能压缩到 8 比特而没有准确度损失（压缩到 4 比特会产生 1.6% 的 Top-1 准确度损失）。非均匀量化可以很好的捕捉到权重的不均匀分布，而均匀量化不能很好的实现这一点。第五章 DSD: Dense-Sparse-Dense Training现代高性能硬件的出现使得训练复杂、模型容量巨大的 DNN 模型变得更加简单。复杂模型的优势是它们对数据的表达能力很强并且能捕捉到特征和输出之间的高度非线性的关系。而复杂模型的劣势在于，比起训练数据中所需要的模式，它们更容易捕捉到噪声。这些噪声并不会在测试数据中生成，从而使模型产生过拟合和高方差。然而，只是简单的减少模型容量会导致另一个极端：欠拟合和高偏差（机器学习系统不能准确捕捉特征和输出之间的关系）。所以，偏差和方差很难同时优化。为了解决这个问题，我们提出了 dense-sparse-dense（DSD）训练流，以正则化深度神经网络，防止过拟合并达到更高的准确度。传统的训练方法通常是同时训练所有的参数，而 DSD 训练法会周期性的修剪和恢复神经连接，训练过程中的有效连接数量是动态变化的。剪枝连接允许在低维空间中进行优化，捕捉到鲁棒性特征；恢复连接允许增大模型的容量。传统的训练方法只在训练开始的时候将所有权重初始化一次，而 DSD 训练法允许连接在周期性剪枝和恢复的中有多于一次的机会执行初始化。DSD 的一个优势是最后的神经网络仍然拥有和初始的密集模型同样的架构和维度，因此 DSD 训练不会产生任何额外的推断成本。使用 DSD 模型进行推断不需要指定专门的硬件或专门的深度学习框架。实验证明 DSD 可以可以提高多种 CNN、RNN 和 LSTM 在图像分类、生成文字描述和语音识别任务的性能。在 ImageNet 上，DSD 提升了 GoogleNet Top-1 准确度 1.1%、VGG-16 Top-1 准确度 4.3%、ResNet-18 Top-1 准确度 1.2%、ResNet-50 Top-1 准确度 1.1%。在 WSJ』93 数据集上，DSD 把 DeepSpeech 和 DeepSpeech2 的错误率（WER）分别降低了 2.0% 和 1.1%。在 Flickr-8K 数据集上，DSD 将 NeuralTalk BLEU 的分数提高了 1.7 以上。图 5：DSD（Dense-Sparse-Dense）训练法中迭代进行剪枝和恢复权重的过程。第六章 EIE：用于稀疏神经网络的高效推断机6.1 介绍第三、四、五章介绍了三种提高深度学习效率的方法，本章着重介绍高效实现这些方法的硬件，「高效推断机」（EIE）[28]。该机器可以在稀疏的压缩模型上直接执行推断，节省内存带宽，实现大幅加速和能耗节约。通过剪枝和量化训练 [25] [26] 实现的深度压缩能够大幅降低模型大小和读取深度神经网络参数的内存带宽。但是，在硬件中利用压缩的 DNN 模型是一项具有挑战性的任务。尽管压缩减少了运算的总数，但是它引起的计算不规则性对高效加速带来阻碍。例如，剪枝导致的权重稀疏使并行变的困难，也使优秀的密集型线性代数库无法正常实现。此外，稀疏性激活值依赖于上一层的计算输出，这只有在算法实施时才能知道。为了解决这些问题，实现在稀疏的压缩 DNN 模型上高效地运行，我们开发了一种专门的硬件加速器 EIE，它通过共享权重执行自定义的稀疏矩阵乘法，从而减少内存占用，并在执行推断时实现大幅加速和能耗节约。EIE 是处理单元（processing element／PE）的一种可扩展数组（scalable array）。它通过在处理单元上交织（interleave）矩阵的行来分配稀疏矩阵并实现并行计算。每个处理单元在 SRAM 中存储一个网络分区，与子网络共同执行计算。EIE 利用了静态权重稀疏性、动态激活向量稀疏性、相对索引（relative indexing）、共享权重和极窄权重（4 比特/extremely narrow weights）。图 6.1：压缩 DNN 模型在 EIE 上运行。EIE 架构如图 6.1 所示。EIE 以压缩稀疏列（compressed sparse column，CSC）格式存储权重不为零的稀疏权重矩阵 W。EIE 只在权重和激活值都不为零的情况下执行乘法。EIE 以游程编码（run-length encoded）格式存储每个权重的地址索引。在量化训练和共享权重之后，每个权重只占用 4 比特，它们可访问由 16 个寄存器实现的查找表以解码成 16 比特权重。为评估 EIE 的性能，我们创建了行为级仿真和 RTL 模型，然后将 RTL 模型综合、布局布线，以提取准确的能量和时钟频率。将 EIE 在九个 DNN 基准上进行评估，它的速度分别是未压缩 DNN 的 CPU 和 GPU 实现的 189 和 13 倍。EIE 在稀疏网络上的处理能力为 102 GOPS/s，相当于在同等准确度的稠密网络上 3 TOPS/s 的处理能力，且仅耗散 600mW 的能量消耗。EIE 的能耗分别比 CPU 和 GPU 少了 24,000 倍和 3,400 倍。EIE 的贡献如下：稀疏权重：EIE 是第一个用于稀疏和压缩深度神经网络的加速器。直接在稀疏压缩模型上运行可使神经网络的权重适应芯片上 SRAM，比访问外部 DRAM 节省 120 倍的能耗。通过跳过零权重，EIE 节省了 10 倍的计算周期。稀疏激活值：EIE 利用激活函数的动态稀疏性来节约算力和内存。EIE 通过避免在 70% 的激活函数上的计算节约了 65.16% 的能量，这些激活函数在典型深度学习应用中的值为零。权重编码：EIE 是第一个用非统一量化、极窄权重（每个权重 4 比特）利用查找表执行推断的加速器。与 32 比特浮点相比，它获取权重节约了 8 倍的内存占用，与 int-8 相比，它节约了 2 倍的内存占用。并行化：EIE 引入了在多个处理单元上分配存储和算力的方法，以并行化稀疏层。EIE 还引入架构改变以达到负载平衡和优秀的扩展性。第七章 结论深度神经网络改变了大量 AI 应用，也正在改变我们的生活。但是，深度神经网络需要大量的计算量和内存。因此，它们很难部署到计算资源和能源预算有限的嵌入式系统中。为了解决该问题，我们提出了改善深度学习效率的方法和硬件。图 7.1：论文总结本文从三方面研究如何提高深度学习的效率：利用深度压缩实现更小的模型大小、利用 DSD 正则化实现更高的预测准确度，以及利用 EIE 加速实现快速、能耗低的推断（图 7.1）。这三个方面遵循相同的原则：利用神经网络的稀疏性进行压缩、正则化和加速。论文地址：https://stacks.stanford.e/file/druid:qf934gh3708/EFFICIENT%20METHODS%20AND%20HARDWARE%20FOR%20DEEP%20LEARNING-augmented.pdf百度AI实战营·深圳站将于 10 月 19 日在深圳科兴科学园国际会议中心举行，AI 开发者与希望进入 AI 领域的技术从业者请点击「阅读原文」报名，与百度共同开创人工智能时代。

00:27封面新闻 记者 宋潇3月27日，云南财经大学一教授在网络发文:自己的博士论文，与湖南大学一名研究生刘梦洁发表于2018年的硕士论文高度重合。该教授称自己被剽窃的这篇论文，是她2017年的国家自然科学基金申请书，而湖南大学这名研究生的导师，“刚好”就是当年评议课题项目申请书的评审专家洪源副教授。4月2日，湖南大学官微发布关于刘梦洁硕士学位论文涉嫌学术不端问题的调查及处理说明，称决定撒销涉事的刘梦洁硕士学位,给予其导师洪源警告处分，取消其导师资格，调离教学岗位。封面新闻曾对此事进行过持续跟踪报道，并采访到当事人的学生、学校等众多“知情者”。此事是否尘埃落定？留给学术界的反思空间又有多少？抄袭“罗生门”3月27日，“科研狗的基金梦”通过微博发帖称，湖南大学一名硕士毕业生刘梦洁的学位论文涉嫌抄袭她的博士论文选题，该选题同时也是其国家自然科学基金项目。一时间，引发轩然大波。随后，封面新闻记者采访得知，该博主为云南财经大学会计学院的一副教授。在采访中，记者联系到该教授带的一名学生，她告诉记者，教授正在整理举报材料。据描述，刘梦洁抄袭的论文不仅是其导师的博士论文选题，还是她2017年提交的国家自然科学基金申请书，“刘梦洁的导师是洪源副教授，曾经还来学校找过我导师，希望能够通过道歉，私下协商。”湖南大学官网显示，洪源为该校经济与贸易学院财税系副教授，博士生导师，研究领域为财税理论与政策、政府债务风险管理、财政绩效管理、公共预算管理，主持过多个国家自然科学基金项目。而据该同学透露，洪源曾在电话中说，“对自己学生抄袭一事不知情，可能是她自己到办公室偷的。”网络“讨伐”从发现“被抄袭”开始，云南财大这名教授就一直在和湖南大学研究生院以及洪源一方沟通，沟通无果后，她将“战场”转向网络。不曾想，正是这一举动，引起了湖南大学的高度关注。3月28日早上10：17分，湖南大学官方微博发布通报称，近日，网络上出现了对我校硕士毕业生刘梦洁学位论文涉嫌学术不端的反映。学校对此高度重视，立即成立专门工作组展开核查，结果将及时公布。我校对于学术不端行为一贯零容忍，一经查实，将依法依规严肃处理。3月29日，湖南大学继续发布进展:我校专门工作组对硕士毕业生刘梦洁学位论文涉嫌学术不端等相关问题的核查，已完成事实取证等工作，现已进入后期处理程序。结果将第一时间公布。方向逐渐明晰，结果正一步步浮出水面。调查结果出炉4月2日傍晚，湖南大学官微发布关于刘梦洁硕士学位论文涉嫌学术不端问题的调查及处理说明，称决定撒销涉事的刘梦洁硕士学位，给予其导师洪源警告处分，取消其导师资格，调离教学岗位。说明称，2019年3月21日,湖南大学成立专门工作组,对学校专业学位硕士毕业生刘梦洁的学位论文涉嫌学术不端问题认真开展调查。经查,刘梦洁的硕士学位论文《腐败对我国企业逃税的影响研究》存在抄袭现象，构成学术不端行为。刘梦洁的导师洪源在评审完云南某高校教师国家自然科学基金申报项目之后，未及时销毁评审材料，违反了《国家自然科学基金项目评审专家行为规范》。刘梦洁私自摘抄了该基金申报书部分内容用于自己的学位论文。洪源对刘梦洁的硕士学位论文未能认真履行审查把关职责。依据《中华人民共和国教师法》《中华人民共和国学位条例》《事业单位工作人员处分暂行规定》《高等学校预防与处理学术不端行为办法》《湖南大学研究生学术道德规范实施细则》等相关规定，学校决定撒销刘梦洁硕士学位，给予洪源警告处分，取消其导师资格,调离教学岗位。学校将深刻反思，加强管理，坚持对学术不端行为零容忍，发现一起，查处一起，绝不姑息。“继续认真做科研！”4月2日晚上，记者从李同学处得知，目前他们已经看到了湖南大学的调查结果，“感谢关心和支持我们的人，结果出来了，接下来我们会积继续认真做自己的科研工作！”据她透露，她的导师从一开始就不愿意接受采访，只是心中笃定，“事实就是事实，只要等调查结果就好。”而在之前的采访中，李同学反复跟记者强调，她的导师只是一名普通的大学教师，一名辛苦耕耘的科研工作者。

10月21日，媒体报道了两年前清华大学11篇材料科学领域论文因学术不端遭到撤稿一事，引发热议。当天晚上，清华大学深圳研究生院回应称，早在2017年4月，其已经会同学校有关部门，对涉事论文作者、该院2010级博士生叶肖鑫涉及严重学术不端问题进行了严肃处理，撤销了其博士学位。这一处理结果在校内进行了公告。2017年6月，该院停止了叶肖鑫导师唐国翌教授的研究生招收资格，撤销了其材料学科负责人和新材料研究所副所长职务，目前唐国翌已办理退休手续。而在媒体曝光之前，清华大学从未就此事公开发声，也没有向社会公布调查结果和处理意见。中国社会科学院科学技术和社会研究中心主任段伟文研究员告诉科技日报记者，由于科研管理部门尚未针对学术不端出台处理细则，相关机构即使遇到造假行为，也会持观望态度。“这类事件的关注度不高，如果相关部门施加的压力不够大，当事机构就会以‘拖字诀’应对，希望大事化小、小事化了。”因审稿人邮件引发的学术“打假”10月19日，撤稿观察（retraction watch）网站以大篇幅报道了清华大学撤稿事件。文章指出，撤稿原因是重复使用、滥用图片，欺骗性署名以及其他学术不端行为。这些论文发表于2014到2016年。一些图片在不同的论文里反复出现，描述完全不同的材料或样本。此外，论文团队还擅自给论文增加署名——被署名者对论文发表一事完全不知情。仔细看下来，这11篇论文的作者都涉及同一个人——唐国翌。唐国翌今年已经64岁，主要从事相变储能材料等方面的研究。10月21日，有媒体贴出了清华大学深圳研究生院“能源与环境学部”教师列表截图，唐国翌的名字在“正高”一栏。不过，21日晚上科技日报记者再次查看网站同样页面时，唐国翌的名字已经消失。在这些被撤稿论文里，清华大学材料科学与工程系博士生叶肖鑫的名字也频繁出现。他已经于2015年毕业。网上一份疑似叶肖鑫本人制作的PPT中列出了他以第一作者身份发表的16篇论文，均为和唐国翌合写。叶肖鑫在2015年被提名清华大学“学术新秀”。在那份PPT上，叶肖鑫说，他的学术目标是当一名教授。记者21日以多种方式联系唐国翌和叶肖鑫，均未得到回复。那么，他们的学术不端行为是如何被发现的呢？研究者蒂艾宁（Tiainen）告诉撤稿观察网站，他们之前不断接到一位审稿人的邮件，要求他们引用一些“看起来毫不相关”的论文。很明显，这位审稿人希望增加自己论文的引用量。审稿人表现得过于急切又强硬，激发起了这位研究者的反叛心理——我倒是要看看，你要我引用的论文究竟是什么来头？这一“好好看看”，就看出了意外收获。蒂艾宁和团队从被要求引用的论文开始“顺藤摸瓜”，发现唐国翌团队的论文中，有两篇结论几乎一样，有16篇只是对文章和图表进行重新编排和略微修改……于是，他们向相关期刊编辑部揭发了此事。专家：莫错把成果量化指标当成研究本身为何名校会身陷“撤稿门”？段伟文表示，从清华的撤稿事件可以看出，低水平、低质量和虚假研究大量存在，但又缺乏有效的监督机制。“导致学术不端的一个重要诱因，是相关部门、高校和研究机构错把一些成果量化指标和学科评估结果当作科学研究本身，诱使部分科研人员为追求量化评分不择手段，在偏离科学研究的本义和违背科学精神的道路上越走越远。”段伟文认为，现如今科研界出现了一些问题：定向研究使科研活动变得更加浮躁，每个人都急于拿新的项目，而不愿意质疑与之关系不大的数据与实验的真实性；在科研文化上，对成果数量和所谓期刊等级的强调与科学精神相去甚远，制造了大量低水平成果甚至虚假成果；科研人员的相对过剩与过度竞争，使发表论文的目标被扭曲为职业生涯目标…… “这些问题的关键在于，它们使研究者的个人目标与科学研究的目标发生了方向性冲突，这种冲突所导致的研究行为的扭曲，又很难通过现有机制得到系统性防范。”段伟文坦言。他的建议是，要充分发挥科学共同体的自治功能，也要从科学研究的范式变革入手，倡导“开放科学”，强调数据、研究过程和成果的共享。“这种机制至少可以先在得到研究基金支持的相关项目中试验推广，它的实施可以减少重复性研究，提高研究资源的使用效率，使科研质量更有保证。”（原题为《科研诚信出了问题，不该遮遮掩掩》）

本文不谈如何写论文，因为之前写过，如《如何高效撰写科研论文》、《如何在科研论文中体现创新点》，有需要的朋友可以在我百家号找到。这篇是以本人经验，来说明我读博期间写论文的过程，中间会穿插一些写论文的技巧。第一步是这样走的提前入课题组，不久老师回国交代课题方向：一种全新的设计方法，需要我设计小设备。小设备出来，实验完成，导师告诉应该发论文。第一次写论文，写的很菜，导师帮助修改了大概二十次。然后告诉我是新东西，要求发到《机械工程学报》（中文期刊里，机械类的老大）。投稿，等待，被拒。后修改排版发到学校校报。发论文过程中，查中文论文用中国知网比较多，外文期刊ScienceDirect比较多，学术论坛小木虫用的比较多。这几个地方，没有哪个博士研究生不知道，简直不要太熟悉。中间为了凑够毕业标准，发了会议论文，并到香港参会，其实就是转转，见见世面。基本每个课题组都会给学生一次外出参会的机会，我们可以利用这个机会，发一篇会议，然后到外面看看。其实我们知道会议论文也就那么回事，虽说也是EI，但是层次是很不高的。第二步是这样走的导师要求设计大设备，内容包括：画模型，请教技工，修改设计，出图纸，请教工程师，改图纸。这期间，空余时间将组内成形方法进行总结，发了综述。脑海里对成形过程的载荷分析进行反思，认为这个是一个点子，可以写论文。很多时候，如果没有什么事情，可以总结总结组内的一些论文，写写综述之类。有时候我们突然冒出个好点子，千万不要让它们跑掉，写下来或记下来，慢慢思考、发酵，最后写下来就是一篇好论文。第三步是这样走的同组兄弟导师帮发SCI，已可以毕业。自己的毕业标准还没有达到，于是一狠心，写了两个月，写出SCI。冒险投了领域内较好的期刊，发回修改，英语不过关，同学帮忙润色。添加一些实验素材。等待，接收，毕业前出页码（有的单位SCI出页码即可，EI出检索号即可）。如果感觉自己的东西是好东西，很有创新性，那就胆子大一些，投些好期刊。还要注意自己的英语，如果不行，就请同学帮忙润色。那些总发SCI的同学，经验会比较丰富，多跟他们交流。第四步是这样走的请教总工，改图纸，指导生产，装配。在这个期间，谋划写第二篇SCI，点子来自于之前对成形载荷的思考。设备实验成功，成形过程没问题。很快就开始大论文写作，中间写第二篇SCI及成形过程的一些工艺研究。大论文接近完成，SCI发出。答辩完成，SCI Under Review。毕业时，SCI接收。大论文要预留至少半年的时间，充分准备。因为博士论文需要外审，所以质量一定要高。我们当时有校盲（比例小但是风险大），院盲（非校盲的，风险小些）。我当时一下子被抽到校盲，紧张的要命。审稿意见回来，马上修改论文，还好最终通关。三年的时间就这样过去了，博士读得也很辛苦。因为在三十左右的年龄，要考虑自己的家庭，要考虑父母，要考虑毕业，总之，生活的压力无时无刻不包裹着像我一样的穷博士。俗话说得好，不被扒层皮，怎么能毕业？

他是中国科大培养的天才科学家，读博士时就发表40篇论文，并获选全国百篇博士优秀论文，同时提前一年毕业。28岁入选中国科学院“百人计划”回母校中国科学技术大学工作，29岁成为中国科学技术大学最年轻的教授、博士生导师之一。2004年获得著名的美国斯隆研究奖，成为中国本土培养的博士中第一个获得该奖的科学家。在国内科研方面顺风顺水的时刻，他选择了前往美国任教，而且成就斐然：先后担任自美国密歇根大学助理教授 ，2007年获得终身教席，2009年当选美国物理学会会士，2012年任密歇根大学费米讲席教授。非常值得高兴的是，2018年，他正式辞去美国密歇根大学费米讲席教授职位，全职来清华大学交叉信息院工作。2019年4月24日，他正式获聘首位“清华大学基础科学讲席教授”。他就是段路明，一位天才级的科学家。他的全职回国或将大大助力中国量子科学研究进入世界前列。中国科大培养的杰出科学家段路明1972年8月出生于安徽桐城。1990年毕业于桐城中学，因化学竞赛取得优异成绩，被保送到中国科学技术大学。在中国科学技术大学先后获得学士（1994年）和博士（1998年）学位，师从于中国科大量子通信与量子计算开放实验室主任郭光灿教授。在校学习期间，他就以良好的理论功底、敏捷的科学思维斩露头角，读博士时就在《物理评论快报》发表2篇论文、总计有40篇论文发表、并获选全国百篇博士优秀论文。他以出色的表现，提前一年毕业。留校后，段路明在良好的科研环境里如鱼得水，不断取得科研的进展。其中，他与郭光灿教授合作在国际上首先提出量子概率克隆原理，这个原理被国际同行称为“段－郭概率克隆机”，其推导的最大概率克隆效率公式，被称为“段－郭界限”。段路明也被破格晋升职称，2001年，年仅29岁成为中国科大最年轻的教授、博士生导师之一，并担任了实验室副主任等重要学术职务。他还以在量子物理研究中的优异成绩，于1999年担任了美国《物理评论快报》的特邀审稿人，2000年又成为英国《自然》杂志的特约审稿人。1999年，段路明来到国际量子科学研究的著名学府——奥地利茵斯布鲁克大学从事博士后研究工作。在被誉为“音乐的圣殿”的奥地利，段路明夜以继日的谱写着量子通信和量子计算的美妙乐章。在不到两年的时间里，他的多篇论文以全新的观点、独特的思路和对整个领域的杰出贡献，奏响了量子研究领域的一个又一个“高音”。2001年，段路明到美国加州理工学院从事博士后研究，并入选“中国科学院引进国外杰出人才”计划。在2004年公布的美国斯隆研究奖(Sloan Resarch Fellowship Award)揭晓，中国科学技术大学段路明教授荣获该奖。据悉，116名获奖者中有16位华裔科学家，段路明是其中唯一在中国取得博士学位的获奖者。海外任教，助力清华量子科学研究不过，在国内科研方面顺风顺水的段路明并未选择继续留在国内，而是前往美国任教，并很快成为美国密歇根大学教授（2007年）。2012年，担任密歇根大学费米讲席教授。在美国，顶尖高校的讲席教授，一般都是最杰出的科学家才能担任，可见段路明的成就之高了。在美国密歇根大学任教的同时，段路明同时也兼任了清华大学姚期智讲座教授，帮助建设清华大学交叉信息研究院。2010年，全职回国的姚期智正计划在清华组建一支能在量子计算领域做出创新工作的团队。在过去的几十年里，姚期智亲眼见证了中国在世界微电子领域竞争中的“错过”，他意识到未来量子信息和量子科技将成为新的发展点，中国必须得跟上。而量子计算除了需要理论计算机专家外，同样也需要懂量子计算的物理学家。于是，姚期智想到了段路明。2010年10月的一天上午，当时正是北京时间的深夜，段路明在密歇根大学正准备给学生上课，突然间身边的电话响了，显示号码是北京，他万万没想到，电话那头居然是姚期智本人。姚期智在电话里表示希望段路明发挥在实验设计方面的优势，为清华成立量子网络研究平台作出开创性的工作。接到电话后，段路明感到既兴奋又忐忑，研究直觉告诉他这将是一片大有可为的天地，但长时间的国外生活和研究经历也让他心存顾虑。但后来更让他没有想到的是，两个星期后，姚期智专程飞到密歇根大学与他会面。经过这次为期几天的停留，姚期智与段路明初步勾勒出清华量子信息中心的蓝图。两个月后，也就是2010年岁末，段路明加盟清华量子信息中心的建设。凭借姚期智在学术界的威望，以及段路明在物理学界的影响，积极延揽人才，量子信息领域一批年轻学者开始将目光投向清华。2011年1月，经过不到两个月的筹划，清华大学量子信息中心揭牌成立。成立四年来，清华大学量子信息中心在段路明等教师的共同努力下，取得了丰硕的研究成果。2014年10月，段路明研究组首次在常温固态系统中实现了抗噪的几何量子计算，该成果是量子计算研究领域取得的重要进展，研究论文发表在国际著名期刊《自然》上。更为可喜的是，论文第一作者祖充是交叉信息研究院在读博士生，共同完成文章的还有两名本科生。科研与教学园地里多年来的辛勤培育，逐渐开花结果。全职加盟清华，担任长聘教授根据清华大学交叉信息研究院官网的报道，2018年辞去美国密歇根大学费米讲席教授职位，全职来清华大学交叉信息院工作。2019年4月24日，段路明获聘首位“清华大学基础科学讲席教授”。段教授完成了量子信息领域一系列开创性的工作，提出实现长距离量子通信网络的量子中继方案，被国际同行誉为“DLCZ”（Duan-Lukin-Cirac-Zoller）方案，为该领域的奠基性方案，引发了世界上关于DLCZ方案的研究热潮。段教授提出通过量子网络互联进行规模化量子计算的方案，为一些量子计算大型合作项目奠定了理论基础，并受邀在物理学权威期刊《现代物理评论》上撰写此方向的综述。段教授在物理学著名学术期刊发表论文160余篇（其中《物理评论快报》48篇，《自然》8篇，《科学》3篇，《自然》、《科学》子刊10篇），共被引用24,600多次。期待取得更大成就目前，中国虽然在诸多科技领域都与世界有或多或少的差距，但中国在量子信息技术领域却处于较为领先的地位。在量子保密通信方面，中国也已经取得了一系列重大国际突破。2016年8月16日，世界第一个量子科学实验卫星“墨子”号升空。2017年8月，“墨子号”在国际上首次成功实现了从卫星到地面的量子密钥分发和从地面到卫星的量子隐形传态，而这也被《自然》杂志誉为“量子通信领域的里程碑”。在量子计算研究领域，中科大潘建伟团队一直在量子计算的核心资源“多粒子纠缠”的制备与操纵上处于国际领先地位。2015年，该团队和阿里巴巴合作成立了“中科院-阿里巴巴量子计算联合实验室”，在保持光量子计算世界领先地位的同时，将大力推动我国量子计算整体研究水平。不过，一切都不能太过乐观。目前，世界主要发达国家都在投入巨资发展本国的量子信息技术，抢先开启本国的“量子时代”。段教授此时全职加盟清华，正当其时。他的加盟，势必将为大大助力清华大学量子信息技术研究，同时更进一步地我国量子计算整体研究水平。来源：青塔、清华大学新闻网、中国科大新闻网