欢迎来到加倍考研网! 北京 上海 广州 深圳 天津
微信二维码
在线客服 40004-98986
推荐适合你的在职研究生专业及院校
拒签、停薪、被迫转方向:2020年,在美国留学、就业有多难大学

拒签、停薪、被迫转方向:2020年,在美国留学、就业有多难

机器之心报道机器之心编辑部「不要对美国签证政策做任何假设」「给自己留条后路」「把所有能走的路都想一遍」…… 这是来自在美留学生、国际学者的忠告。美国国土安全部 9 月 25 日提出一份针对留学生、交流访问者及外国记者所持非移民签证规定的修改意见,建议对持上述签证类型的人员在美逗留时间设置固定期限。这一「意见」将在征求公众看法、进行修改后形成最终规定。国土安全部的建议称,应该参考以学业或访问项目截止日期,来确定持 F 或 J 签证入境的非移民在美逗留期限,最长不得超过 4 年。这一新规,只是最近一段时间美国对于留学生签证政策众多变动的一小部分。9 月 9 日,美国国务院宣布,近期美国已经取消了超过 1000 名中国公民的签证。其涉及的人员多为学生及大学研究员,美方认为他们「对国家安全带来了威胁」。一连串的美国签证限制,已经让无数身处美国的国际研究者感受到了深切的不安。今年 7 月,特朗普政府宣布了一项备受争议的政策:不再向在秋季学期实行完全在线教学的学校 / 课程注册的学生发放签证,美国海关和边境保护局也不会允许这些学生进入美国。这项政策在八天后被废除,但还是给留学生群体和众多研究人员带来了相当程度的困扰。自 2015 年以来,美国的在读国际学生人数逐年减少,这一结果也在意料之中。随着各种签证政策的出台,美国正在逐渐丧失原本作为教育大国的魅力。当前,留学生的数量约占美国高校学生总数的 5.5%,人数约为 110 万,而中国留学生在其中占 1/3。2019 年美国门户开放报告数据显示,美国所有高校招收的国际学生人数均有所下降,包括本科、研究生和非学位。今年 5 月,《纽约时报》曾报道,特朗普正在考虑取消与中国军队有联系的数千名来自中国大学的留学生及研究人员的签证。在 5 月 29 日的 10043 号总统公告中提到,会「暂停和限制」寻求通过 F 或 J 签证进入美国学习或进行美国研究的任何中国公民非移民入境美国,同时包括目前或曾经受雇于实施或支持军民融合战略的机构,在实施或支持军民融合战略的机构学习或做研究的相关人员。随后,陆续有在美国大学就读或正在申请美国大学的中国学生表示,自己的签证已被取消或被拒签。这些人中包括研究生,也包括本科生,很多都是来自哈工大、北航等这些处于美国商务部实体名单之上的高校。更早之前,美国政府曾宣布暂停部分种类工作签证的发放,包括适用于技术型人才的 H-1B 签证、适用于跨国公司管理人员和专业人员的 L 签证,以及适用于园艺工人和其他工业领域工作人员的 H-2B 季节性工人签证等,且该项政策将持续到 2020 年底。H-1B 是美国最主要的工作签证类别,它是美国签发给在该国从事专业技术类工作的人士的签证。而白宫暂停 H-1B 签证签发的举措将对技术领域带来巨大影响,此举引发了业界的强烈反对和抵制。斯坦福大学教授吴恩达曾公开表示:「暂停 H-1B 签证对美国、对创新绝无益处,这将破坏人们的梦想、扰乱他们的生活。」长期来看,不断收紧的签证政策最终将导致科研人才的流失,威胁到美国科学领域的发展和创新。近日,《Nature》杂志对几位国际研究者进行了专访,在这些故事中,由于政府的签证禁令和旅行限制,他们的职业道路和人生理想已经被迫发生改变。被签证打乱的职业生涯「我建议国际学者们:在这种不确定的时期,回国之前一定要想清楚。」这是美国埃默里大学理论化学博士后研究员 Chenyang Li 给海外留学生、学者的建议。Chenyang Li 博士毕业之后拿到了 H-1B 签证,2019 年 12 月又续签了 6 年。在疫情爆发之前,他正打算在中国或美国找一份教职。2019 年 12 月,Chenyang Li 受邀回国参加了一场青年学者研讨会,希望借此得到一些工作机会。但始料未及的是,国内工作没找到,美国也回不去了。2019 年 12 月 31 日是 Chenyang Li 回美签证面试的时间。在他往返中美的几年里,这一流程几乎都没有出过什么问题,回美签证往往一两个月就能下来。但这次,面试官问他的问题有些不一样了,比如「你电脑里的代码是否有利可图?」在 1 月 23 日疫情爆发之前,Chenyang Li 的签证都没有被批准。疫情爆发之后,领事馆关闭,所有的签证流程也都停了。到了 2 月份,Chenyang Li 收到通知:签证正在积极办理中。但没想到的是,随着疫情的不断蔓延,Chenyang Li 等来的是特朗普政府的签证禁令。目前,Chenyang Li 已经在国内待了大半年。由于拿的是 H1B 签证,他从 6 月份开始就拿不到埃默里大学的薪水了。Chenyang Li 打算在国内找份工作,但在他的领域,国内只有少数机构非常重视理论化学。如果进不了这些机构,他可能不得不转到应用化学领域。对于这种情况,西奈山伊坎医学院的俄罗斯博士生 Gloriia Novikova 早有预料。为了避免签证被拒,她已经三年没回过俄罗斯了。一旦被拒绝入境,她的阿尔茨海默病研究就会毁于一旦。在这种不确定的研究氛围下,不少留学生正在考虑回国。波士顿大学认知和决策博士生 Yixin Chen 表示,「2018 年刚来的时候,我觉得我会留在学术界从事博士后研究。但最近,我和我认识的留学生几乎都在重新考虑未来的职业生涯。我现在更倾向于去业界或回国找一份工作,而不是在美国继续从事博士后研究。」Yixin Chen 的担心不无道理。在美国,追求一份终身教职本来就很困难,如今,摇摆不定的签证政策和大学日益收紧的经费使得这一选择变得更加艰难。当然,除了回国之外,也有不少人在考虑其他国家的备选方案。Umair Ahsan 是一位来自巴基斯坦的博士后研究员,他从澳大利亚拿到了博士学位,2019 年开始在康奈尔大学进行博士后研究,拿的是 J-1 签证。在他的新婚妻子申请配偶签证(J-2)被拒和特朗普政府宣布停发 J-1 签证之后, Ahsan 决定回巴基斯坦。他表示,「特朗普的签证政策正在影响很多人的研究生涯,迫使他们做出艰难的选择。」Umair Ahsan 在采访中提到,他之后可能会去澳大利亚从事博士后研究,他和妻子都申请到了永久签证,而且是在网上申请的。他告诫美国的海外研究者:「如果你是一位打算去美国的国际研究者,一定要给自己准备一个 B 计划。如果你的配偶或伴侣计划和你一起搬到美国,建议你们一起去同一个大使馆申请签证。」后疫情时代,国内外就业形势严峻除了签证问题之外,留学生和海外学者今年面临的就业形势也不容乐观。《Nature》近日对全球博士后的一项调查结果显示,南美洲的博士后普遍对职业前景感到担忧,70% 的受访者表示他们的职业前景从疫情一开始就受到了打击。而在其他地区,认为疫情影响了自身职业前景的博士后也不在少数。北美洲和中美洲的受访者中有 68% 的人认为职业前景受到了影响,在澳洲占 68%,亚洲占 61%,非洲占 59%,欧洲占 54%。在国内,有 54% 的受访者表示他们的职业前景已经遭受重创。有调查报告显示,有 30.4% 的企业表示会减员,29.68% 的企业无法按时发放薪资,无影响的企业仅占 17.81%。企业裁员、减员、人员优化的情况屡见不鲜。疫情已经成为博士后职业前景的一大挑战,后疫情时代,全球就业市场均可能面临大面积的招聘停摆。留学生的大量归国也加剧了国内就业市场的竞争。BOSS 直聘上周发布的《2021 秋招早鸟报告》显示,今年留学生的求职规模翻倍,2020 届留学生是留学生活跃求职的主要群体。在这些人中,拥有硕士及以上学历的比例高达 65%,且相当比例就读于海外名校,加剧了应届生整体求职竞争的激烈程度。

而况我乎

竞赛比完代码模型怎么处理?Kaggle大神:别删,这都是宝藏

机器之心编辑部那些被遗忘的竞赛项目代码、权重可能也是一笔宝藏。很多人可能参加过许多比赛,做过许多项目,但比赛或项目结束之后,曾经写过的代码、用过的模型就被丢到了一边,甚至不久就被删掉。这种情况并不只存在于比赛中,在学术领域同样存在。当学生训练完模型、写完论文并被学术会议接收后,该模型的 pipeline 就会被抛弃,训练数据也随之被删除。这是不是有点太可惜了?长期参加 Kaggle 比赛的 Vladimir Iglovikov 在自己的博客中指出了这个问题,并提出了一些重新利用这些资源的建议。Vladimir Iglovikov 是一位 Kaggle Grandmaster,曾在 Kaggle 全球榜单中排名第 19,拿到过 Carvana 图像遮蔽挑战的冠军(他的个人经历参见:《Kaggle Grandmaster 是怎样炼成的》)。在他看来,竞赛中曾经用到的代码、权重等资源是一笔宝贵的财富,可以帮助你巩固技术知识、树立个人品牌、提高就业机会。为了解释这些资源资源的价值,他还专门创建了一个 GitHub 项目(retinaface)来讲述文本的建议。项目链接:https://github.com/ternaus/retinaface以下是博客的具体内容。花 5 分钟将代码发布到公开的 GitHub 存储库很多时候,你的代码可能已经存到 GitHub 上了,但是是存在私人库里。那公开又有什么损失呢?某些情况下,有些代码确实不宜公开,但你在 Kaggle 里做的那些练手项目、解决方案和论文或许没这个必要。为什么有些人不愿公开呢?因为很多人认为,「所有公开发布的代码都应该是完美的,否则就会遭到批判。」但实际情况是,其他人根本不 care,你只管发布就行。公开代码是心理防线的一次重大突破,公开不完美的代码更是一个自信、大胆的举动。所有后续步骤也都在这一步的基础上展开。花 20 分钟提升代码可读性你可以通过添加语法格式化工具和检查工具来提升 python 代码的可读性。这并不困难,也并不费时。检查工具和格式化程序不会将烂代码变成好代码,但其可读性会有所提升。以下是具体步骤:步骤 1:文件配置将这些文件添加到存储库的根目录。setup.cfg — flake8 和 mypy 的配置。pyproject.toml — black 的配置。步骤 2:requirements用以下命令安装所需的库:步骤 3:black格式化代码的方法有 100500 多种。诸如 black 或 yapf 之类的格式化工具会按照一组预定义的规则来修改代码。阅读具有一定标准的代码库会更加容易。当你花费几个小时编写代码并需要在不同的编码风格之间切换语境时,你的意志力会被消耗殆尽。因此,没有充分的理由就不要这么做。运行以下命令将重新格式化所有的 python 文件以遵循 black 的规则。步骤 4:flake8运行以下命令不会修改代码,但会检查代码中的语法问题并将其输出到屏幕上。然后修改这些问题。步骤 5:mypyPython 没有强制性的静态类型化,但还是建议将类型添加至函数参数并返回类型。例如:你应该在代码中添加键入内容。这会让代码读起来更容易。你可以使用 mypy 包检查参数和函数类型的一致性。更新代码后,在整个存储库上运行 mypy:如果 mypy 出现问题,修复它们。步骤 6:预提交钩子(hook)一直手动运行 flake8、black 和 mypy 会觉得厌倦。一个名为 pre-commit 的钩子能够解决这个问题。要启用它,可以将以下文件复制到你的存储库中:https://github.com/ternaus/retinaface/blob/master/.pre-commit-config.yaml你需要使用以下命令安装 pre-commit 包。使用以下命令进行初始化:安装完成后,每次提交都会经历一组检查。当提交中有错误时,检查不会允许提交通过。这和手动运行 black、flake8 以及 mypy 的不同之处在于,它不会乞求你修复问题,而是强制要求你做这件事。因此,这种方法不会浪费你的意志力、步骤 7:Github 操作你已经向 pre-commit 钩子中添加了检查步骤,并在本地运行了这些步骤。但是你还需要第二道防线——让 GitHub 在每个拉取请求上运行这些检查步骤。你要做的就是将以下文件添加到存储库中:https://github.com/ternaus/retinaface/blob/master/.github/workflows/ci.yml执行以下代码来告诉 GitHub 要检查什么:我还建议放弃将代码直接推送到 master 分支的做法。你可以创建一个新的分支、修改代码、提交、放到 Github 上、创建 PR 请求,然后合并到 master。这是一项行业标准,但是在学术研究和 Kaggle 参赛者中却不常见。如果你对这些工具不熟悉,可能需要花 20 分钟添加它们并修复错误和警告。记住这次的操作。在下个项目中,你可以在没写代码之前就在第一次提交中添加这些检查。从这个时候开始,每次小的提交都会被检查,你每次最多只需要修复几行代码。这么做开销很小,也是一个良好的习惯。花 20 分钟写一个优秀的 readme好的 readme 有两个作用:对你自己而言:可能你认为你永远都不会再用到这些代码了,但实际上并不一定。下次用的时候你可能也记不得它的具体内容了,但 readme 可以帮到你。对其他人而言:readme 是一个卖点。如果人们看不出该存储库的用途以及它所解决的问题,大家就不会使用它,你所做的所有工作都不会对他人产生积极影响。一个机器学习库的最低要求是说明以下问题:用一张图来说明任务是什么以及如何解决,而不需要任何文字。在花了几周解决问题之后,你可能有 100500 张图,但你不能把他们放在 readme 里;数据放在哪里;怎样开始训练;如何进行推理。如果你需要写 100500 个词来描述怎样运行训练或者推理,那就说明你的项目存在问题了。你需要重构代码,使它对用户更加友好。人们经常会问:如何提高写代码的能力?这便是一个锻炼你的机会。你可能需要重写代码,尝试站在别人的角度看待你的 Readme。这是一个很好的锻炼机会,它能够让你学会从用户的角度看待问题。花 20 分钟提高模型易用性我猜你会编写如下代码来加载预训练模型权重。用上面的代码从 retinaface.pre_trained_models 中引入 get_modelmodel = get_model("resnet50_2020-07-20", max_size=2048)。如果权重不在磁盘上,那就会从网络上先下载下来再缓存到磁盘上。初始化模型,并加载权重,这对用户来说是很友好的,也是你在 torchvision 和 timm 库中所看到的。步骤 1:托管预训练模型的权重这对我来说是最大的障碍。如果不想使用 AWS、GCP,我要把模型的权重放在哪里?GitHub 上的 releases 是一个不错的选择。每个文件的大小限制是 2Gb,对大多数深度学习模型来说够用了。步骤 2:编写一个初始化模型和加载权重的函数。我给出的示例代码如下:在构建 Colab Notebook 和 WebApp 时会用到这个函数。花 20 分钟创建一个库这一步是为了降低你模型的入口点。步骤 1:向 requirements.txt 中添加必要的依赖,你可以手动更新或使用如下代码:步骤 2:改变存储库的文件结构创建一个「主文件夹」,在我给出的示例中,这个文件夹叫「retinaface」。将所有重要代码都放进这个文件夹,但不要把 helper 图像、Readme、notebook 或 test 放进去。手动操作这一步骤并更新所有的 import 会很累。PyCharm 或者类似的 IDE 会为你执行这一步骤。这是存储库中构建代码结构的常用方法。如果你想让其更加结构化,请查看 Cookie Cutter 包。步骤 3:添加配置文件向根目录中添加 setup.py,内容类似于示例文件「setup.py」中的内容。添加包的版本,在我的示例中,我将它添加到了主文件夹的 init 文件中。步骤 4:在 PyPI 上创建一个账户。步骤 5:搭建一个库并上传到 PyPI 上。你的存储库是一个库,每个人都可以使用如下命令安装它:如果你在 PyPI 上查看包的页面,你就会看到它使用你存储库中的 Readme 文件来陈述项目。我们将会在 Google Colab 和 Web App 上使用这一步的功能。花 20 分钟创建 Google Colab notebook将 Jupiter notebook 添加到存储库是一个好习惯,以展示如何初始化模型和执行推理功能。在前两个步骤中,我们使用了模型初始化和 pip install。接下来创建 Google Golab notebook。现在,只需要一个浏览器,就会有更多的人尝试你的模型了。别忘了在 readme 中添加 notebook 的链接,并在 PyPi 上更新版本。花 20 分钟创建 WebApp许多数据科学家认为构建 web 应用程序是一个复杂的过程,需要专业知识。这种想法是正确的。一个复杂项目的 web 应用程序确实需要很多数据科学家并不具备的专业知识,但构建一个简单的 web 应用程序来展示模型还是很容易的。我为一个 web 应用程序创建了一个单独的 GitHub 存储库。不过,你仍然可以在你的存储库中用你的模型来操作。这里有一篇描述具体细节的技术博客:https://towardsdatascience.com/deploy-streamlit-on-heroku-9c87798d2088。步骤 1:为应用程序添加代码:步骤 2:添加配置文件你需要添加以下文件:setup.sh — 该文件可以直接使用,不需要更改。Procfile — 你需要使用应用程序修改文件的路径。步骤 3:添加 requirements.txt 文件步骤 4:在 herokuapp 上注册步骤 5:执行以下代码:花 4 小时写一篇技术博客很多人低估了他们研究的价值。实际上你的文章很可能能够帮助别人,并且能够为自己的职业生涯提供更多的机会。如果要写机器学习方面的文章,我建议你包含以下内容:研究问题是什么?你是如何解决这个问题的?示例如下:项目:https://www.kaggle.com/c/sp-society-camera-model-identification博客:http://ternaus.blog/machine_learning/2018/12/05/Forensic-Deep-Learning-Kaggle-Camera-Model-Identification-Challenge.html花时间写篇论文,描述你在这场机器学习竞赛中的解决方案即使你的论文中没有重大突破,它也会被发表并帮到别人。撰写学术论文也是一项技能。你现在可能还不具备这种技能,但你可以与擅长学术写作的人合作。下面是我的 Google Scholar 引用情况,这几年引用量的猛增都得益于我写的那些总结机器学习竞赛的论文。当然,你的论文也包含在一个大包里,这个包里还有:GitHub 存储库,里面有整洁的代码和良好的 readme 文件。非机器学习人员能够使用的库。允许在浏览器中用你的模型进行快速实验的 Colab notebook。吸引非技术受众的 WebApp。用人类语言讲故事的博客文章。有了这些之后,它就不再只是一篇论文,而是一种综合性的策略,可以显示你对该项目的所有权,还能帮助你与他人进行沟通。这两者对于你的职业生涯都是至关重要的。

水仙

数字孪生,助力智能制造落地

导 读 数字孪生(Digital Twin)是智能制造的关键使能技术。北京航空航天大学陶飞教授及国内15家单位22位作者在本文中,详细地介绍了数字孪生在企业应用和理论研究上的进展,是一篇学习数字孪生的好文章。经期刊编辑部及陶飞教授授权,兰光创新微信号予以转载,希望对大家有所帮助。欢迎转载,但请注明原作者及出处。本文发表在《计算机集成系统》2018年第1期,文章原标题“数字孪生及其应用探索”。本文其他作者,还包括刘蔚然,刘检华,刘晓军,刘强,屈挺,胡天亮,张执南,向峰,徐文君,王军强,张映锋,刘振宇,李浩,程江峰,戚庆林,张萌,张贺,隋芳媛,何立荣,易旺民,程辉关键词:数字孪生;数字孪生模型;应用准则;数字孪生应用;智能制造引言   随着新一代信息技术(如云计算、物联网、大数据等)与制造业的融合与落地应用,世界各国纷纷出台了各自的先进制造发展战略,如美国工业互联和德国工业4.0,其目的之一是借力新一代信息技术,实现制造的物理世界和信息世界的互联互通与智能化操作,进而实现智能制造。与此同时,在“制造强国”和“网络强国”大战略背景下,我国也先后出台了“中国制造2025”和“互联网+”等制造业国家发展实施战略。此外,党的十九大报告也明确提出“加快建设制造强国,加快发展先进制造业,推动互联网、大数据、人工智能和实体经济深度融合”。其核心是促进新一代信息技术和人工智能技术与制造业深度融合,推动实体经济转型升级,大力发展智能制造。因此,如何实现制造物理世界与信息世界的交互与共融,是当前国内外实践智能制造理念和目标所共同面临的核心瓶颈之一。数字孪生(Digital Twin)是以数字化方式创建物理实体的虚拟模型,借助数据模拟物理实体在现实环境中的行为。通过虚实交互反馈、数据融合分析、决策迭代优化等手段,为物理实体增加或扩展新的能力。作为一种充分利用模型、数据、智能并集成多学科的技术,数字孪生面向产品全生命周期过程,发挥连接物理世界和信息世界的桥梁和纽带作用,提供更加实时、高效、智能的服务。数字孪生近期得到了广泛和高度关注。全球最具权威的IT研究与顾问咨询公司Gartner连续两年(2016年和2017年)将数字孪生列为当年十大战略科技发展趋势之一。世界最大的武器生产商洛克希德马丁公司2017年11月将数字孪生列为未来国防和航天工业6大顶尖技术之首;2017年12月8日中国科协智能制造学术联合体在世界智能制造大会上将数字孪生列为了世界智能制造十大科技进展之一。此外,许多国际著名企业已开始探索数字孪生技术在产品设计、制造和服务等方面的应用。在产品设计方面,针对复杂产品创新设计,达索公司建立了基于数字孪生的3D体验平台,利用用户交互反馈的信息不断改进信息世界中的产品设计模型,并反馈到物理实体产品改进中。在生产制造方面,西门子基于数字孪生理念构建了整合制造流程的生产系统模型,形成了基于模型的虚拟企业和基于自动化技术的企业镜像,支持企业进行涵盖其整个价值链的整合及数字化转型,并在西门子工业设备Nanobox PC的生产流程中开展了应用验证。在故障预测与健康管理方面,NASA将物理系统与其等效的虚拟系统相结合,研究了基于数字孪生的复杂系统故障预测与消除方法,并应用在了飞机、飞行器、运载火箭等飞行系统的健康管理中。此外,美国空军研究实验室结构科学中心通过将超高保真的飞机虚拟模型与影响飞行的结构偏差和温度计算模型相结合,开展了基于数字孪生的飞机结构寿命预测。在产品服务方面,PTC公司将数字孪生作为“智能互联产品”的关键性环节,致力于在虚拟世界与现实世界间建立一个实时的连接,将智能产品的每一个动作延伸到下一个产品设计周期,并能实现产品的预测性维修,为客户提供了高效的产品售后服务与支持。此外,车间是制造活动的执行基础,为践行智能制造和智能生产理念,国内陶飞等于2016年探索了数字孪生车间(Digital Twin Shop-floor, DTS)的概念,设计了DTS的组成与运行机制,阐述了实现DTS的4个特点和5大类关键技术,为数字孪生在生产制造环节落地应用提供了基础理论支撑参考[2][4]。北京理工大学刘检华教授等分析了数字孪生体的产生背景,阐述了产品数字孪生体的内涵,并提出了产品数字孪生体的体系结构和实施途径,同时指出数字孪生技术出现和发展不仅为实现CPS提供了清晰的新思路、方法和实施途径,而且为人类利用虚拟模型去探讨和预测未知世界提供了新的理念和工具。广东工业大学刘强教授等提出了基于数字孪生的个性化产线快速定制设计方法,将数字化模型和物理装备虚实同步,形成整线的数字孪生系统;提出生产过程中耦合优化问题的解耦算法,作为引擎驱动数字孪生;通过订单模拟投放与运行,进行整线性能评估与调控。西北工业大学王军强教授等面向物联制造车间,立足工件、机器的主观能动性,提出了主动调度(Initiative Scheling)模式,探讨了主动调度的交互体系、响应机制、运作模式以及互调度行为。西北工业大学张映锋教授等针对智能工厂制造资源自组织配置与自适应协同控制需求,提出了基于CPS的底层制造资源加工服务状态实时感知和自主决策的智能化建模方法。暨南大学屈挺教授等利用数字孪生思想将物联制造下的在线控制理念进行扩展,提出多系统联动优化控制思想、机制及定量优化方法,并应用于生产过程的(精准)计划、(实时)跟踪与(动态)控制三个阶段,相应技术和系统已在嘉宝莉化工集团等行业龙头企业应用实施。虽然已有企业初步探索了数字孪生的相关应用,但数字孪生在实际应用过程中仍存很多问题和不足,如:① 缺乏系统的数字孪生理论/技术支撑和应用准则指导:目前在数字孪生模型构建、信息物理数据融合、交互与协同等方面的理论与技术比较缺乏,导致数字孪生落地应用过程中缺乏相应的理论和技术支撑。② 数字孪生驱动的应用产生的比较优势不明:目前数字孪生应用基本处于起步阶段,数字孪生在产品设计、制造和服务中的应用所带来的比较优势不明晰,应用过程中所需攻克的问题和技术不清楚。③ 在产品生命周期各阶段的应用不全面:从产品的产前、产中、产后三个阶段来分析,当前数字孪生的应用主要集中产品的运维和健康管理等产后方面,需要加强在产前(如产品设计、再设计、优化设计等)和产中(如装配、测试/检测、车间调度与物流等)的应用探索。针对以上问题,本文在分析数字孪生当前应用现状后,总结分析了当前数字孪生理论与技术研究进展;在此基础上,基于参考文献提出的数字孪生五维结构模型,提出了数字孪生驱动的应用准则,基于所提出的准则,探索了数字孪生在产品全生命周期中的应用前景和有待突破的关键问题或技术,为未来开展数字孪生的进一步落地应用提供理论和方法参考。1. 数字孪生理论研究进展数字孪生的概念最初由Grieves教授于2003在美国密歇根大学的产品全生命周期管理课程上提出,并被定义为三维模型,包括实体产品、虚拟产品以及二者间的连接。但由于当时技术和认知上的局限,数字孪生的概念并没有得到重视。直到2011年,美国空军研究实验室和国家航空航天局NASA合作提出了构建未来飞行器的数字孪生体,并定义数字孪生为一种面向飞行器或系统的高度集成的多物理场、多尺度、多概率的仿真模型,能够利用物理模型、传感器数据和历史数据等反映与该模型对应的实体的功能、实时状态及演变趋势等。随后数字孪生才真正引起关注,一些学者在NASA提出概念的基础上进行了补充和完善。如Gabor等提出数字孪生还应包含专家知识以实现精准模拟,Rios等认为数字孪生不仅仅面向飞行器等复杂产品,还应面向更加广泛通用的产品。在数字孪生概念不断完善和发展过程中,学术界主要针对数字孪生的建模、信息物理融合、交互与协作及服务应用等方面开展了相关研究。在建模方面:当前在数字孪生建模的框架和建模流程上已开展了一定研究,但还没有一致的结论。在建模相关理论上,包括物理行为研究、无损材料测定技术、量化误差与置信评估研究,已取得一定进展,这些辅助技术将有助于模型参数的确定、行为约束的构建以及模型精度的验证。此外,在信息物理融合方面:在数字孪生信息物理融合上,目前仅在数据融合方面的降维处理、传感器数据与制造数据集成融合上有初步研究,但针对数字孪生信息物理融合理论与技术研究当前仍是空白。为解决这一难题,北航团队于2017年将信息物理融合这一科学问题分解提炼为“物理融合、模型融合、数据融合、服务融合”四个不同维度的融合问题,设计了相应的系统实现参考框架。并结合数字孪生技术与制造服务理论,对物理融合、模型融合、数据融合和服务融合这四个关键科学问题开展了系统性研究与探讨,提炼和归纳了相应的基础理论与关键技术。相关工作为相关学者开展数字孪生信息物理融合理论与技术研究、为企业建设并实践数字孪生理念提供了一定理论与技术参考。在交互与协同方面:已开展的生产数据实时采集理论和人机交互方面研究有助于实现物理世界与虚拟世界的交互与协同,但当前几乎没有机器间以及服务间交互协同的相关研究。在服务应用方面:目前对数字孪生在疲劳损伤预测,结构损伤监测、实时运行状态检测、故障定位等方面的服务应用已开展一定研究,但在实现服务融合协同上仍有很多问题有待研究解决。由上分析可知,当前数字孪生相关理论研究还处于起步阶段,为促进数字孪生的落地应用,在数字孪生建模、信息物理融合、交换与协同等方面还有待系统深入的研究。2. 数字孪生驱动的应用准则数字孪生的核心是模型和数据,为进一步推动数字孪生理论与技术的研究,促进数字孪生理念在产品全生命周期中落地应用,北航团队结合多年在智能制造服务、制造物联、制造大数据等方面的研究基础和认识,将数字孪生模型由最初的三维结构发展为如图1所示的五维结构模型,包括:物理实体、虚拟模型、服务系统、孪生数据以及连接。其中:①物理实体是客观存在的,它通常由各种功能子系统(如控制子系统,动力子系统,执行子系统等)组成,并通过子系统间的协作完成特定任务。各种传感器部署在物理实体上,实时监测它的环境数据和运行状态。②虚拟模型是物理实体忠实的数字化镜像,集成与融合了几何、物理、行为及规则四层模型。其中,几何模型描述尺寸、形状、装配关系等几何参数;物理模型分析应力、疲劳、变形等物理属性;行为模型响应外界驱动及扰动作用;而规则模型对物理实体运行的规律/规则建模,使模型具备评估、优化、预测、评测等功能。③服务系统集成了评估、控制、优化等各类信息系统,基于物理实体及虚拟模型提供智能运行、精准管控与可靠运维服务。④孪生数据包括了物理实体、虚拟模型、服务系统的相关数据,领域知识及其融合数据,并随着实时数据的产生被不断更新与优化。孪生数据是数字孪生运行的核心驱动。⑤连接将以上四个部分进行两两连接,使其进行有效实时的数据传输,从而实现实时交互以保证各部分间的一致性与迭代优化。图1 数字孪生五维结构模型与应用准则基于上述数字孪生五维结构模型实现数字孪生驱动的应用,首先要针对应用对象及需求,分析物理实体特征,以此建立虚拟模型,构建连接实现虚实信息数据的交互,并借助孪生数据的融合与分析,最终为使用者提供各种服务应用。为推动数字孪生的落地应用,数字孪生驱动的应用可遵循以下准则(如图1所示):(1)信息物理融合是基石:物理要素的智能感知与互联、虚拟模型的构建、孪生数据的融合、连接交互的实现、应用服务的生成等,都离不开信息物理融合。同时,信息物理融合贯穿于产品全生命周期各个阶段,是每个应用实现的根本。因此,没有信息物理的融合,数字孪生的落地应用就是空中楼阁。 (2)多维虚拟模型是引擎:多维虚拟模型是实现产品设计、生产制造、故障预测、健康管理等各种功能最核心的组件,在数据驱动下多维虚拟模型将应用功能从理论变为现实,是数字孪生应用的“心脏”。因此,没有多维虚拟模型,数字孪生应用就没有了核心。(3)孪生数据是驱动:孪生数据是数字孪生最核心的要素,它源于物理实体、虚拟模型、服务系统,同时在融合处理后又融入到各部分中,推动了各部分的运转,是数字孪生应用的“血液”。因此,没有多元融合数据,数字孪生应用就失去了动力源泉。(4)动态实时交互连接是动脉:动态实时交互连接将物理实体、虚拟模型、服务系统连接为一个有机的整体,使得信息与数据得以在各部分间交换传递,是数字孪生应用的“血管”。因此,没有了各组成部分之间的交互连接,如同人体割断动脉,数字孪生应用也就失去了活力。(5)服务应用是目的:服务将数字孪生应用生成的智能应用、精准管理和可靠运维等功能以最为便捷的形式提供给用户,同时给予用户最为直观的交互,是数字孪生应用的“五感”。因此,没有服务应用,数字孪生应用实现就是无的放矢。 (6)全要素物理实体是载体:不论是全要素物理资源的交互融合,还是多维虚拟模型的仿真计算,亦或是数据分析处理,都是建立在全要素物理实体之上,同时物理实体带动各个部分的运转,令数字孪生得以实现,是数字孪生应用的“骨骼”。因此,没有了物理实体,数字孪生应用就成了无本之木。3. 数字孪生应用探索依据以上六条数字孪生驱动的应用基本准则,本节将进一步尝试探索数字孪生驱动的14类应用的初步概念,并分析其与传统(或现有)方法的区别,以及其实施过程中所需突破的关键问题和技术等,从而为数字孪生理念的进一步应用提供参考。3.1 基于数字孪生的产品设计产品设计是指根据用户使用要求,经过研究、分析和设计,提供产品生产所需的全部解决方案的工作过程。基于数字孪生的产品设计是指在产品数字孪生数据的驱动下,利用已有物理产品与虚拟产品在设计中的协同作用,不断挖掘产生新颖、独特、具有价值的产品概念,转化为详细的产品设计方案,不断降低产品实际行为与设计期望行为间的不一致性。基于数字孪生的产品设计更强调通过全生命周期的虚实融合,以及超高拟实度的虚拟仿真模型建立等方法,全面提高设计质量和效率。其框架分为需求分析、概念设计、方案设计、详细设计和虚拟验证五个阶段,每个阶段在包括了物理产品全生命周期数据,虚拟产品仿真优化数据,以及物理与虚拟产品融合数据驱动下进行,如图2所示。图2 数字孪生驱动的产品设计基于数字孪生的产品设计表现出如下新的转变:1)驱动方式:由个人经验与知识驱动转为孪生数据驱动。2)数据管理:由设计阶段数据为主扩展到产品全生命周期数据。3)创新方式:由需求拉动的被动式创新转变为基于孪生数据挖掘的主动型创新。4)设计方式:由基于虚拟环境的设计转变为物理与虚拟融合协同的设计。5)交互方式:由离线交互转变为基于产品孪生数据的实时交互。6)验证方式:由小批量产品试制为主转变为高逼真度虚拟验证为主。基于数字孪生的产品设计亟需突破:1)产品设计隐性需求挖掘:高维数据属性间复杂关系,及其可伸缩的数据降维、关联、聚类挖掘方法。2)产品协同设计:设计、校验、审核等不同角色的信息交互及协同机制,设计师间的并行交互式设计机制,以及物理产品与虚拟产品的迭代优化协同机制。3)基于数字孪生的设计优化方法:数字孪生驱动的设计过程迭代优化理论与方法。4)产品数据管理:完整、实时、安全的海量产品孪生数据传输、清洗、存储技术,实现服务阶段数据的有机集成与管理。3.2 基于数字孪生的虚拟样机虚拟样机是建立在数字世界的可反映物理样机真实性的数字模型,通过多领域的综合仿真和设备的性能衰减仿真,在物理样机制造之前对装备的性能进行测试和评估,改进其设计缺陷,以缩短其设计改进周期。基于数字孪生的虚拟样机建立在对设备的机械系统、电气系统和液压多领域系统全面、综合、真实的描述能力基础上,具备对物理设备全生命周期的映射能力,从而对设备的设计仿真和预测性维护提供有力的分析决策支持。为实现以上功能,需遵循以下原则:1)综合性原则:基于数字孪生的虚拟样机需要具备对物理实体的全面、综合的描述能力,是车间装备的机械、电气、液压气动等各单元多领域联合建模的结果。各单元间相互独立又相互耦合,内部通过能量数据转化实现其耦合关系。2)真实性原则:基于数字孪生的虚拟样机与物理实体虚实共生,应考虑各种线性和非线性、时变和时不变等特点,真实的实现对物理实体的映射。3)动态更新原则:基于数字孪生的虚拟样机需要实现对物理实体全生命周期的映射,需具备对物理实体的维护升级、性能衰减等活动的动态更新能力,始终具备对物理实体每个阶段的动态更新能力。图3基于三个原则,对基于数字孪生的虚拟样机进行了设计。图3 基于数字孪生的虚拟样机设计基于数字孪生的虚拟样机具有以下优势:1)面向对象的设计和模块间的交互机制提升了机械、电气、液压等多领域复杂耦合仿真和性能分析解耦能力。2)先进的虚实共生理念提升了其对物理实体的表述真实度。3)数字孪生对物理设备运行周期的实时映射能力拓展了虚拟样机的使用周期,实现了对产品功能、性能衰减的预测。基于数字孪生的虚拟样机亟需解决:1)多领域产品构成描述:机械、电气、液压气动等涵盖车间装备多技术领域的车间装备子系统与零部件统一描述方法。2)虚实交换的动态实时更新:基于车间装备零部件参数化、模块化、数学方程化的模型实时更新与交互迭代。3)耦合仿真与解耦定位:基于多领域统一建模语言的零部件之间及各子系统之间的耦合仿真和对问题征候的定位解耦方法。3.3 基于数字孪生的车间快速设计传统车间复杂制造系统设计思路基本为串行设计,在部分假设的基础上进行数学建模,不能充分反应实际问题,缺乏对系统进行全局考虑,存在对设计人员经验依赖性强等问题。数字孪生驱动的车间快速设计采用数字孪生“信息物理融合”的思想,依次完成“实物设备数字化、运动过程脚本化、系统整线集成化、控制指令下行同步化、现场信息上行并行化”,形成整线的执行引擎。实物设备与所对应的虚拟模型进行虚实互动、指令与信息同步,形成一个支持实物设备连线的车间快速设计、规划、装配与测试的平台,见图4。基于平台,1)利用三维设计引擎与构建的专用模型库,结合车间场地、产能需求、设备选型,构建车间的虚拟三维模型,可快速完成车间布局设计。2)编制异构设备的动作脚本,开发响应程序,搭建虚拟控制网络,可实现虚拟整线加工运动的近物理仿真,并基于实际数据进行预测、评估和优化。3)可测试分布式集成设备与整线动作的一致性、内部控制逻辑、指令与信息上下行通道、作业周期同步化等内容,并基于虚实融合数据优化车间设计。图4 数字孪生驱动的车间快速设计原理及结构图数字孪生驱动的车间快速定制设计具有以下特征:1)基于装备、模型、监控三部分的数据融合和视图同步联动。2)通过半实物仿真的形式进行分布式的整线集成,对整线或单元进行实物执行效果验证。3)数字孪生整线设计方案,与车间制造执行系统对接,进行设计与执行的迭代优化。装备、模型、监控、系统多维视图同步运动或变化,亟需突破:1)异构系统通讯:重点突破异构系统通讯与信息的一致性、异型系统实时通讯、指令语义无损翻译、异构多元反馈数据校验等关键技术。2)指令数据同步:突破实现实物PLC与仿真模型软PLC异步采样周期同步的指令及时下行通道与信息实时上行通道。 3.4 基于数字孪生的工艺规划工艺规程是产品制造工艺过程和操作方法的技术文件,是一切有关生产人员都应严格执行、认真贯彻的纪律性文件,是进行产品生产准备、生产调度、工人操作和质量检验的依据。数字孪生驱动的工艺规划是指通过建立超高拟实度的产品、资源和工艺流程等虚拟仿真模型,以及全要素、全流程的虚实映射和交互融合,真正实现面向生产现场的工艺设计与持续优化。在数字孪生驱动的工艺设计模式下,虚拟空间的仿真模型与物理空间的实体相互映射,形成虚实共生的迭代协同优化机制,数字孪生驱动的工艺设计模式如图5所示。图5 数字孪生驱动的工艺设计模式数字孪生驱动的工艺设计模式使得工艺设计与优化呈现出以下新的转变:1)基于仿真的工艺设计:真正意义上实现了面向生产现场的工艺过程建模与仿真,以及可预测的工艺设计。2)基于知识的工艺设计:实现了基于大数据分析的工艺知识建模、决策与优化。3)工艺问题主动响应:由原先的被动工艺问题响应向主动应对转变,实现了工艺问题的自主决策。围绕数字孪生驱动的工艺设计方法亟需在以下难点问题上取得突破:1)数字孪生工艺模型构建:研究基于几何量和多物理量等融合的物理实体数字孪生模型构建理论与方法,以及基于数字孪生模型的工艺过程建模与仿真技术。2)基于数字孪生的工艺创新设计方法:研究基于大数据分析的知识建模、知识提炼和知识优化方法,以及基于增强学习、深度学习、自主学习等的自主工艺设计、工艺优化和工艺决策方法。3)基于数字孪生的工艺持续优化方法:研究基于海量数据的工艺持续改进方法和工艺更改响应机制,以及基于现场实时数据的工艺问题预测、参数动态调整、过程迭代优化和决策制定、评估与评测的理论与方法。 3.5 基于数字孪生的车间生产调度优化生产调度是生产车间决策优化、过程管控、性能提升的神经中枢,是生产车间有序平稳、均衡经济和敏捷高效的运营支柱。数字孪生驱动的调度模式是在数字孪生系统的支撑下,通过全要素、全数据、全模型、全空间的虚实映射和交互融合,形成虚实响应、虚实交互、以虚控实、迭代优化的新型调度机制,实现“工件-机器-约束-目标”调度要素的协同匹配与持续优化。在数字孪生驱动的调度模式下,调度要素在物理车间和虚拟车间相互映射,形成虚实共生的协同优化网络。物理车间主动感知生产状态,虚拟车间通过自组织、自学习、自仿真方式进行调度状态解析、调度方案调整、调度决策评估,快速确定异常范围,敏捷响应,智能决策,具有更好的变化适应能力、扰动响应能力和异常解决能力。其模式如图6所示。图6 数字孪生驱动的车间生产调度数字孪生驱动的调度模式使调度优化与过程管控呈现出新的转变:1)驱动方式:由原先的能量驱动向数据驱动转变。2)调度要素:由原先的实体互联向虚实映射转变。3)响应方式:由原先的被动响应向主动应对转变。4)过程控制:由原先的粗放控制向精确控制转变5)管理形式:由原先的层级结构向扁平化结构转变。围绕数字孪生驱动的调度技术研究,亟需在以下难点问题取得突破:1)虚实交互机理方面:系统研究虚实交互行为,揭示自组织、自学习、自优化机制下虚实交互机理,从而实现调度要素的优化匹配和高效运作。2)动态迭代优化方面:研究新的调度优化方法,能够进行“任务-资源”自主决策、动态迭代和连续优化等。 3.6 基于数字孪生的生产物流精准配送生产物流包括企业内部物流(车间物流)和企业外部物流(企业之间物流),是保证企业正常生产、提高生产效率、降低产品成本的关键。数字孪生生产物流是在孪生数据驱动下,通过物理实体与虚拟模型的真实映射、实时交互、闭环控制,实现生产物流的任务组合优化、运输路线规划、运输过程控制等在物理世界、信息世界和上层物流服务系统之间的迭代运行,从而达到生产过程物流的无缝化和智能化的一种新的生产物流运行模式,其结构组成如图7所示。图7 基于数字孪生的生产物流智能化配送结构组成基于数字孪生的生产物流使生产物流的管控模式更加智能:1)物理实体:运输设备拥有自我决策和通讯能力。2)决策要素:由对物理世界实时信息的处理提升到对信息世界仿真预测的孪生数据的处理。3)决策方式:由被动的中央系统分配的方式转变为以搬运载体为核心的“抢”任务的主动决策。4)控制策略:由上级命令的控制方式转变为多设备交互协同实现自组织、自适应控制。5)物流透明化:由传统“黑箱”运输模式转变为物料、搬运载体等实时状态透明,可实时追踪和精准配送。基于数字孪生的智能物流配送关键技术主要包括以下两个部分:1)搬运载体无人运行及智能协同技术:基于数字孪生设计的运输车辆和制造设备具备感知、通讯和决策能力,利用设备之间相互通讯、信息共享以及孪生数据库,实现多设备交互协同,达到自组织、自适应控制。2)实时信息驱动的物料配送决策技术:利用孪生数据、信息共享和模型预测控制等技术,基于智能算法,实现搬运载体间的智能协同、应急处理和物料运输任务的组合优化,提高运输效率和对变化环境的适应性,从而实现物料/物流配送任务的高效精准配送。3.7 基于数字孪生的车间装备智能控制车间装备的控制系统是车间装备的大脑,其控制功能和控制策略的正确性,直接影响到车间装备的功能与性能。基于数字孪生可对控制系统的设计、控制功能和性能的调试优化以及基于虚实映射丰富数据的控制系统决策能力提供多维度的支持。在设计阶段,通过虚拟模型仿真调试实现控制功能的完整性校验和控制算法选择优化,同时改进迭代机械系统和控制系统;在样机调试阶段,通过虚实映射,对实际控制效果进行评估,改进控制系统和物理样机的设计;在运行维护阶段,对物理样机和加工对象的状态全面感知,满足实时自主决策控制中对物理实体实时状态和历史状态真实反馈的需要。借助数字孪生技术,达到控制系统控制精准、算法高效、运行可靠、成本经济的目标。基于数字孪生的控制优势如下:1)在装备设计阶段,基于数字孪生虚实同步对控制系统进行设计匹配,使控制系统和物理装备更早的融合匹配,减轻实机调试的负担。2)在调试阶段,进一步促进控制系统和设备全面的匹配,改进设计缺陷,降低设计冗余。3)在运行阶段,控制反馈信息不再是相对独立的参数,而是数字孪生呈现的物理实时状态,可对算法自主决策提供客观、有效的数据支持。探索基于数字孪生的控制,研究在数字孪生下控制系统全新的设计、调试和运行使用模式,亟需在以下几个方面进行突破:1)接口交互:需要解决模型与控制系统之间驱动交互和状态反馈问题,从而实现对数字孪生体与控制系统之间的无缝交互。2)控制仿真:基于物理属性和动力学特性,实现数字孪生模型在控制数据驱动下的行为仿真,对物理设备真实的描述。3)自主决策:基于数字孪生模型大量、及时、多维的数据,突破传统依赖公共数据训练集的局部最优限制,从数据源头上解决控制自决策的有效性和和准确性。3.8 基于数字孪生的车间人机交互人机交互协同是先进智能制造模式中另外一个典型的应用场景,通过人机交互可以提高机器使用的灵活性,并减轻手工作业的工作量。基于数字孪生的车间人机交互是指,构建与实际物理车间完全映射数字孪生虚拟车间,通过高速高可靠的通信技术,识别工人通过触摸、手势或者声音等下达的指令,机器人能够迅速调整工作计划以做出能够配合工人生产作业的动作,并实时更新虚拟车间的制造进程。基于数字孪生的车间人机交互如图8所示。图8 基于数字孪生的车间人机交互基于数字孪生的车间人机交互,相较于传统的制造车间生产模式,呈现出如下新的特点:1)全要素交互融合:从传统的人与生产线设备之间的一对一交互,转变为虚拟车间与车间孪生数据驱动的车间全要素综合联动的交互融合。2)虚拟/增强现实辅助的人机交互:通过虚拟现实/增强现实技术,将虚拟信息叠加到同一个真实的生产制造环境中,两种信息相互补充、叠加,能够直观地显示出操作步骤和工艺,协助人员进行加工制造,从而提高生产效率。3)复杂环境自学习:从传统生产线制造设备固定条件下的固定动作响应,转变为基于虚拟车间高保真度仿真的复杂环境自学习自适应。基于数字孪生的车间人机交互来实现人与车间的深入融合,亟需解决如下的关键科学技术:1)超灵敏超精确行为识别技术:工人触摸、手势或声音等行为信息的超高灵敏度超精确的识别,是实现基于数字孪生的车间人机交互的首要前提。2)超高灵活性显示技术:超高灵活性的显示技术,如透明视频、全息投影等,可以快速准确的给工人以生产辅助。3)超低时延超高速率通信技术:研究超低时延超高可靠性的通信技术,从而保证基于虚拟现实与增强现实技术的人机交互。3.9 基于数字孪生的装配复杂产品装配是产品功能和性能实现的最终阶段和关键环节,是影响复杂产品研发质量和使用性能的重要因素,装配质量在很大程度上决定着复杂产品的最终质量。数字孪生驱动的装配过程将基于集成所有装备的物联网,实现装配过程物理世界与信息世界的深度融合,通过智能化软件服务平台及工具,实现零部件、装备和装配过程的精准控制,对复杂产品装配过程进行统一高效的管控,实现产品装配系统的自组织、自适应和动态响应。图9 数字孪生模型驱动的复杂产品智能装配数字孪生驱动的产品装配,相对于传统的装配,呈现出新的转变:1)工艺过程:由过去的虚拟信息装配工艺过程向虚实结合的装配工艺过程转变。2)模型数据:由原先的理论设计模型数据向实际测量模型数据转变。3)要素形式:由原先的单一工艺要素向多维度工艺要素转变。4)装配过程:由原先的以数字化指导物理装配过程向物理、虚拟装配过程共同进化转变。实现数字孪生驱动的智能装配技术,构建复杂产品装配过程的信息物理融合系统,亟需在以下技术问题取得突破:1)数字孪生装配工艺模型构建:研究基于零件实测尺寸的产品模型重构方法,并借助产品数字孪生模型进行装配工艺设计和工艺仿真优化。2)基于孪生数据融合的装配精度分析与可装配性预测:研究装配过程中物理、虚拟数据的融合方法,建立待装配零件的可装配性分析与精度预测方法,并实现装配工艺的动态调整与实时优化。3)虚实装配过程的深度整合及工艺智能应用:研究装配现场实物与装配模型的关联机制,实现装配工艺流程、MES系统及装配现场实际装配信息的深度集成,完成装配工艺信息的智能推送。 3.10基于数字孪生的测试/检测测试/检测是针对被测对象某种或某些状态参量进行的实时或非实时的定性或定量测量,是生产各项活动正常有序、高效高质进行的必要保障,发展高效高质量、高精度高可靠、低能耗低消耗测试/检测技术一直都是工业界和学术界的研究热点。数字孪生驱动的测试/检测模式是在虚拟空间中构建高保真度的测试系统及被测对象虚拟模型,借助于测试数据实时传输、测试指令传输执行技术,在历史数据和实时数据的驱动下,实现物理被测对象和虚拟被测对象的多学科/多尺度/多物理属性的高逼真度仿真与交互,从而直观、全面反映生产过程全生命周期状态,有效支撑基于数据和知识的科学决策。数字孪生驱动的测试/检测流程包括知识建模,系统设计,系统构建和系统、对象、过程状态数据全生命期管理、自主决策。数字孪生驱动的测试/检测模式如图10所示。图10 数字孪生驱动的测试/检测数字孪生驱动的测试/检测基于物理系统和虚拟系统的虚实共生,出现以下新变化:1)直观呈现:由原先的状态参量数据化展现向状态参量视觉化直观呈现。2)原位表征:由原先的事后测量向被测量原位表征转变。3)双向驱动:由原先的仅测量物理量向虚实共生数据双向驱动转变。4)调整方式:由原先的被动响应向基于虚实交互的自适应主动控制转变。5)管理方式:由原先状态监测向虚实同步映射的全寿命周期状态预测转变。围绕数字孪生驱动的测试/检测模式研究,亟需在以下难点问题取得突破:1)数字孪生测试/检测系统建模:针对测试/检测系统虚实共生新特征,需面向性能和测试对象行为进行动态系统建模,为测试/检测数据流管理奠定基础。2)测试/检测系统信息物理融合:为实现状态测试、检测及预测的功能,需围绕数字孪生共生驱动的机理特征,探索测试设备、物联网设备以及虚拟测试系统的信息物理融合方法。3.11 基于数字孪生的制造能耗管理制造能耗管理是指在有效保障制造系统性能、企业经济效益的同时,对制造过程中水、电、气、热、原材料等能源消耗进行监测、分析、控制、优化等,从而实现对能耗的精细化管理,达到节能减排、降低制造企业成本、保持企业竞争力的目的。基于数字孪生的制造能耗管理是指在物理车间中,通过各类传感技术实现能耗信息、生产要素信息和生产行为状态信息等的感知,在虚拟车间对物理车间生产要素及行为进行真实反映和模拟,通过在实际生产过程中,物理车间与虚拟车间的不断交互,实现对物理车间制造能耗的实时调控及迭代优化。基于数字孪生的制造能耗管理机制如图11所示。图11 基于数字孪生的制造能耗管理机制数字孪生驱动的制造能耗管理与传统技术和方法相比,具有以下特点:1)数据来源:由单一的能耗数据向多类型的装备能耗、生产要素和生产行为等数据转变,数据来源不仅包括物理车间多源异构感知数据,还包括虚拟数字车间仿真演化数据。2)交互方式:由传统的平面统计图表显示向基于虚拟/增强现实技术的沉浸式交互转变。3)能量有效生产过程管理:由传统的经验指导管理向物理模型驱动数字模型知识演化的物理-信息融合的管理转变。围绕基于数字孪生的制造能耗管理模式及应用研究,需解决以下难点:1)能量有效多状态感知方面:需要研究能够适应车间恶劣工况环境并且准确可靠的智能感知装置及分布式感知网络,为基础物理数据的获取提供保障。2)能量有效迭代优化方面:在数字模型的仿真测试过程中,需要研究基于孪生数据的自组织、自学习优化方法,为系统的优化运行提供依据,同时在物理车间的实际成产过程中,需要研究高效的物理-信息系统迭代交互机制,支持实现动态环境下能量有效性能的优化提升。3.12 基于数字孪生的产品质量分析与追溯产品质量分析与追溯指在设计正确合理的制造工艺的同时,对生产过程中加工精度、所受应力等因素综合考虑实现产品的加工质量分析,并在出现质量问题时,可以追溯其加工中每个环节找出原因,从而改进加工工艺、控制加工质量。基于数字孪生的产品质量分析与追溯是指在采集物理车间中各个制造工序所承受的切削力误差、定位精度、工件热变形等信息基础上,通过在虚拟车间仿真计算实现对产品加工质量进行分析和预测。此外,产品的加工过程及相应的加工参数被记录至虚拟车间中以便产品质量追溯,如图12所示。图12 基于数字孪生的产品质量分析与追溯基于数字孪生的产品质量分析与追溯呈现出如下新的特点:1)多学科全要素仿真:虚拟车间构建四类模型数据库,分别是①产品虚拟几何模型、加工工序与工艺模型,②产品热传导模型、形变等物理属性模型,③不同类型加工质量模型库,④数据检测算法库。2)加工质量实时分析:物理车间实时加工状态同步至虚拟车间,虚拟车间仿真后,实时获得质量分析结果。3)加工质量优化控制:在加工前,虚拟车间对设定的加工工艺进行仿真,优化加工工艺。在加工过程中,通过虚拟车间实时仿真进一步优化工艺。4)自我学习:生产过程中,加工质量库自动更新遇到的加工质量问题,并根据用户的引导进行自我学习,不断提高加工质量分析能力。基于数字孪生的产品质量分析与追溯亟需解决以下难点问题:1)加工质量预测技术:研究基于仿真的加工过程预测与优化、基于机器学习的智能预测算法。2)加工质量稳态控制技术:研究虚拟车间自主地优化加工工艺,自主生成加工操作指令,并将相应的操作指令下达至加工执行机构。 3.13 基于数字孪生的故障预测与健康管理故障预测与健康管理(Prognostics and Health Management, PHM)利用各种传感器以及数据处理方法对设备健康状况进行评估,并预测设备故障及剩余寿命,从而将传统的事后维修转变为事前维修。数字孪生驱动的PHM是在孪生数据的驱动下,基于物理设备与虚拟设备的同步映射与实时交互以及精准的PHM服务,形成的设备健康管理新模式,实现快速捕捉故障现象,准确定位故障原因,合理设计并验证维修策略。如图13所示,在数字孪生驱动的PHM中,物理设备实时感知运行状态与环境数据;虚拟设备在孪生数据的驱动下与物理设备同步运行,并产生设备评估、故障预测及维修验证等数据;融合物理与虚拟设备的实时数据及现有孪生数据,PHM服务根据需求被精准的调用与执行,保证物理设备的健康运行。图13 数字孪生驱动的PHM模式数字孪生驱动的PHM模式为传统的PHM带来以下新的转变:1)故障观察方式:由静态的指标对比向动态的物理与虚拟设备实时交互与全方位状态比对转变。2)故障分析方式:由基于物理设备特征的分析方式向基于物理、虚拟设备特征关联与融合的分析方式转变。3)维修决策方式:由基于优化算法的决策向基于高逼真度虚拟模型验证的决策转变。4)PHM功能执行方式:由被动指派向自主精准服务转变。围绕数字孪生驱动的PHM研究,需在以下难点问题取得突破:1)故障捕捉方法:研究虚实自主交互机制,虚实一致性/不一致性的判别规则,引发虚实不一致性扰动(故障诱因)的捕捉与消解方法等。2)故障机理研究:研究基于孪生数据的故障特征提取及融合,故障过程建模及传播机理等。3)PHM服务的精准调度与执行:研究PHM服务的自组织、自学习、自优化机制,需求的捕捉与精准解析,基于虚拟验证的服务精准执行等。3.14 基于数字孪生的产品服务系统产品服务系统(Proct-service System,PSS)是一种向消费者提供不同“物理产品和/或服务”组合的价值提供系统,分别包括面向产品的PSS、面向使用的PSS和面向结果的PSS。基于数字孪生的PSS是在数字孪生的支撑下,通过不同“物理产品和/或服务”组合的智能分析决策、快速个性化产品服务配置和服务过程体验与快速供给等,借助于要素间的虚实同步,实现资源的优化配置与融合。建立基于数字孪生模型的PSS,充分利用数字化与信息化系统,有效支持复杂产品与服务生命周期的智能决策提供、快速供给、智能服务、价值与环境分析等。基于数字孪生的PSS使服务管理呈现出新的转变:1)响应方式:由原先的客户响应向服务商主动服务转变;2)服务配置与价值分析方式:由原先的人为主观配置与评估向实时精确配置与评估转变;3)服务理念:由原先的为自己创造价值转变为与客户一起共同创造价值转变;4)过程管理:由传统服务管理模式向实时化、远程化、集成化的生命周期管理转变。基于数字孪生的PSS亟需在以下难点问题取得突破:1)在不同类型PSS组合的智能分析决策方面:智能获取和融合现有信息系统中的准确数据,通过可视化的智能分析工具实现不同客户的个性化PSS模式和物理与服务模块组合;2)在PSS价值与环境效益分析决策方面:基于产品服务价值分析工具、产品环境化分析与评价工具等,实现价值增值能力和环境效益的实时分析与可视化展示;3)在复杂产品远程控制方面:融合多源传感器信息,建立远程系统与PLC之间的数据通道,构建产品的在线监控、多参数故障分析预警模型和远程控制模型,为产品的远程、实时和无人化操控提供支持;4)物理产品与服务集成的生命周期数据模型及演化:在服务生命周期过程中,研究物理产品与服务相集成的数据模型及生命周期状态变化规律,有效支持不同类型PSS的生命周期履历管理,并支持物理产品再设计的可靠性分析与优化。4. 应用案例:基于数字孪生的电厂发电机组智能健康管理发电机组是电厂的核心设备,保证发电机组的健康运行对电力的稳定供给具有至关重要的作用。基于数字孪生理念及应用实践参考系统架构,北京必可测科技股份有限公司实践了基于数字孪生的电厂发电机组智能健康管理系统,其实现框架如图14所示。首先通过加速度传感器、转速传感器、电流传感、功率传感器等对发电机组实体的轴承振动、转轴转速、定子电流、有功及无功功率等进行实时监测。基于实时监测数据,已有历史数据及规格数据等,在虚拟空间对发电机组各部件(如汽缸、叶轮、主轴、联轴器)从几何、物理、行为、规则四个维度进行描述,并集成为发电机组的高逼真度虚拟模型。发电机组实体及其虚拟模型同步运行,产生的孪生数据不仅包括振动、温度、转速、电流等实时感知数据,还包括虚拟模型产生的轴系疲劳磨损,扭振,热应力等仿真数据,以及通过多维数据处理与融合得到的融合数据等。在孪生数据及虚拟模型的驱动下,实现对发电机组的智能健康管理应用服务以保证其健康运行。其中,状态监测服务使运维人员通过高逼真度虚拟模型以透视的眼光观察发电机组内部的实际运行状态,并通过与虚拟模型定义的当前期望状态进行实时的比对与交互,从优秀、良好、合格、警告等七个层次对其健康状态进行评估。故障诊断服务综合考虑发电机组实体特征,虚拟模型特征及其融合特征等多维特征,准确预警发电机组超速、断轴、大轴承永久弯曲、烧瓦、油膜失稳等事故。优化运行服务利用发电机组实体与其模型的实时交互,实现对轴承设计、阀序及开度以及运行参数等的迭代优化,使发电机组持续保持在最优工况下运行。维修指导服务与维修作业指导书相关联,基于高逼真度虚拟模型模拟发电机组的维修过程,形成三维作业指导书,提高维修的精准性。基于数字孪生的智能健康管理彻底改变了传统模式下发电机组运行的“黑箱”状态,实现了逼真透视化监测、基于多维特征及其融合的故障准确预警、运行状态持续迭代优化及维修策略精准验证等,为发电机组的健康管理及可靠运维提供了有效途径。图14 基于数字孪生的电厂发电机组智能健康管理系统实现框架5. 结束语数字孪生技术不仅可利用人类已有理论和知识建立虚拟模型,而且可利用虚拟模型的仿真技术探讨和预测未知世界,来发现和寻找更好的方法和途径、不断激发人类的创新思维、不断追求优化进步。数字孪生技术为当前制造业的创新和发展提供了新的理念和工具,得到了工业界和学术界越来越广泛的关注。本文总结了数字孪生理论研究和企业应用上的当前进展,分析和探讨了当前数字孪生技术存在的问题和不足。同时,从应用需求出发,基于提出的数字孪生五维结构模型,设计了数字孪生驱动的应用六条基本准则。依据六条基本准则,进一步探索了数字孪生驱动的14类应用初步设想,以及与传统(或现有)方法的区别,数字孪生理念实施过程中所需突破的关键技术等。期望相关工作能为相关学者进一步开展数字孪生理论、技术和工程应用研究提供启发及参考。(原文的致谢及参考文献部分略)

茉莉

周伯文对话斯坦福教授曼宁:人机对话智能新进展需要新“图灵测试”

机器之心报道机器之心编辑部6 月 22 日,在 2020 智源大会上,有一场大佬对大佬的精彩会谈。过去一年里,人工智能进展最大的方向在自然语言处理(NLP),BERT、GPT-2 等预训练模型引领了很多方向的新时代,又催生出了大量商业应用机会。面对技术的进步,AI 领域的顶级学者和从业高管是如何看待未来前景的?近日,2020 智源大会在线上召开,在为期四天的会议中,5 位图灵奖得主、上百位业内专家在 19 个专题论坛云上共同畅想了人工智能的下一个十年。在智源大会上,京东集团技术委员会主席、京东智联云总裁、京东人工智能研究院院长、IEEE Fellow 周伯文与斯坦福大学教授、人工智能实验室负责人克里斯托弗 · 曼宁(Christopher Manning)展开了一次精彩的交流。他们讨论了自然语言处理领域近期的进展,预训练模型兴起之后的未来发展方向,甚至还为人工智能的标杆评测基准——图灵测试找到了一个「替代方案」。在交流过程中,两人也提及了京东最近被人工智能顶会 ACL-2020 接收的研究,以及曼宁刚刚发表的工作,有关预训练模型学习到的语言结构。在过去这一年中,我们见证了许多 NLP 领域的技术成果和场景落地。对此,人工智能著名学者克里斯托弗 · 曼宁和京东集团技术「掌门人」周伯文是如何看待的?让我们一探究竟。语言理解 & 人机对话领域过去一年的进展周伯文与曼宁在对话伊始回顾了在 2019 年智源大会上尖峰对话中达成的共识:任务导向的多轮对话是 NLP 下一个十年重点的研究和应用方向。周伯文还创造了一个新词「任务导向型对话智能」(Task-oriented Conversational Intelligence),一方面,任务导向型对话智能可以反向推动许多基础技术能力的进步,另一方面,它的发展也将对经济方面产生巨大影响,带来人机交互技术驱动的万亿级市场。在语言理解 & 人机对话领域过去一年的进展层面上,周伯文和曼宁不约而同提到了「最令人印象深刻的就是人们见证了超大规模预训练语言模型的出现,它们可以生成有组织的语言文字表达,」曼宁表示:「其中的代表就是 GPT-2 和 GPT-3,也包含 BERT、RoBERTA 和 ALBERT、ERNIE 等等不少 BERT 变种。它们使得自然语言理解与生成有了非常大的发展。我们也看到传统 AI 领域有了很大转变,很多任务目前都倾向于被大型模型来解决。」人工智能发展的 40 多年来,我们一直在努力试图让 AI 可以回答科学问题。我们过去尝试使用的思路是研究知识的表达方法,阿兰图灵实验室的 Aristo Project 试图让 AI 理解科学道理,进而深度理解世界,这一思路在最初的十年推动了知识的表达与推理。在 2020 年,我们通过超大尺寸模型实现了巨大的进步。基于 RoBERTa 预训练模型,我们可以实现 95% 的科学问题回答准确率,这看起来是目前解决知识问题的最好方法了。这些进步为新一轮商业应用打开了道路。「未来的方向虽然还无法确定,但我们可以看到基于预训练语言模型,为搜索引擎公司等科技企业带来了很多新商业机会,」曼宁表示。「他们可以实现近十年来最大的单个技术进步,构建更好的机器翻译系统,对话 AI,人工智能客服系统等等。现在,我们正在经历 NLP 领域激动人心的时刻。」NLP 领域最近发生了从特定任务模型向多任务,大规模预训练模型方向转变的重要变化。一方面,工业界乐于看到 BERT 这样模型在下游应用上的前景。但对于学界研究者来说,这种发展大大提高了新研究的门槛。看看 GPT-2 到 GPT-3,它的参数从 15 亿增加到了 1750 亿。但如果仔细观察的话,你会发现模型对知识的获取和推理性能的提高,可没有参数增加的数量那么多。针对这一问题,周伯文指出「在查看 GPT-2、GPT-3 相关论文后,有一件事情引起了我的注意,那就是 - 当我们从零样本学习 (zero-shot) 到单样本 (one-shot) 学习时,我认为 GPT-3 改进了很多。这有效证明了,从小型模型转换为大型模型时,预训练等于更多的信息。」与此同时,周伯文发现,从单样本 (one-shot) 学习过渡到少样本 (few-shot) 学习时,GPT-3 或 GPT-2 的改进非常非常有限。周伯文指出:「我认为这从另一方面证明,这些更大规模的模型可能并没有学习到足够多的信息。」由此观之,知识的获取和表征可能仍是 NLP 的正确方向。曼宁认为,目前的大规模预训练模型可能存在一些「根本性」的错误——这些模型非常低效率。从现实世界人们的对话中学习知识的表征,总不是一个好方法。可能 5 年后人们往回看就会嘲笑现在的工作:「看看这些人吧,只想着把模型做得越来越大就妄想能够实现人工智能了。」对于研究者来说,我们必须寻找更加有趣的,让模型可以思考、能够更高效提取知识的方法。某种程度上,人们应该需要找到更好的知识编码机制,这有关知识空间,语义连接的更好表达方式。这可能和传统 NLP 的知识图谱和知识表征有关。所以让模型记忆和推断真实世界的情况,看起来从基础上就不是一个正确的,高效的方法。「人类不是通过这种方法学习知识的。人类存储的知识很少,但可以理解大量知识。」曼宁说道。GPT-3 通过高达 1750 亿参数实现了其他模型无法匹敌的文本生成效果。作为一个在该领域中务实的研究人员,周伯文非常关注最近预训练的大规模语言模型以及对语言任务进行微调的功能。在一个月前放榜的自然语言处理顶会 ACL 2020 上,周伯文等人有两篇论文被接收。「在论文《Orthogonal Relation Transforms with Graph Context Modeling for Knowledge Graph Embedding》中,我们得出的结论是通过预训练模型,我们可以生成非常自然的商品介绍,内容来自预训练模型,还有图片、知识图谱和用户的评价,」周伯文表示。另一个例子是在论文《Self-Attention Guided Copy Mechanism for Abstractive Summarization》中,自注意力机制(self-attention)可以帮助我们在对话任务和文本摘要任务上,生成了更多更自然的语句。据了解,京东智联云在跨模态内容生成上已取得诸多成果,并正式应用到京东的业务流程中。目前京东智联云打造的智能写作产品,是基于商品图谱和语言模型构建的营销内容智能生成服务,在 2020 年京东 618 期间,已覆盖京东零售过半数的商品品类,创作出的导购素材,曝光点击率相较于人工撰写的内容高出 40%,让用户在大促高峰期间也享受到优质服务。这样一些接近实用化的方向已经受到了 NLP 新范式的帮助。毫无疑问,使用预训练的模型现在可以生成很自然的文本以及对话。但目前的预训练模型还称不上完美,曼宁指出,我们还没法控制这些模型生成的内容。超越图灵测试的 AI 新基准若想实现更好的人工智能,我们必须拥有完美的评测基准(Benchmark),几十年以来我们一直将图灵测试作为「真正人工智能」的测试标准。但图灵测试是以 AI 模仿人类,试图「欺骗」测试者进行无特定内容对话的形式来进行的。对于研究者来说,这个过程一直存在难以量化的问题。在 NLP 技术发展多年后的今天,「我们会不会出现可以代替图灵测试的新基准呢?」周伯文在对话中提出了这个问题,「过去的几十年中,图灵测试一直是基准,但是在日常研究中,它让我们的研究目标变得明确,对结果推动又没有太多直接的帮助。」「这个问题很有趣,也很难回答,」曼宁表示。「我同意这个看法——图灵测试不是非常清楚的基准。某种程度上我们需要找一个另外的方法,标量真正的理解、真正的持续对话。但我一时没法给出完美的答案。」不过周伯文有一个「稍显疯狂」的主意,有关最近正火的直播带货:热门主播几个小时可以带几千万元的货。这种互动形式看起来非常吸引人,究其根本,它是一个实时的、富有交互性的方式。在这里播主和观众用弹幕和语音实时交流,这似乎为对话型 AI 提出了更多的要求。原本的图灵测试,不会预先指出被测试者的身份,通过评判相似性去界定智能化水平;那么,我们是不是可以直接公开使用两个对话型 AI 做直播带货,通过统计以每小时能卖出多少商品的可量化指标来对比哪个 AI 的对话更吸引人,从而评估对话型 AI 的智能化水平?这样的话,所有评价指标都可以量化,形式也非常接近于真实世界。「这是一个非常有趣的想法,可以带来非常清楚的评价指标,」曼宁表示。「直播对于我来说是一个很新鲜的概念,某种程度上来说,这是一个非常直接的评价方式。我不清楚是否完美,但它很有创意:一个人类销售想要成功,并不取决于对潜在消费者传递信息的完美平衡,有时还需要提出超出实际一点点的主张,更加强烈地表达自己的观点。」周伯文表示,在未来几个月里,京东会对这个方向进行一些尝试和研究。学术界如何在预训练时代引领前瞻性研究今天的人工智能研究正凭借算力的增长而快速发展,随着模型体量的增加,学界研究者面临的挑战越来越大。对于研究者们来说,即使希望方法足够创新,也会在大会上宣讲论文时受到这样的挑战:「你使用的基准是最新的吗?」这意味着你不得不直面大量数据。周伯文表示:「近来,我常被问到一个问题,在如今的云计算 + AI 时代,研究人员和学者如何跟上?」据了解,2019 年底,京东整合云计算、人工智能、物联网业务资源,形成京东云与 AI 事业部,并于 3 月 5 日面向技术服务领域推出全新的「京东智联云」品牌。在刚刚过去的京东 618,京东智联云提供了全面、稳定、安全、可信赖的技术保障,成为京东 618 的技术基石,并秉持着「成为最值得信赖的智能技术提供者」的愿景,对外输出更多、更好、更融合、更场景化的技术与服务。目前云服务在商业公司中的布局已日趋成熟。那么在斯坦福大学,教授们是怎样平衡增量创新与理论创新的?研究者们是如何使用算力的?「近年来我们的工作方式有了很大变化。在 20 年前,大学里才有最大的超级计算机、最快的网络。但在最近这些年里,情况有了翻天覆地的变化——现在算力都在商业公司那里了,」曼宁说道。如何解决算力不足的问题,每所大学都有不少思路,最直接的方式就是购买数量有限的,当前最顶配的 GPU,让很多博士生共用以满足 80% 时间的需求。「我想这是很多大学都在使用的方法,如果你的实验室里有 20 名博士生,这要比每人配置一台机器节省三倍成本,」曼宁表示。「现在我们构建起了小型集群,斯坦福 NLP 实验室有 15 名研究者,我们有大约 100 块 GPU。你看,这不是一个很大的数字。」另一个思路就是和京东智联云这样的科技公司合作,在一些需要更多计算的研究中,斯坦福也在购买云端算力。每年冬天,曼宁都会亲自为斯坦福 NLP 大课 CS224N 授课。这门课可以吸引 500 名学生,他们的作业都需要使用 CPU、GPU 来训练模型,而所有学生在课程期间的算力需求是大学负担不起的。因此,斯坦福接受业界的捐赠。斯坦福的自然语言处理课程 CS224n 与计算机视觉课程 CS231n 齐名,是 AI 领域最具影响力的公开课程之一。最后,研究方向也是个问题。「让模型越来越大可能在最近五年可以实现很大的进展,但在下个十年就不一定了,」曼宁说道。「我们现在可以构建出更大的模型,然后发出论文。但这个对于基础方向的研究没有什么帮助。未来 5-7 年里可能会出现一个窗口,最聪明的研究者可以用普通电脑和 GPU 构建出 SOTA 模型,打败大公司的巨大模型。」「但未来也有可能不是这样,看看其他行业,如果你是个机械工程的 PhD,你肯定没法上来就盖世界最高的摩天大楼,如果你是个航空工程学生,你肯定不会试图造一架比波音还好的飞机。你需要做的是寻找新的想法。」研究学者需要更加注重于寻找具有开创性的新想法,并提出原型。举个例子:机器学习领域里的 Dropout,其实是在很小的数据集上首次实践的。构建可信赖的 AI:可解释性和真实世界的鲁棒性最近一段时间,周伯文曾在多个不同场合表达了对于可信赖的 AI(Trustworthy AI)的看法,并指出可信赖的 AI 将是智能经济未来 10 年的新原点。目前有关可信赖的 AI 已经达成 6 个共识,包含公平、鲁棒性(技术的可用性)、价值对齐(技术提供者、使用者和产品应用方都认为产品带来价值)、可复制、可解释以及负责任。构建可信赖的 AI 一面是对技术的巨大挑战,一面是人文精神,无论是京东智能情感客服传递温暖、亦或京东物流设施传递信赖,都是对人类的社会责任与价值体现。曼宁认为,人工智能学界目前在可解释性方面已经取得了一些进展。一方面是像 transformer 这样的预训练模型,注意力机制带来的好处——这些模型具有相当高的可解释性。「我的一些学生发表过论文试图解读 BERT 的运作机制。现在,我们已能够对这些模型进行大量解码,并看到这些模型不仅是巨大的联想学习机器,而且它们实际上是在学习人类语言的结构,其解句子的语法结构,了解哪些词是指同一实体,」曼宁说道。因此,我们已经能够获得模型内部的可解释性,这意味着模型可以对其整体行为做出某种决定的原因做出一些解释。当然,这里还有很多工作要做,斯坦福研究者们正进行的工作希望就驱动模型决策的特征进行解释。曼宁教授在 6 月份还以第一作者的形式发表了论文《Emergent linguistic structure in artificial neural networks trained by self-supervision》,其中写到预训练模型实际上可以学习语言结构,不需要任何监督。这解释了为什么大规模的模型是可行的。但是对于下一步如何更好的理解他们是怎么学习到的,这个目前还不太清楚,周伯文指出「这部分需要可信赖的 AI 来解决」。这些发现非常令人兴奋。之前我们总是认为想让 AI 在某些任务上工作良好,需要是大型有监督模型。因此我们总是以大量资金、雇佣很多人进行数据标注开始。这是过去 20 年来的工作范式,人们也是通过这种形式在某些任务上让 NLP 模型达到接近人类水平的。「如果下一代人工智能机器本质上和十年前一样,而考虑到训练的内容大幅增加,我们实际上是倒退了,而不是前进了,」曼宁说道。「从技术角度来看,我将专注于尝试提高 NLP 的鲁棒性以及可解释性。在 NLP 领域中,如果了解 NLP 的结构,了解 NLP 的语义,将是人们构建可信任 AI 向前迈进的一大步,」周伯文表示。「如何预测下一个单词的过程对于人们来说还是一个黑箱。另一个方向是可扩展性,当我们从一个任务转移到另一个任务时,模型需要迁移得足够好。无论如何,可信赖的 AI 非常重要。如果我们可以在这个领域取得更大的进步,AI 市场和 AI 应用将变得越来越大、越来越多,并且适应性也将大大提高。因此,这将是我们长期关注的重点。」2020 智源 - 京东多模态对话挑战大赛在 2019 年,京东举办了 JDDC 对话大赛,去年的主题是 Knowledge-enhanced Task-Oriented Dialogue,今年在智源大会上举办的对话大赛则主要关注对话中的多模态交互,即研究如何更好的理解对话中的多模态信息,产生 Task-Oriented Conversational response。本次竞赛的数据来自于脱敏后的京东真实客服对话日志,共包含约 200 万轮次的对话,其中用户问题涉及约图片约 50 万张。周伯文介绍到,为支持参赛队伍更好的比赛,本次大赛还提供了约 3 万商品的小型商品知识库,和 2 万张图片的标注数据。大赛开始三周,到目前为止已有超过 400 人参加比赛。曼宁对于这场比赛的成功举办表示兴奋:「这场比赛非常火热,人类在这样的对话中扮演的角色也非常重要。显然作为人类,对话不是所有——我们还会使用背景知识和其他感觉。我认为这次我们将看到自然语言处理中很多 NLP 领域中奠定基础的新思想,有关 NLP 与对话发生环境、领域知识,以及理解和生成。」这场连接京东大厦和斯坦福校园的对话,给我们带来了很多启发。由于新冠疫情的影响,周伯文与曼宁无法进行面对面的交谈,不过两人已经开始期待下一次的见面了。不知下次见面时,人工智能技术将会出现哪些大发展?

曹褒

贵州豫能打出扶贫“组合拳”,助力贫困群众脱贫增收

“过去家里穷的叮当响,现在一年收入能有好几万。”通过贵州豫能投资有限公司(以下称贵州豫能)帮扶在新田煤矿就业的贫困户陈寿贤难掩笑意。“贵州贫困人口多、贫困面广、贫困程度深,脱贫攻坚任务繁重。我们要尽最大的力量融入区域一体化发展,早日让贫困群众摆脱贫困,确保按时高质量打赢脱贫攻坚战,也是我们作为一个国有煤炭企业的政治担当。”贵州豫能党委书记张清鹏说,近年来,贵州豫能抓好企业发展的同时,积极响应政府扶贫号召,通过就业扶贫、产业扶贫、教育扶贫,帮助企业周边贫困群众脱贫增收。就业扶贫——保证贫困户收入稳定“我家离新田煤矿只有几里路,到矿里上班后既能赚得工资养家,还方便照料家里老小。”家住在黔西县甘棠镇大营村的贫困户陈寿贤,家里的4个孩子都还在上学,原来一家靠种地的收入过日子,生活十分困窘。2014年陈寿贤被贵州豫能新田煤矿安排到选煤厂做手选工,她掰着指头算了一笔账,“到矿里上班以后,每月除去各种社保,钱开到手里两千三四,加上过节福利、慰问,一年下来收入三万六七,丈夫每天再打点零工,现在孩子每年2万多的上学费不用发愁了。”近年来,贵州豫能积极做好扶贫工作,将过去单一的资金帮扶逐渐转变为就业帮扶。根据企业发展情况,每年拿出一定数量的岗位,降低门槛招收当地文化水平不高、家庭收入低、就业困难的农民务工,根据他们的年龄、文化、身体等状况,安排就业岗位,并且优先选招当地建档贫困户人群就业。“这样一来,解决的不是贫困家庭的一时困难,而是保证贫困家庭有了稳定的经济收入,走出年年扶贫年年贫困的怪圈。一人就业,全家脱贫。”张清鹏说。据统计,黔西籍11户建档贫困户在新田煤矿月均收入5625元,较黔西县最低保障水平高了3.4倍。贵州豫能不仅向贫困户提供就业岗位,而且重视他们就业后的技能培养。入职前进行安全培训,日常进行技术培训,使他们掌握一技之长。瞿永华就是从一个农民,经过学习培训,如今在新田煤矿已能很好胜任机修厂铲车司机一职。“如果当初没有放宽学历,优先录用贫困户的话,我现在估计还在到处漂泊。”只有中专文化程度的95后李永超,2018年6月份以前,他在山东烟台富士康、重庆英业达顶岗实习,在仁怀市梯子岩煤矿工作。2018年7月被新田煤矿按贫困生安排到矿后,十分珍惜难得的就业机会和矿上对他的培养规划,学习更加勤奋,工作更加卖力。目前,李永超不仅拿到了河南理工大学煤矿开采技术大专学历,而且在读贵州大学采矿工程函授本科,他的“‘双控’加‘双基’建设两个体系融合推广在安全管理中的研究与应用”研究项目2019年9月获贵州豫能科技成果三等奖,有两篇论文已收到《能源与环保》杂志编辑部刊用通知,现在他已走上了管理岗位,成为生产技术骨干。“我很感谢新田煤矿给了我这个平台,让我能更好地展示自己!是企业哺育了我,教我成长,让我的生活变得稳定!”李永超说。今年面对疫情突发,仍没有阻断贵州豫能对贫困户的就业安排,现已安排就业40余人。截至目前,贵州豫能已安排贫困户就业253人。同时,贵州豫能面向当地周边农村招工,帮助当地村民及子女就业,让当地的百姓享受企业发展的“红利”,并且注重他们的成长,让他们在安全生产中挑大梁。贵州籍员工胡建武现已走上了糯东煤矿掘二队的队长岗位,他带领该队使用318掘进机从去年初连创佳绩,今年3月份创造了277米全公司单头掘进新纪录。据统计,目前贵州豫能基层中层管理人员576人,贵州籍104人,占比18.1%;基层区队车间班组长534人,贵州籍337人,占比63.1%。近年来,贵州豫能已安排当地村民就业达1万余人次,企业本土化员工达70%左右。产业扶贫——化“输血”为“造血”“之前在外务工,拼命干活一个月也只能得4000块左右,现在回来加入安顺煤矿拉煤车辆队伍后,我算了一笔账,假如按一个月拉6万吨煤,我们拉煤队伍有108个户头,每个户头能发12车,再按每吨煤32元的运费来算,现在一个户头每个月能得2万元左右。”安顺市西秀区七眼桥镇本寨村运输户张伟感慨地说。贵州豫能安顺煤矿没有自己的运输车队,运煤车辆都是由市西秀区七眼桥镇大洞口村、本寨村村民提供,2014年8月由108户合并为54户,运煤车辆实行一车二户制,延续至今。每年矿上支付运煤车队收入均在1700万元左右。贵州豫能在扶贫上不是停留在“输血”,而疏通“造血”功能,利用产业项目进行扶贫,让百姓走上致富路。“过去,钱是给了,治标不治本,等他们钱花完了,仍没有改变贫困状况。现在我们进行产业扶贫,拿出一些项目,让当地百姓承包,既让他们有活干,又能摘掉贫困的帽子。”张清鹏说,大到煤炭运输,小到环境卫生,能让周边百姓干的尽量安排给他们,不断提升他们的生活质量,实现脱贫。2018年5月,安顺煤矿出资2万余元,在矿门口为大洞口村民和秀水村村民修建了菜市场,供周围贫困百姓使用,为贫困户提供了8个卖菜摊位。大洞口村的王奶奶乐呵呵地说:“平时我们老人没事只能在家呆着,有矿上的帮扶,我一个庄稼人也能挣钱,这日子越过越有劲。”新田煤矿将办公楼、宿舍卫生、矿区绿化承包给梨子村村民,每年投入资金30万元,使12人脱贫;将澡堂管理、洗衣房承包给大锡村,每年投入资金26.6万元,使10人脱贫;将运煤大道卫生清扫承包给附近村民,每年投入资金2.88万元,使2人脱贫。与此同时,贵州豫能力所能及地为周边百姓解决一些生活上的难题,改变他们的生活现状。据了解,2018年,新田煤矿为新田村、大锡村等5户贫苦户送去冬季取暖煤炭10吨;2019年开始无偿为梨子村青杠坡5户精准扶贫农户全年供水;2月疫情期间,为甘棠镇大寨村扶贫项目大棚羊肚菌烘干无偿提供20吨块煤。目前,矿上平均每个月有村民360余人到矿澡堂洗澡,每年能为他们节省水电费4.32万元。2019年,贵州豫能黔希化工投资90余万元,从樱桃坪水库引水进村,建起了高位水池,安装了净化器,解决了周边300多户居民生活饮用水问题。2018年4月3日,贵州豫能轿子山煤矿与讨兑寨村制定草莓帮扶销售协议,以自销、向职工推销、对外推销等多种方式加以推广销售,在自销方面摸索出一种以职工劳动竞赛进行草莓奖励的稳定而适宜的内部消化方式,成功帮助该村实现了当年时令草莓的日产日销。贵州豫能产业扶贫,有力地促进了当地百姓走上小康路。据悉,在贵州豫能企业比较集中的毕节市黔西县、安顺市西秀区2018年成功摘掉了贫困的帽子。教育扶贫——助拔思想“穷根”17岁的黄鹏是黔西县金碧镇洪寨村的一名学生,当得知有企业免费送贫困生外出学习还能安排工作后,他的父亲黄贵学第一时间就带着黄鹏来县教育局咨询报名事宜了。“我就是吃了没有技术的苦,一个月起早摸黑地打工也只有1000多元。家里地少,还要供两个娃娃读书,幸亏有这么好的政策,我们真是从心里感谢啊!”“这次我被录取到河南义马读书,真的很高兴。我们要努力学好技能,回报家乡、回报企业、回报父母。”来自黔西县协和镇的学生杨顺发说。时光回到2019年3月11日。这天,贵州省毕节市黔西县中等职业学校人头簇动,从近八十岁的老人到几岁的小孩,都在等待着一个重要的时刻。原来,他们是232名初中学生的亲属,今天特地赶来见证孩子们走出大山这一刻。这232名学生能够走出大山,正是借助了贵州豫能“变招工为招生”的精准扶贫平台,免费到河南省能源工业技师学院学习煤炭开采技术知识。贵州豫能下辖6对煤矿、2个化工企业和机械制造、酒店、矿山救援等10多个企业。“我们本着‘扶贫先扶智、治贫先治愚’的原则,实施了变招工为招生的精准扶贫行动计划,同时也能确保学生有一技之长。”张清鹏说。“企业要做大做强,离不开高素质、有技能的新型职工,怎么样既能解决招工难的问题,又能为当地老乡改变贫困、拔掉穷根呢?”张清鹏说,我们一方面考虑到集团既有“招工变招生”政策,又有高级技工培训学校资源;另一方面考虑企业所在地很多农村地区比较贫困,受过专业化教育的人才较少、子女就业门路窄的实际,贫困家庭脱贫愿望强烈。如果找到一个两全其美的办法,既能解决企业招工难、提高职工水平的问题,又能为当地政府扶贫攻坚、解决贫困群众脱贫问题。于是,扶贫先扶智,为民解难题的举措思路在2018年底形成。正是基于这一考虑,2018年底,贵州豫能与贵州省毕节市黔西县教育局沟通后,认为由企业出资帮助学生外出学习并负责安排就业这一方案有针对性、可具体实施。“贵州豫能制定招工计划指标后,县教育局指派黔西职中组织全县中学报名,面试通过后,集中送到河南省能源工业技师学院学习,学习期间来回路费由贵州豫能负担。学生毕业后由企业统一安排工作,一毕业即可实现就业。”张清鹏说。据介绍,232名学生全部来自毕节市黔西县的40多所初中,年龄均在16岁以上。学生在校期间的学习内容主要涉及采掘、机电、通风安全技术等。为切实帮助这批来自大山深处的学生完成学业,将免收232名学生学费。“按面前的发展态势,3年后学生们学成归来,预计每年工资将不低于4万元。”对于3年后学生的发展前景,张清鹏满怀信心。同时,为减轻学生家长经济负担,232名学生除每人每年可享受国家5000元的贫困生补助外,每人每年还可按政策享受1900元的生活补助。据了解,贵州豫能这次变招工为招生在当地产生了“蝴蝶效应”,去年下半年招生范围扩大到纳雍县、贞丰县、普安县,全年选送337名初高中生免费到河南省能源工业技师学院学习。“今年计划再招收500名。春季受疫情的影响,目前处在网上报名审核阶段,一旦疫情过去,立即实施,再让一批贫困山区的孩子走出山门,学习煤炭开采技术,为我们贵州豫能的智能化、智慧化发展增添新鲜血液。”张清鹏说。贵州豫能扶智上对贫困户子女上学舍得投入,帮助他们完成学业。“对于现在就读的学校我很满意,这里是我的新起点,是我梦想的开始。”新田煤矿2018年资助的安顺学院政法学院在校生樊丹说,我也十分感谢新田煤矿对父亲的照顾,这不仅是物质上的帮助,更是精神上的鼓励。在那个时候,这5000块钱就像及时雨,就是雪中送炭!”樊丹的父亲樊文昌是防突队的一名工人,已在新田煤矿工作8年,是家里的唯一劳动力。因为交通事故患有腿疾,家中4名子女都是在校学生。和樊丹同样在贵州豫能工作的困难职工子女,2019年被资助上学33名,资助总金额86900元。“扶贫必扶智,一人上学,全家受益。通过帮助山区贫困家庭改变观念,拔掉穷根!”张清鹏说,我们要继续践行初心,书写坚决打赢脱贫攻坚战的使命担当,让老区人民在小康路上不掉队,为年底实现全面建成小康社会的目标贡献力量。   贵州日报当代融媒体记者  王霁雯通讯员  张培军  周杰  余昂  唐应花编辑  刘小明编审  岳振

法式

没有计算机文凭,我在两个月内搞定4份Offer,且收入翻倍

选自towardsdatascience作者:Emma Ding机器之心编译机器之心编辑部裁员往往来得猝不及防,被重新丢回求职市场才发现自己还不具备竞争优势,这是很多人近期面临的窘境。但两个月拿到四份数据科学 Offer 的 Emma Ding 告诉我们,只要有针对性地认真准备,逆风翻盘也不是不可能。遭上家公司辞退,花两个月拿到四个 offer,还实现收入翻倍,这很难吗?现任 Airbnb 软件工程师的 Emma Ding 介绍了她的经验,说不定可以帮助到近期正在找工作的人。如果你在疫情期间被裁员或者你是数据科学领域的求职者,你一定能从这篇文章的某些部分找到共鸣。以下是 Emma Ding 的自述:被解雇2018 年 12 月,我被告知自己将在 2019 年 1 月被解雇。而就在三个月前,公司的工程副总裁在给 People Success 主管的信中表示,我是公司表现最好的人之一,并主张给我涨薪。这使得我的工资提高了 33%。正因如此,我在工作方面变得更有动力,渴望在新的项目上获得更大的进步。我以为:「公司的未来以及我自己的前途一片光明」。但就在这时,一个消息如晴天霹雳:「受公司缩减成本计划的影响,我将在 1 月 15 日被辞退。」被迫寻找新工作是一件很艰难的事情。浏览了市场上的数据科学岗之后,我很快意识到我与别人在知识方面的差距。我之前在 B2B 初创公司所做的工作仅涉及入门水平的数据工程和机器学习。这与许多工作要求毫无关联,如产品嗅觉(proct sense)、SQL、统计等。我具备一些基础知识,但不知道如何补充更高级的技能。但是,还有比这更严峻的问题:我去哪儿找面试机会?我在初创公司只有一年半的工作经验,还没有统计学或计算机科学相关的学位。随之而来的是一系列问题:失去签证身份之前找不到工作怎么办?找到新工作之前出现经济下行怎么办?尽管有那么多忧虑,但除了找到一份新工作,我别无选择。准备搜索职位面对艰巨的求职任务,我需要一些信息来决定下一步做什么。经过研究,我发现市场上一半以上的数据科学职位是产品驱动职位(「产品分析」),其余的与建模或数据工程有关。我还注意到,非产品分析的职位往往要求更高。例如,大多数建模职位需要博士学位,工程职位需要计算机科学背景。显然,不同职位的需求差异很大,因此要有针对性地进行准备。了解到这些之后,我做出了一个重要的决定:为所有类型的职位做准备任务量太大,而且很可能效率不高,我需要专注于一类职位。我选择了产品分析,因为根据我的背景和经验,我更有可能获得这类职位的面试机会。当然,并不是每个数据科学领域的人都和我有一样的背景和经验,因此我总结了在大公司中这三类数据科学职位的通用要求。这些信息为我节省了大量时间,我认为它对正在寻找数据科学工作的其他人也有用处。但在此我要补充说明一点,对于小型初创公司而言,面试的情况可能有所不同,或许需要将三类职位所需的知识结合起来。产品分析(约占市场职位的 70%)要求:具备产品上线的实践经验、敏锐的商业头脑、优秀的 SQL 技能。示例:Airbnb 数据科学家(分析师方向)、Lyft 数据科学家、Facebook 数据科学家、Google 产品分析师。建模(约占市场职位的 20%)要求:掌握机器学习知识(不仅包括如何使用机器学习,还包括基础数学和理论)、强大的编程能力。示例:Lyft 数据科学家(算法方向)、Airbnb 数据科学家(算法方向)、亚马逊应用科学家、Facebook 研究科学家。数据工程(约占市场职位的 10%)要求:掌握数据工程技能的端到端数据科学家、了解分布式系统、会使用 MapRece 和 Spark、有 Spark 的实践操作经验、强大的编程能力。示例:Airbnb 数据科学家(基础研究)、初创公司的数据科学家。开始求职在知道自己要被解雇时,我做的第一件事就是广泛并积极地寻找新职位。我用到了我所知道的所有求职平台,包括 GlassDoor、Indeed 和领英,还向认识的每个人寻求工作推荐机会。但是,当时正是年底,一直到 2019 年 1 月我都没有收到任何回应。事实证明,被人举荐要比自己寻找职位效率高得多。在大约 50 个面试申请中,我只得到了 3 个面试机会,而在 18 个工作推荐中,我获得了 7 个面试机会。显然,总体来讲,我在求职市场上没有什么竞争力。面试:概况尽管每个公司的面试结构不同,但是大多数公司遵循以下流程:招聘人员首先会给你打个电话;1-2 轮电话面试(TPS)或 take-home assignment;4-5 小时的现场面试(onsite interview),通常包括 3-4 轮技术面和招聘经理进行的行为面试。在我面试过的公司中,大约有一半(4/10)公司在 TPS 前给了一个 take-home assignment 或者用 take-home assignment 代替 TPS。实际上,take-home assignment 会花费很多精力。做完一个 8 小时的 take-home assignment,我至少要休息半天。因此,我需要尽力安排好面试时间。我做完一项 take-home assignment 后,第二天上午不会安排面试。了解面试的基本结构能够帮求职者放松,并熟悉找工作的流程。面试前对于我来说,每一个面试机会都是非常重要的。我知道有些人可能会把面试看作一种学习的方式,比如通过刷面试经历来获取经验,然后通常是拿最后面的那几家公司的 Offer,但我认为不应该采取这种方法。2017 年毕业时,我在 500 份求职申请后只得到了 4 份面试通知,2019 年我也不期望会有更多。因此我更加注重每一次面试准备,不会浪费任何机会。被解雇的好处之一就是我能用全部精力来准备面试,每天我都会整理学习的内容。根据之前的面试经验,我感觉到更加深入的了解才能让自己在面试中给出更深刻的答案。尤其是,当你比平时更紧张更焦虑的时候,充分的知识储备才能让你收放自如。在我描述自己经历的时候,不禁想到之前常听到的一个误解:没有真正的经验就不可能获得产品或实验的相关知识。这一点我是不同意的,我认为通过阅读、聆听、思考、总结也可以习得这些技能。毕竟这和学校的教学方式相同,而且随着我认识越来越多的数据科学家,我验证了这种方法是通用的,即便对于拥有多年深厚从业经验的人也是如此。面试的内容可能与你所做的事情无关,但你可以通过工作经验以外的方式来获得所需的知识。那么你需要具备哪些基本知识呢?通常,在 TPS 期间会询问产品和 SQL 的问题。现场面试期间考察的问题包括产品嗅觉、SQL、数据统计、建模、行为,可能还有 presentation。接下来的几小节总结了我在准备面试的过程中用到的资源。一般来说,GlassDoor 是了解公司特定问题的好资源。看到其中的问题之后,我既了解了公司的要求,也了解了自己和这些要求的差距。这样一来,我就能够制定计划来填补这些空白。「六大科目」,各个击破以下六个部分是我针对产品分析职位总结的面试准备要求。产品嗅觉作为一家创业公司的数据科学家,我主要负责开发和部署机器学习模型,同时写写 spark job。因此,我几乎没有任何产品相关的知识。GlassDoor 上有一些这方面的问题,比如「如何度量成功?」「如何通过当前用户的行为验证新特性?」看到这些抽象、开放的问题时,我感觉毫无头绪。为了学习产品相关的知识,我采用了最基本的阅读、总结策略,使用了下面列出的资源。这些阅读材料帮我构建起了自己的产品知识体系。最后,我总结出了一个回答所有类型产品问题的结构化方法。为了测试和练习,我写下了有关产品嗅觉问题的答案,然后大声说出这些答案并录音,最后自己听录音改进答案。以下是一些参考资源:Stellar Peers:https://stellarpeers.com/blog/Gayle Laakmann McDowell 和 Jackie Bavaro 写的《Cracking the PM Interview: How to Land a Proct Manager Job in Technology》Lewis C. Lin 写的《Decode and Conquer》Victoria Cheng 写的《Case Interview Secrets》SQL我第一次做 SQL TPS 的时候失败了,那还是一家我感兴趣的公司。之后,我研究了一下 SQL 问题,并在一天之内完成了我原来要花一周才能完成的问题,真是熟能生巧。以下是参考资料:Leetcode 数据库问题:https://leetcode-cn.com/problemset/database/?utm_source=LCUS&utm_medium=ip_redirect_o_uns&utm_campaign=transfer2chinaHackRank SQL 问题:https://www.hackerrank.com/domains/sql?filters%5Bstatus%5D%5B%5D=unsolved&badge_type=sql统计学和概率论为了回答这类问题,我温习了基本的统计学和概率论知识,还做了一些编程练习。虽然这两个方面内容都很多,但产品数据科学的面试不会太难。以下资源可供参考:可汗学院的《统计学和概率论》入门课程:https://www.khanacademy.org/math/statistics-probability一本统计学方面的电子书:http://onlinestatbook.com/2/index.html哈佛的《Statistics 110: Probability》课程,介绍了现实中的概率问题:https://www.youtube.com/playlist?list=PL2SOU6wwxB0uwwH80KTQ6ht66KWxbzTIo如果你不喜欢听课,但喜欢阅读,可以看一下 PennState 对于概率论的系统介绍,里面有很多例子:https://online.stat.psu.e/stat414/lesson/introction-stat-414我还通过「10 Days of Statistics」在 HackRank 上练习编程,以此来巩固自己的理解:https://www.hackerrank.com/domains/tutorials/10-days-of-statistics有时候, 统计学面试中会问到 A/B 测试问题。优达学城有一门课(https://www.udacity.com/course/ab-testing--ud257)覆盖了 A/B 测试的基本问题,Exp Platform 有一个关于这个主题的更简明的课程:https://exp-platform.com/2017abtestingtutorial/机器学习由于没有计算机科学专业的学位,我在找工作的时候对机器学习的了解非常有限。我在上一份工作中上过一些课程,面试之前我复习了一下自己的笔记。然而,在建模问题越来越多的今天,产品数据科学家岗位面试中遇到的问题还是集中于如何应用这些模型,而不是模型背后的数学和理论。这里还有一些有用的资源帮你提升机器学习技能:Andreas Mueller 的免费应用机器学习课程:https://www.youtube.com/watch?v=d79mzijMAw0吴恩达在 Coursera 上的机器学习课:https://www.coursera.org/learn/machine-learning?utm_source=gg&utm_medium优达学城《机器学习工程纳米学位》:https://www.udacity.com/course/machine-learning-engineer-nanodegree--nd009tPresentation一些公司要求应聘者展示一个 take-home assignment 或你最引以为豪的一个项目,在这一环节中,你要让自己的展示有趣且具有挑战性。那要怎么做到这一点呢?我的建议是考虑所有细节,如高级目标和成功的度量标准,从 ETL 到建模实现细节,再到部署、监控和改进。这些小事加起来要比一个大的 idea 更有说服力。下面有几个值得反复思考的问题,有助于你做一个理想的 presentation:你这个项目的目标是什么?用什么指标来衡量成功与否?开始这个项目的时候,你是怎么做决定的?你如何知道用户能否从项目中受益?你是如何做测试的?你的 A/B 测试是怎么设计的?项目中最大的挑战是什么?为了让我的 presentation 更加有趣,我通常会分享项目中一些有趣的发现以及其中最大的挑战。但要想做一个真正吸引人的 presentation,你需要练习,一遍又一遍地大声练习。我在家人面前练了一下,以确保自己掌握了材料。如果你能吸引到你认识的人,那个必须坐下来听你说的面试官也逃不过你的手掌心。行为性问题虽然准备技术面试问题很容易,但不要忘了,行为性问题也同样重要。我面过的所有公司至少都有一轮现场的行为面试,其中的问题通常可以分为三大类:你为什么选择我们?你认为一份工作中最重要的是什么?介绍你自己 / 你为什么要放弃当前的工作?你的职业生涯中最成功 / 失败或最具挑战性的事是什么?或者,请说出一个你解决冲突的例子或者你说服你的经理或 PM 的经历。对于数据科学家岗位来说,行为性问题非常重要,所以一定要好好准备!了解一家公司的使命和核心价值观有助于你回答第一类问题。第二和第三类问题可以通过讲故事来回答——三个故事就足以回答所有的行为性问题。在进去面试之前,一定要确保你脑子里存了一些好故事。与产品性问题类似,我通过大声练习的方式进行准备,还自己录音自己听并不断调整答案。现场面试百发百中的秘诀现场面试的前一天通常是忙碌且压力山大的,我总是试图掌握更多的技术知识,同时还要查看统计学笔记,并思考回答产品问题时的框架。当然,和学校里一样,这样的突击准备并不总是有效,罗马也不是一天建成的。所以说,准备是很重要的,但这里还有一些规则需要特别注意:在回答问题之前,先弄明白问题。听完提问后,用自己的语言重复一次问题,以确保你正确地理解了问题。这一点非常重要。组织所有问题的答案。写下你思考过程中的要点,向面试官展示你在解决问题时有系统性思维,也有助于面试官对你进行评价。即使不知道答案,也不要慌。如果你不熟悉这个领域也没关系,可以先做一些假设,然后询问这种假设是否合理。如果实在想不出任何答案,大脑一片空白,那也可以谈论一些与该类型问题相关的经验。态度很重要。企业想要找的是愿意倾听并接受不同意见的人,如果想证明自己易于合作,就要保持谦逊、尊重他人,倾听并表达,为面试现场带来积极能量,并尽力舒畅地进行沟通。提前调查该公司。熟悉它的产品,再设想如何改进其产品,以及用哪些指标来衡量这些产品的成功。阅读公司数据科学家的博客,了解其工作内容。提前调查有助于在面试中进行更加深入、顺畅的对话。遵循以上规则之后,我得到了如下评价:用结构化的方式回答产品问题;谈吐有条理,深思熟虑;对公司产品表现出浓厚的兴趣,并提供了有价值的改进建议。最后的谈判收到口头 Offer 后,下一步就是和招聘方确定薪酬等条件,我的原则是「友好协商」。但是怎么做呢?我推荐一份指南,Haseeb Qureshi 在这方面的经验给了我很重要的启示。薪酬的平均涨幅达到了 15%,最高时还达到了 25%。在求职经历中,我总结出了以下几点:实践出真知;失败是生活的一部分,也是求职的一部分,别太在意;寻找一种有效的解压方法。结语在掉了 5 公斤体重和无数次流泪后,被解雇后两个月内我拿到了 4 个 Offer,其中三个来自我想都不敢想的公司:推特、Lyft 和 Airbnb(我最终加入的公司),另外一家是医疗领域初创公司。在这两个月中,我共收到了 10 个面试邀请、4 个现场面试机会和 4 个工作 offer,现场面试的 Offer 概率达到了 100%。Emma Ding的求职时间线我很幸运,在被解雇后得到了家人和朋友的大力支持,这对于寻找理想工作至关重要。找工作本身也像是一份工作,好在一切都值得。参考链接:https://towardsdatascience.com/how-i-got-4-data-science-offers-and-doubled-my-income-2-months-after-being-laid-off-b3b6d2de6938https://haseebq.com/my-ten-rules-for-negotiating-a-job-offer/

妙悟

让机器人写稿! 正在被人工智能改变的传媒行业

上世纪80年代《终结者》上映时,人工智能似乎还在遥不可及。今年以来,一系列人工智能大事件使人们意识到奇点将至,它已开始介入人们的生活:今年3月,AlphaGo击败了围棋超一流高手李世石;无人驾驶、智能投顾等典型人工智能应用也日趋成熟。在传媒行业,人工智能开启了一场重塑。从美联社、华盛顿邮报、路透社,Facebook,到中国的腾讯Dreamwritter,新华社“快笔小新”,机器人写作已经成为热门话题。不仅仅是文字范围内在被人工智能影响,在有声读物领域,通过科大讯飞的语音技术,可以用智能语音合成的技术和文本分析技术制作有声读物,让机器人自动生成抑扬顿挫,带有特定说话人特色的语音。在资讯视频领域,利用人工智能迅速在几分钟内制作出一条完整视频的技术也已经出现。一场深刻的媒体变革正在来临。机器人写稿成热门话题作为最早将人工智能运用到新闻写作的媒体之一,美联社在人工智能这一领域已经走了近两年。美联社的最初形态是一个不以营利为目的的合作社。2009年,接受美联社供稿的多家美国报纸宣称脱离美联社。其中包括《明尼波利斯明星论坛报》、《纽约日报》、《芝加哥论坛报》等知名报社。作为世界三大通讯社之一,美联社希望通过利用人工智能等新科技,吸引更多报社和读者的眼球。2014年7月,美联社宣布将采用AI公司开发的WordSmith程序进行公司财报类新闻的写作。WordSmith是一个写作类人工智能,作为最早应用到新闻写作中的人工智能之一,它在这近两年时间里的成长是有目共睹的。短短几个月间,WordSmith就已经通过自主“学习”掌握了新闻写作的基本规范,将犯错的可能性控制在比人类职业编辑还要低的程度。今年,美联社继续扩展人工智能的版图,尝试利用智能机技术,自动将文字内容转换为广播版本。据统计,美联社的记者们每周一共要花费800小时将这类纸质报道转化为音频稿件,包括广播和电视。“这简直就是一个噩梦。”美联社的战略和企业发展副主席JimKennedy说。如此高强度的工作,让美联社不得不思考变换思路。如今,他们尝试利用机器人来完成这个过程,从而将新闻从业者从枯燥的写稿工作中解脱出来,将更多时间精力放在机器人不能完成的工作上。比如,更新颖的报道方式和更特别的角度,从而提高文章的阅读量和关注度。过去几个月里,美联社与Matters Ventures公司合作,开发了一套用于自动转化文本的模型。这套模型用于规范纸质新闻转化为音频新闻时,需要包含的格式(比如故事更短、句子更简洁、数字四舍五入取整等)。接下来,美联社将和机器学习公司合作,先聚焦于体育报道,再以此为样本开发一套适用于所有内容的自动转化算法。Kennedy表示,截至2020年底,美联社新闻的文字转化率将达80%。尽管他也承认这个目标过于理想化。为此,美联社在去年制定了一个5年计划,勾勒出截至到2020年的发展蓝图。而2017年,美联社将在7个项目上展开投资,其中就包括文字新闻向广播的自动转换。2015年5月,美联社与Automated Insights公司合作,尝试利用人工智能撰写财报新闻,每季度能生产近4000篇财报新闻,而此前美联社的编辑们每季度智能写出400篇财报。大大提高了美联社编辑部的工作效率。2016年,美联社再次与Automated Insights合作,尝试报道少年棒球联盟比赛,将观众习以为常的比分式报道转换为文字故事。值得一提的是,美联社也是Automated Insights公司的投资方。此外,还在尝试探索例如优化智能识别机、与家用及车用的便携式或声控音响相匹配,让用户随时随地收听广播新闻等等。实际上,国内也有不少媒体在探索和布局机器人写作。去年9月份,腾讯推出了新闻写作机器人。随后11月,新华社推出了“快笔小新”,被称为新华社的机器人新“员工”。前不久,科大讯飞在北京举办的年度发布会上,也推出了个性化的语音合成技术,通过此技术,可以在有声读物领域让机器人自动生成抑扬顿挫,带有特定说话人特色的语音。而百度号近日公布的“百度写作大脑”的核心能力中,运用自然语言处理技术,百度写作机器人也已经可以实现体育新闻、热点新闻等多领域的全机器创作。用机器人聊天的方式解读新闻今年2月份,数据商业新闻网站Quartz推出同名的新闻移动应用,不需要用户自己看新闻,它可通过类似好友聊天的方式帮你解读新闻。Quartz新闻客户端的界面设置和微信、QQ的聊天界面非常类似。所有的新闻内容都将以信息的形式推送给受众,并且受众可以与Quartz直接互动。不过,这种互动并不是让用户直接与Quartz聊天,而是从客户端提供的蓝色选项中选择一个作为回复。在“聊天”开始时,Quartz不会上来就开始讲新闻,而是先试探性地问问你“是否可以开始”,在得到确定的回答后它才会正式地跟受众“聊新闻”。“聊天”过程中,Quartz会就新闻的内容梳理一个大致的梗概推送给受众,在阅读这个梗概之后,用户可以选择是否有兴趣深入了解。如果选择深入了解,那么Quartz会继续讲相关的内容推送给受众;而如果受众对此条新闻不感兴趣,Quartz就会转变话题。Quartz产品的执行编辑、副总裁ZachSeward表示,所有的推送内容都由Quartz的编辑事先选择、编辑完成,而用户与Quartz客户端之间的互动则是由机器算法独立完成的。在他看来,交互对话的形式不仅操作简单、有利于引导用户参与,而且具有很强的互动性。对此,Quartz的高级产品副总裁兼执行编辑扎克·西沃德表示,在早期阶段,聊天机器人只对界面感兴趣,缺少灵魂和人性。最终,Quartz建立了全新团队用于管理其应用,通过与用户“反复沟通”帮助重塑新闻报道,并在与用户聊天的过程中创作出用户喜欢看的新闻。实际上,Quartz并非首家推出聊天机器人的新闻机构,苹果应用店或Facebook Messenger中正出现越来越多聊天机器人。《华尔街日报》、CNN都已经于4月份推出了Messenger聊天机器人,新闻聚合网站BuzzFeed也于7月份推出了BuzzBot。就在11月末,百度新闻也上线了全新版本,启动了“用聊天的方式看新闻”的新功能,其背后正是由人工智能和机器学习技术在推动。传媒行业距离进入智能时代还有多远? 清华大学新闻与传播学教授、新媒体研究中心主任彭兰在近期举行的2016腾讯网媒体高峰论坛上提出判断,人工智能的出现,使媒体进入智媒时代,其三大特征是:万物皆媒、人机合一、自我进化。目前,全球的媒体生态都处于巨变之中,互联网等相关技术的出现使得传统媒体饱受冲击。美国皮尤研究中心媒体研究总监艾米·米切尔(Amy Mitchell)在论坛上介绍,调查发现,在线、社交、移动平台是人们目前获取数字新闻的主要渠道,56%的美国人更偏爱移动端而不是电脑。彭兰说,以人为主导的媒介形态开始被打破,各种智能物体及新技术的交互融合,推动传媒产业链的新变革。她认为,人工智能将使媒体生态在新闻生产系统、新闻分发平台、用户平台、信息终端四个维度发生变化,每个维度的变化都意味着机器的进入。例如在新闻分发平台,某些平台开始提供基于基础性智能算法模型,为不同的用户呈现他们所感兴趣的内容,如今日头条、天天快报。这些新出现的新闻分发平台都不是传统媒体所控制的。在香港科技大学计算机系主任及大数据研究院院长杨强看来,人工智能(AI)进入媒体领域,未来有五大实践方向,包括AI+新闻编辑室(人工智能可以帮助实现自动写作+自动摘要,而序列的深度学习和增加学习,可以让机器更加智能化,像人类一样去阅读和思考)、AI+信源捕获(基于知识库生成问题、基于传感器应用生产呢诶荣、进行兴趣匹配和报道,也可以通过信息传播的可视化追踪,观察传播路径地点和细分人群进而实现个性化精准投放)、AI+资讯视频(机器的深度学习实现文本和视频之间的转换)、AI+智能分发(把握用户的好奇点并且进行内容匹配)、AI+资讯服务(需要机器人进行大量深度阅读和舆情分析)。不过现阶段来看,不论是资本还是业界,人工智能还处于一个比较初期阶段,机器学习也需要经过数据的不断积累和模型的不断优化。用科大讯飞董事长刘庆峰的话来说就是,人工智能的出现,让从业者从简单、重复性的工作中解放出来,讲更多的精力是释放到更有创造力的内容生产上。

大捕杀

打脸!联名抵制Nature机器智能子刊的教授成了首刊文章的一作

机器之心报道参与:机器之心编辑部自《Nature》宣布要上线子刊后,许多学者联名抵制,直到近期 Yoshua Bengio 还在发抵制声明,然而,NMI 首刊上却出现了当初抵制的学者……在《Nature》宣布其子刊《Machine Intelligence》(NMI)将会收费后,诸多著名的机器学习研究者签了一份请愿书来抵制该子刊。然而,有人发现,上周发布的 NMI 首刊上,研究论文《Learnability can be undecidable》的一作赫然就在当初的请愿名单内。这可真是啪啪打脸啊!机器之心查证发现:情况属实,该学者的名字同时出现在了两个本应互相矛盾的位置。抵制 NMI 期刊声明的签署页。NMI 首刊论文《Learnability can be undecidable》展示页。签署抵制请愿名单:https://openaccess.engineering.oregonstate.e/signatures论文地址:https://www.nature.com/articles/s42256-018-0002-3学术大牛抵制其实在早几天《Nature》正式上线机器智能子刊后,Yoshua Bengio 这个月 10 号再次呼吁抵制这一期刊,当时也有很多研究者加入抵制的队列内。如下所示为 Bengio 声明的全文:Bengio 的抵制声明主要分为三部分,首先他明确表示目前开放和开源的机器学习社区是该领域取得众多成果的重要原因。目前机器学习社区已经为论文和研究工作的发布提供了免费的平台,且公众也能免费获取,那么为什么要打破这一「传统」呢?Bengio 表明目前 Jeff Dean、Yann LeCun 和 Ian Goodfellow 等领军研究者都已加入抵制行列中,他们不会为发表研究工作付费,也不希望读者订阅它们还需要另一笔费用。最后,他再一次引用了数千人签名过的抵制声明:「在机器学习研究的未来,我们认为封闭式访问或付费出版不会有什么帮助,并且将新期刊作为机器学习社区研究的发布平台是一个倒退步骤。」尽管去年以及最近很多研究者都在抵制声明上签了名,但没想到打脸来得如此之快。吃瓜事件爆出之后,Reddit 上也引起了吃瓜群众的一番讨论。很多人都对 Ben-David 的做法感到不解,大部分人还是想要抵制 NMI,少数网友则从理性的角度来看待 NMI 对 AI 社区的可能影响:作者在想什么网友 timseverien:也许 Ben-David 只是想获取更多的读者。也许他只是改变了主意。也许他虽然更喜欢开放,但也能接收封闭的形式。虽然我个人不会在签署请愿书后再给 NMI 提交论文,但可能并不是每个人都会这么想。网友 schmook 表示:他当然可以自行改变主意。但在公开支持不这样做的立场之后,他至少应该再公开声明他改变了主意之后再发表吧。网友 BeatLeJuce:从 NPG 的角度来看,我认为没有理由让 NMI 开放。他们肯定会从期刊中获利,而从知名度考虑 NMI 的确比 JMLR 更有优势。我猜这是该期刊首次公布时社区强烈抗议的主要原因之一。就这篇具体论文而言:我同意,作者拥有改变主意的全部权利。但如果社区中的大牛都决定这么做,未免会令人担忧,所以我想来这儿了解大家的想法。现在第一个问题来了:在开放获取与封闭式期刊中,我们选择哪一边?论文还是不错的网友 woodpropagation:我对此也感到很惊讶,但我认为还不算很糟糕。因为这篇论文主要是关于 EMX 和可学习性方面一些最新成果的概括和再陈述。这篇论文的所有技术内容都可以在 arxiv 上找到(能以更好地方式呈现,因为考虑到 NMI 的『格式』和受众,这篇论文似乎被严重简化了。)我甚至怀疑,NMI 可能会沦为一个哗众取宠的会议,不可能会像 NeurIPS 那样受到重视。虽然我很喜欢 Shai 的研究,但这篇 NMI 论文更像是一篇美化的博客,目的是让外行更容易了解其 EMX。NPG的想法和AI社区的想法网友 latent_vector 表示:自然出版集团(NPG)过去曾因为其封闭性和订阅模式受到批评。但同时不可置疑的是《Nature》和其子刊都在各自的子领域中被认为是最富盛名的期刊。如果 NMI 最终也成为 ML 中的权威杂志,我也不会感到惊讶,所以看到其他人试图尽早进入并获得论文出版并不奇怪。尤其是,因为 ML 可以从更熟悉期刊出版模式的领域和 NPG 更具影响力的领域中获得越来越多的跨学科进展。此外,不论好坏,NMI 的出现仍然是一个大事件,即使是在更加重视会议论文集的机器学习/计算机科学领域。NMI 也支持发布预印本。老实说,这解决了我很多的担忧。如果我不能阅读 NMI 的论文,通常情况下我可以选择阅读 arXiv 上的预印本,其和最终发表的版本也差不多。天啊,很多人甚至是在期刊发布后还更新预印本。网友 BeatLeJuce 回应:我绝对赞同在《Nature》上发表论文。这是一个更大的舞台,能让你接触更多的读者,也是对你论文的认可,是一种荣耀。但是,NMI 不等于《Nature》,我们机器学习社区有权利决定是否希望它创办成功。这也是抵制 NMI 的目的,所以大牛如此快地改变主意也让我很难过。NMI 有望成为机器学习领域最负盛名的期刊,而我个人希望我们整个社区能够阻止它的发生。作为封闭式期刊,它不该因为其知名度而像免费开放的期刊那样获得大众的青睐。关于跨学科合作的观点,在 NMI 期刊发刊的编者按中也曾表示:上线该子刊的目的是融合不同的领域,并在人工智能、机器人技术、认知科学和机器学习等领域开展新的合作。考虑到 AI 社区的去中心化特征,围绕 AI 开发和使用的伦理道德问题也将变得越发重要。期刊最初将重点放在三个主题上:算法和硬件的工程和研究,具体领域的应用(例如物理、生物和医疗等),以及 AI 的社会影响。从这项声明中可以看到,《Nature》似乎是希望 NMI 成为 AI 研究社区的补充力量,但大家真的会买账吗?有意思的是,Hacker News 上还有网友玩笑般地总结了 Ben-David 的「心路历程」:第一步:签署《Nature》抵制声明;第二步:让这份声明火起来,这样就少了很多人提交论文给《Nature》;第三步:提交论文给《Nature》,由于竞争对手少,被接收。面对这样的总结,小编只想问一句:秀儿,是你吗?参考链接:https://www.reddit.com/r/MachineLearning/comments/ag9tre/d_people_publishing_in_nature_mi_after_signing/https://news.ycombinator.com/item?id=18858724

相鼠

训推一体,动静合一:深度学习框架「天元」出世

机器之心报道机器之心编辑部「深度学习,简单开发」,刚刚开源的天元(MegEngine)将为开发者们带来全新的深度学习开发体验。又一个国产深度学习框架开源了。3 月 25 日,旷视科技在北京发布了新一代人工智能生产平台天元(MegEngine),其「训练推理一体」、「动静合一」、「兼容并包」、「灵活高效」的强大性能或许将为 AI 领域带来新的风向。「天元是旷视 1400 名研发人员一直以来使用的深度学习引擎,已部署在上百个产品、几十种计算平台上,」旷视首席科学家、研究院长孙剑在发布会上表示。「他可以帮助开发者做到协同设计训得好,高效系统训得快,大规模数据或模型训得动。」旷视首席科学家、研究院长孙剑发布会现场分享。旷视提出的 AI 生产力平台 Brain++包括深度学习框架(天元 MegEngine)、深度学习云计算平台(MegCompute)、以及数据管理平台(MegData),将算法、算力和数据能力集为一体。本次开源的天元是 Brain++平台的核心。天元 MegEngine 深度学习框架官方网站:https://megengine.org.cn/GitHub 开源地址:https://github.com/MegEngine/MegEngine时至 2020,自贾扬清等人开放 Caffe 已过去六年,旷视为什么选择在这个时间点开源自身的核心技术?旷视研究院高级技术总监、天元项目负责人田忠博告诉我们:「这一进程其实去年已经开始推动,我们认为目前国内市场上缺少天元这样的项目。」这是一个需要勇气的行动。据了解,在做出开源的决定以前,旷视技术团队内部经过了多次讨论。这关系到框架技术是否成熟,生态环境是否发展完善,以及未来发展的方向。田忠博指出,天元是一套训练推理一体化、动静态合一的工业级深度学习框架,具体架构包括五层:从最上层的接口层到最底层的计算内核,天元做了很多优化,例如内存管理中的亚线性优化和高性能算子库等。天元架构是旷视在研发过程中遇到痛点,并逐步解决的成果。旷视相信这些痛点也是行业共通的难题,通过这一开源架构,我们可以一站式地解决这些问题。早在 2014 年 8 月,深度学习框架天元就在旷视内部诞生了,它随后成为了 Brain++的核心组成部分。「自 2012 年起,陆续有研究者开发出了第一代深度学习框架。在旷视,我们在实践过程中发现手工编写每层配置文件的方式非常不灵活,」孙剑介绍道。「因此我们发展了第二代深度学习框架,通过计算图的方式设计模型并求导,大大提高了效率。2015 年谷歌正式发布了 TensorFlow,采用了和旷视殊途同归的思路。当时我们进行了比较,发现自己的方法更具优势,所以天元就继续发展下来了。」天元与目前流行的 TensorFlow、PyTorch 相似,旨在让更多的人可以在其基础上构建自己的应用,创造属于自己的价值。此前,百度等公司也推出了自己的深度学习框架。天元会有哪些不同?「在这其中,我们是唯一一个以 AI 为本业的公司,天然需要使用深度学习算法解决问题,」旷视副总裁谢忆楠表示,「我们把自己在 AI 解决各领域问题过程中的工具开源出来,从视角上看或许会获得更好的效果。」天元跻身全球主流框架机器之心很多读者都用过深度学习框架,很多读者也都想入门深度学习框架。那么假设我们有 Python 和 NumPy 数值计算方面的基础,旷视新开源的天元又会有哪些方面吸引我们?孙剑表示,天元有三大特别吸引人的优点,「第一是框架与算法的协同,框架需要为硬件开发优化算子,这样才能结合框架、设备开发最好的网络,ShuffleNet 系列高效神经网络就是协同设计的结果之一。第二即高效与强大性能,一般训练 COCO 数据集需要 30 多个小时,2017 年基于天元的 MegDet 并行物体检测系统,2 小时就能完成,并且精度更高。」「第三是很好地支持大数据、大规模训练。借天元开源之际,我们同时也发布最新版 Objects365 V2,它是世界上最大的物体检测数据集,是目前学界流行的 COCO 数据集 的 16 倍大小。有这么大规模的数据,模型也需要扩增。如果模型扩大 10 倍的话,总体训练量就会增加 160 倍。而天元对于这种大模型、大数据也是没问题的,」孙剑接着说。田忠博说:「天元是为工业级、研究院规模的研发机构设计的,它具备的一些核心特点都是用来解决现实研发过程中的痛点。」从具体体验与特性上,我们确实能发现天元解决很多开发痛点,它们从代码风格、编程范式到底层优化展现了不一样的思路。一键切换训练推理在机器学习中,训练与推理一直不是一体的,当我们设计算法时,首先需要训练框架的支持,然后再把训练好的模型转移到推理框架上,从而将后续的推理计算放到各种硬件上。这中间会存在训练与推理的转换,这个过程需要手动完成,甚至转换后也不能保证模型性能与进度。「训练推理一体化能把繁杂的模型生产流程简化到一步、两步,我们也希望它能够极大缩短算法研发和部署的时间,真正支持大规模的生产级诉求」,田忠博说,「为此,天元框架需要做到三点:无需模型转换就能做推理;训练的速度、精度与推理保持一致;在不同设备上做推理需要保证模型精度可以对齐。」从算法直接到部署硬件,中间不再需要转换模型,只需要几行代码与 API,模型的实践效果就能看得到。对于大多数算法工程师,可能比较精通深度学习模型,对推理与模型部署相对而言不是那么熟,天元无疑能降低大量工程实践成本。更重要的是,在部署过程中,天元通过自动算法选择机制和一系列针对推理的自动优化,能帮我们删除冗余代码,找到最适宜该设备的算法实现,达到灵活高效的目标。动静合一,图并存从 Theano 到 TensorFlow 1.X,它们都遵循着「静态计算图」这条路,我们会发现在用这类方法写模型时,需要很强的「向量化思维」,For 循环之类的语句就不要多想了。此外,因为写代码只是建计算图,调试的时候异常困难,我们不知道图中的数据流到底是什么样的。很快,在 PyTorch 等框架中出现了动态计算图,用它写模型就像写个普通 Python 脚本,但这样写出来的模型,却是难以高效部署的。天元同时支持动态图与静态图,在科研训练与调试时采用动态图,到部署的时候又切换到静态图,这样就能充分利用两者优势。如上图所示,天元可以直接通过 @trace 装饰器确定某个函数到底是动态图还是静态图,而且状态还可以手动调整。这不就意味着在调试时我们可以将函数设置为动态图,直接查看每个变量的信息,而要到了部署等实际应用时,再把静态图打开,提升训练与推断速度?如果以这样的方式调用动态与静态计算图,那真的称得上整合了两种方式的优势。此外,我们还发现有一种动、静态的「混合编程」,即在动态图中调用静态图。可以想象,定义网络结构等过程使用动态图比较直观,而后采用静态图的方式执行实际运算,这也是非常吸引人的方式。后文在代码示例中,也会展示这种新颖的「混合编程」。人生苦短,Pythonic 好入门如果深度学习建模一直采用静态计算图,估计框架就会劝退很多开发者。但是天元这种主要采用动态图的框架,构建模型就像搭积木,而且还能以一般的 Python 编程方式去搭。相信很多接触机器学习的开发者都会选择 Python,它加上 NumPy 等数值计算库,差不多就能完成大多数任务。如果有了这些基础,再搭建深度模型就没问题了,天元一样承接 Pythonic API,学习成本非常低。此外,因为旷视本身在计算机视觉方面有非常雄厚的累积,田忠博表示:「天元内置了一些独特的深度学习算子,它们和旷视在 CV 上的独到能力息息相关,能针对 CV 模型的训练与应用实现深度优化。」对于 API 与代码风格,我们还是比较推荐直接查看本文后面的示例,可以直观感受到,不论把天元当做深度学习的入门框架,还是与 PyTorch、TensorFlow 等一起作为备选框架都没问题。天元的编程风格与 API 配置,和已有的编程习惯、现有框架的风格都是一致的。当然,这些并不是天元所有特性,还有很多需要进一步探索。例如它还有很强的多平台、多设备适应能力,既能灵活调用硬件能力,又可以高效训练大模型。天元框架实际体验怎么样?那么实际用天元写模型是什么样的体验?机器之心体验了旷视发布的 MegStudio,通过在线开发的方式,我们可以快体验到天元的特性与编程方式。MegStudio 上准备好了一些入门项目,它展示了新框架的使用方式,例如「基本概念」主要介绍什么是计算图、张量和算子等基础知识,每一个项目都是通过中文文字与可运行的代码组成的,就像常用的 JupyterLab 那样,通过运行这些基本项目可以让开发者快速掌握天元的基本使用。为了直接展示天元的风格,我们可以快速试试 DL 入门的「第一个模型」MNIST 图像识别。准备数据这里就不展示了,天元可以直接调用 API 来处理常见数据,准备 MNIST 数据两行代码就够了。如果要搭建一个简单的卷积神经网络,天元允许使用 PyTorch Mole 的方式定义,搭建模型就是搭积木。如上所示,继承 M.Mole 后,Net 类只需要定义初始化参数与重写前馈 forward 过程就可以了。卷积层、批归一化层、激活函数等模块的使用非常符合直接,只需要给定必要参数就没问题了。这种继承 Mole 的方式非常直观,是一种动态计算图编写方式。如果要实现前向传播,传给它输入数据就行了,要是需要调试,在 forward 函数下设置断点,或者打印变量的信息都没问题。然而,一般写模型真正复杂的地方在于定义模型架构之外的过程,例如后面需要完成的训练与测试过程。天元的优势在于,它允许动态图结合静态图,即使定义模型使用的是动态图,但在定义训练与测试函数仍然可以用静态计算图。如上在最为核心的前向、反向传播与模型损失计算过程中,我们可以采用天元中的 @trace 装饰器,直接调用静态计算图模式。因为绝大多数计算都发生在这个过程,因此,由动态计算图转为静态计算图将更有优势,天元能采用更高效的方式训练模型。最后就是迭代训练过程了,这里天元也采用了 DataLoader,这种方式非常便捷。后续的损失函数计算与最优化器更新,与现有的 DL 框架比较类似,我们差不多不需要学习额外的知识,了解一下 API 就能用。当然,后续还有保存、加载模型,也是两条语句的功夫。总体而言,很明显天元类似 PyTorch 保持了最好理解与使用的接口,并在关键的计算过程提供装饰器以调用静态计算图,这可以称得上是结合了动态、静态图各自的优势。因为整体上天元的 API 接口非常精简,且保持着主流框架所养成的编程习惯,入门门槛还是非常低的,之前了解过深度学习框架的同学,不需要文档都能快速读懂整个过程。此外天元作为新手入门框架也没是没问题的,学会了它,差不多等同于学会了深度学习常用框架。此外,除了 MegStudio,旷视还发布了模型中心 ModelHub,它汇聚了全球顶尖算法的一些预训练的模型,和旷视研究院一些最新的技术、研发成果。旷视联合创始人兼 CTO 唐文斌 发布会现场分享在旷视的计划中,Brain++将作为「AI 基础设施」逐步开源、开放,将生产力共享给广大开发者,让每个拥有小场景需求的人都可以做出能够解决其关键问题的最优算法。此外,旷视还希望在未来面向高校课程、初创企业提供更多支持,以方便小规模深度学习部署。值得一提的是,旷视本次发布的天元版本是 Alpha 版。旷视表示,更为「正式」的版本会在今年晚些时候上线,随着大量组件的更新,旷视会逐步将计划中开源的代码和能力进一步释放出来。「3 月份开源的版本包含前期整理的代码和关键组件,今年 6 月我们还会发布对 Arm 架构、深度学习加速芯片、低比特和量化环境的支持。在今年 9 月份,天元还会有动态图的核心升级,整个系统会走向第一个开源的稳定版。届时体验会达到更为理想的状态。」田忠博表示。自 2012 年起,旷视就推出了人脸识别开放平台 Face++,近几年来,AI 已从实验室中快速走向实用化。旷视的研发人员们认为,「天元」的开源宣告着人工智能技术再次回到了算法探索的层面。未来,旷视还会进一步增强这一框架的分布式机器学习能力,对底层编译与代码生成能力进行优化,并欢迎机器学习社区力量的加入。

任曰

把Nature发遍,从尿不湿到人造皮肤,这位科学家把水凝胶做到极致

近期,奇物论编辑部将会针对生物材料三大领域的知名学者进行系统性整理,供大家学习和交流。同时,欢迎大家向我们投稿或推荐!今天,咱们介绍的是来自麻省理工学院的赵选贺教授。赵选贺,美国麻省理工学院机械工程系教授。博士毕业于哈佛大学,师从国际著名力学家锁志刚教授。目前该课题组的研究目标是:了解和设计具有空前性能的软材料和探索新型软材料的非凡功能。近年来,赵选贺团队在Nature, Science, Nature Materials, Science Advances, Science Robotics, Advanced Materials, PNAS, Nature Communications, Physical Review Letters等学术杂志上发表论文130余篇。下面一起来看看赵选贺教授的部分代表作。首先,第一篇是2012年发表在Nature上的论文。通讯作者为锁志刚院士,赵选贺为共同作者,可谓初试牛刀。题为:Highly stretchable and tough hydrogels(高度可拉伸且坚韧的水凝胶)他们报告了一种由形成离子和共价交联的双网络聚合物合成水凝胶。尽管这类凝胶含有约90%的水,但它们的拉伸强度可以超过其初始长度的20倍,这些材料的断裂能非常高:即使含有通常会引发水凝胶裂纹形成的缺陷,它们的拉伸强度也可以超过自身长度的17倍。凝胶的韧性归因于两种机理的协同作用:通过共价交联网络形成的裂缝桥接,以及通过解离离子交联网络而产生的滞后现象。这些凝胶可作为模型系统,探索变形和能量耗散的机理,并扩大水凝胶的应用范围。Sun, JY., et al. Highly stretchable and tough hydrogels. Nature 489, 133–136 (2012).第二篇是发表在Nature Materials上的研究论文,对大面积石墨烯起皱和展开的多功能性和控制。赵选贺课题组展示了一种简单的方法来可逆地起皱和展开大面积石墨烯,这使得能够以受控方式获得一系列前所未有的石墨烯形态和性能。这同样也使得许多未来的研究方向成为可能。此外,通过使用一种简单的宏观工具控制石墨烯的微观图案,人们可以开发出具有新颖的可调性和灵活性的新的基于石墨烯的系统,从而使纳米尺度的机制在宏观上可见。Zang, J., et al. Multifunctionality and control of the crumpling and unfolding of large-area graphene. Nature Mater 12, 321–325 (2013).第三篇还是发表在Nature Materials上,讲的是:水凝胶与各种无孔表面的牢固粘合在许多动物中,肌腱和软骨与骨骼的结合非常坚固,但是在合成水凝胶和工程固体的无孔表面之间尚未实现这种坚硬的界面。因此,赵选贺课题组报告了一种策略,可将含有90%水的合成水凝胶设计成坚韧的透明和导电键,使其粘结到各种固体的无孔表面上,包括玻璃,硅,陶瓷,钛和铝。设计策略是将坚韧水凝胶的长链聚合物网络共价锚定在无孔固体表面上,这可以通过使这些表面硅烷化来实现。与物理相互作用相比,化学锚固作用具有更高的内在粘附力,并且在分离过程中会大量散发水凝胶的能量,导致界面韧性值超过1,000 J m-2。Yuk, H., et al. Tough bonding of hydrogels to diverse non-porous surfaces. Nature Mater 15, 190–196 (2016).第四篇是该课题组发表在Nature上的研究成果,用于3D打印无约束快速变形软材料的铁磁畴。他们报告了在软材料中编程的铁磁域的3D打印,该3D打印可通过磁驱动实现复杂3D形状之间的快速转换。该方法基于包含铁磁微粒的弹性体复合材料的直接墨水书写。通过在打印时在分配喷嘴上施加磁场,可以沿着施加的电场重新定向粒子,从而将图案化的磁极性赋予打印的长丝。这种方法能够在复杂的3D打印的软材料中编程铁磁域,从而实现一组以前无法访问的转换模式,例如具有负泊松比的机械超材料的远程控制的行进行为。Kim, Y., et al. Printing ferromagnetic domains for untethered fast-transforming soft materials. Nature 558, 274–279 (2018).第五篇代表作是发表在Nature Communications上的研究成果,主要讲述的是一种简单高效制备导电聚合物水凝胶的方法。赵选贺课题组表明通过简单的方法设计PEDOT:PSS纳米原纤维的互连网络可以产生高性能的纯PEDOT:PSS水凝胶。该方法包括将挥发性溶剂二甲基亚砜(DMSO)混合到PEDOT:PSS水溶液中,然后进行受控的干退火和再水化,使其产生分布均匀的纳米纤维互联网络结构。Lu, B., et al. Pure PEDOT:PSS hydrogels. Nat Commun 10, 1043 (2019).第六篇代表作是发表在Science Advances上的研究成果,介绍了抗疲劳断裂水凝胶的设计原理和应用。受抗疲劳生物组织的启发,该课题组假设合成水凝胶中结晶度的增加可以显着提高它们的疲劳阈值,因为需要破坏结晶域以进行疲劳裂纹扩展。增强合成水凝胶抗疲劳断裂性能的能力使许多未来的研究方向和应用成为可能。例如,抗疲劳断裂水凝胶可用于基于水凝胶的胃固位装置和半月板、椎间盘和软骨的可植入组织替代物,这些替代物在与人体相互作用时需要长期的机械强度。Shaoting Lin, et al., Anti-fatigue-fracture hydrogels. Science Advances 2020.DOI: 10.1126/sciadv.aau8528下面,来到第7篇,这是上一年发表在Nature上的论文,赵选贺课题组首创人体双面胶,5秒粘合伤口。麻省理工学院赵选贺研究小组,开发出一种替代的组织粘合剂,其形式为干式双面胶带(DST),由生物聚合物(明胶或壳聚糖)和接枝有N-氢琥珀酰亚胺酯的交联聚丙烯酸组成。这种DST的粘附机制取决于从组织表面去除界面水,从而导致与表面的快速临时交联。随后与组织表面上的胺基进行共价交联进一步改善了DST的粘附稳定性和强度。体外小鼠、体内大鼠和体外猪模型表明,DST可以在五秒钟内在各种湿动态组织和工程固体之间实现强力粘附。DST可用作组织粘合剂和密封剂,以及将可穿戴和可植入设备粘附到湿组织上。Hyunwoo Yuk, et al.Dry double-sided tape for adhesion of wet tissues and devices. Nature, 2019.再来到今年(2020),该课题组继续在Nature Materials上发表了关于石墨烯复合水凝胶导电生物胶带,用于生物组织上。麻省理工学院赵选贺、南方科技大学郭传飞等人报告了一种电生物粘附(e-bioadhesive)界面,以实现生物电子设备与各种湿动态组织之间的快速、坚固、共形和导电整合。如果电子生物粘附界面位于生物电子设备的电极上,则可以使其具有导电性,从而可以对下层组织进行电记录和刺激。此外,可以通过应用触发溶液从目标组织中良性地撕下电子生物粘附界面,从而允许按需和无创伤地收回植入的生物电子设备。Deng, J., et al. Electrical bioadhesive interface for bioelectronics. Nat. Mater. (2020).其他两篇代表作也是这两年的NS子刊,就不在此多述了。附上截图:个人简介:赵选贺,美国麻省理工学院机械工程系教授。2003 年毕业于天津大学,2009 年博士毕业于哈佛大学机械工程系,师从国际著名力学家锁志刚教授。课题组致力于人与机器之间的界面上发展科学技术,以应对健康和可持续性方面的巨大社会挑战。当前研究的重点是软材料和系统的研究与开发,包括聚合物,水凝胶,生物粘合剂,生物电子学和医疗机器人。近年来,赵选贺团队在Nature, Science, Nature Materials, Science Advances, Science Robotics, Advanced Materials, PNAS, Nature Communications, Physical Review Letters等学术杂志上发表论文130余篇。他还是美国国家科学基金会事业奖的获奖者,曾获海军研究办公室青年科学家项目奖,及AVS生物材料部的青年研究者奖。#木木西里#看完文章,善良的你不如动动小手指转发出去,让更多人看到呀~内容来源:奇物论这太可爱了吧!江苏一高校教授把自己P成女娲补天,作为论文封面山东齐鲁卫生健康杰出青年5成文章被质疑,3篇已撤稿,3篇已勘误国外临床公开数据库大盘点:未被挖掘的小众非生信数据库有哪些?特别声明:本文发布仅仅出于传播信息需要,并不代表本公共号观点;如其他媒体、网站或个人从本公众号转载使用,请向原作者申请,并自负版权等法律责任。