预训练

在GPT等大模型出现后，语言模型这种Transformer+自回归建模的方式，也就是预测next token的预训练任务，取得了非常大的成功。

近期，谷歌大脑的研究团队对这个概念进行了扩展，在新论文《Rethinking Pre-training and Self-training》中，不仅讨论了预训练，还研究了自训练，比较了在同一组任务当中自训练与监督预训练、自监督预训练之间的差异。 2020-07-29 12:16:12 预训练自训练神经网络 人工智能的未来对人类意味着什么? 许多人对人工智能(AI)提出的第一个问题是：“它是好还是坏?”答案是……肯定的。 2020-07-29 10:32:10 人工智能AI疫情 只要6秒 AI人工智能只要听声音就能描绘你的长相 你相信吗？AI人工智慧最近已经进化到，只要花6秒的时间，听到你的声音除可以分辨出你的性别、年纪与种族外，甚至可以描绘出你的长相。 2020-07-29 10:27:08 人工智能语音识别技术 F1赛车被黑客入侵，人工智能技术是救星？ 那是在1998年，澳大利亚F1大奖赛期间。在第36圈，芬兰车手米卡·哈基宁中途突然进站，然后继续参加比赛。这种做法似乎令人费解。这宝贵的几秒钟让他损失惨重——把领先优势让给了队友大卫库塔。 2020-07-29 09:50:54 人工智能网络安全技术 AI +边缘计算——边缘人工智能真的存在吗？ EdgeAI不再处于蓝图阶段。它已经进入主流应用，并且以惊人的速度增长，但是EdgeAI到底是什么呢？ 2020-07-29 09:44:18 人工智能边缘计算技术 为什么说机器学习是预防欺诈的优秀工具？ 随着现代技术的发展和完善，生活变得越来越舒适。虽然以前人们认为同时进行复杂的操作是不可能的，而如今计算机使这一任务变得很容易了。 2020-07-29 08:34:30 机器学习安全工具 为了达到“公开、透明、道德”的目的，使用AI算法制定政府章程 新西兰政府已经发布了一套标准，旨在作为政府机构如何使用算法的指南。根据统计部长James Shaw的说法，新西兰“ Aotearoa算法宪章”被誉为“世界第一”，将提高数据透明度和问责制，尤其是在使用算法处理和解释大量数据时。 2020-07-29 08:02:33 人工智能技术数据 神经网络提取PDF表格工具来了，支持图片，还能白嫖谷歌GPU资源 百度一下，网上有大量提取PDF表格的工具，但是，它们都只支持文本格式PDF。一种使用深度神经网络识别提取表格的开源工具可以帮助你。 2020-07-28 15:15:57 神经网络数据图形 攻城狮职位危险：波士顿动力机器狗去福特当工程师了！ 波士顿动力机器狗又有了一个新的身份：福特工程师。福特公司今日宣布已采用两台波士顿动力公司出品的机器狗勘查其 Van Dyke 变速箱工厂，这两台机器狗分别叫 Spot 和 Fluffy。 2020-07-28 11:55:29 人工智能机器狗技术 突发：字节跳动AI掌门人马维英离职，将加入清华大学张亚勤团队 字节跳动副总裁、AI Lab负责人马维英将从字节跳动离职，加入清华大学张亚勤团队。 2020-07-28 11:45:05 AI 数据人工智能 人工智能改变企业软件的10种方式 以下重点介绍了人工智能当前正在转变企业软件的10种方式，并指出了企业使用人工智能的下一步发展方向。 2020-07-28 10:42:26 人工智能企业软件AI AI/计算机志愿填报指南发布！最受关注的终极八问，参考答案在此 收入丰厚、社会地位高、前景一片光明、冲上热搜第一……人工智能/计算机专业，成了“准大学生”想要填报的专业之一。 2020-07-28 09:50:04 AI 数据人工智能 5G、Wi-Fi 6和AI如何提供更智能的家庭体验 尽管实现真正的全屋智能家居生活还需要一些时间，但是，现在智能家居已成为常态。事实上，根据《智能家居周刊》 2019年的一项调查，英国57%的家庭现在都配备了某种智能设备，并且有45%的家庭计划在未来使他们的房屋更加智能。 2020-07-28 09:34:26 人工智能智能家居物联网 研究：即便是最好的人脸识别算法也会受到口罩干扰 据外媒报道，研究人员发现，口罩不仅能有效防新冠肺炎等空气传播疾病的传播，还能成功阻止面部识别算法。

在这篇论文中，来自谷歌的研究者提出了一种统一各种预训练范式的预训练策略，这种策略不受模型架构以及下游任务类型影响，在 50 项 NLP 任务中实现了 SOTA 结果。