5月11日凌晨，谷歌召开 “2023 Google I/O”技术大会，生成式AI成为本次大会的重要主题。
会上，谷歌首席执行官Sundar Pichai介绍了最新发布的大语言模型PaLM 2，主要功能包括支持100多种语言、具备逻辑推理、代码生成等，基本上与ChatGPT的最新模型GPT-4类似，并开放了API测试申请渠道。（API申请地址：https://makersuite.google.com/waitlist）
值得一提的是，PaLM 2提供了Gecko、Otter、Bison和Unicorn四种模型。其中，Gecko非常非常轻巧，可以在移动设备端运行快速运行（手机、Pad等），即便是离线状态也能与应用程序进行交互。谷歌希望开发者通过Gecko模型，加速生成式AI在移动端的开发进程。
谷歌并没有公开PaLM 2的参数，但之前的PaLM是5400亿参数。我们带着这个问题询问了Bard，它回答道：“目前仍在开发中，无法访问非公开信息。”
PaLM 2采用了一种“计算最优缩放”技术，能在最小的参数实现最大的性能，也就是说开发者可以用最少的算力资源，开发强大的生成式AI应用。
Bard回答
Sundar Pichai介绍PaLM 2
下面为大家介绍PaLM 2的主要功能
多语言
PaLM 2比之前的PaLM，在多语言文本方面接受了更多的训练，涵盖100多种语言。显著提高了在多种语言中理解、生成和翻译细微差别文本（包括成语、诗歌和谜语）的能力。PaLM 2还通过了“精通”级别的高级语言能力考试。
生成代码
PaLM 2在大量公开可用的源代码数据集上进行了预训练。这意味着擅长Python、JavaScript 等流行的编程语言，同时也可以生成 Prolog、Fortran 和Verilog 等语言的专用代码。
推理能力
PaLM 2的广泛数据集包括科学论文和包含数学表达式的网页。因此， PaLM 2具备强大的逻辑、常识推理和数学方面的能力，比之前的PaLM更容易理解人类的意图。
PaLM 2是如何构建
根据谷歌官方的说法，PaLM 2 因擅长高级推理、翻译和代码生成等任务，通过融合大型语言模型中三个不同的研究进展，对其前身PaLM进行了三大优化。
使用计算最优缩放：计算最优缩放的基本思想是，按比例缩放模型大小和训练数据集大小。
这种新技术使PaLM 2比PaLM更小，但效率更高，整体性能更好，包括更快的推理、更少的服务参数和更低的成本。
增强数据集混合：之前的PaLM的训练数据集主要是英文。PaLM 2通过更多语言和多样化的预训练混合，改进了语料库，其中包括数百种人类和编程语言、数学方程式、科学论文和网页等。
更新的模型架构：PaLM 2增强了模型架构，并接受了各种不同任务的训练，所有这些都有助于PaLM 2学习不同的语言和任务。
负责任的AI
谷歌承诺向用户、企业、个人开发者提供负责任的AI服务，并进行了以下优化。
预训练数据：谷歌删除了敏感的个人身份信息，过滤了重复的文档以减少记忆，并分享了在预训练数据中的表现方式的分析。
非法内容过滤：PaLM 2展示了改进的多语言非法内容分类的能力，并且内置了对非法内容生成的控制。
危险评估：谷歌评估了PaLM 2一系列潜在下游用途的危害和偏见，包括对话、分类、翻译和问答等，并对这些非法内容进行了有效控制。
– END –
开发者大赛
报告下载
大佬观点
