在模型设计方面，Meta采用了一种以语音为输入，离散单元为输出的-to-unit架构，使用单一模型将语音从初始语言翻译成目标语言中的离散单元，然后将离散单元进行转换成语音输出。 在这个框架下提出了两种架构：
-通过模型。 使用单一架构，将语音转换为目标语言的离散单元，无需任何文本；
两遍模型。 它由两对-连接组成。 在将语音转化为离散单元的过程中，加入目标语言的训练目标，帮助模型更好地训练，提高模型翻译质量。
神奇大模型的AIGC：人人都是天才创造者——百度AI数字人首席架构师席佳佳
作为本次大会邀请的数字人嘉宾，AI数字人席佳佳作为百度AI数字人首席架构师发表演讲，阐述了百度文心大模型在AIGC领域的应用。
得益于百度文心大模型的加持，数字人惜家嘉在内容创作上具备三大能力：
文心厄尼3.0宙斯。 该模型可以从丰富的无标签数据中学习，包括百科全书、小说、新闻、戏剧等，并将知识图谱融入学习过程中，引导模型学习世界知识和语言知识，并可以生成总结、诗词、对联、脚本等多种类型的内容；
文心ERNIE-ViLG 2.0。 美丽的画作可以从一句话或一段描述性文字中生成。 利用知识增强扩散模型，将语言、视觉等多源知识引入学习过程，引导模型更加关注文本和图像中的核心语义元素。 同时引入混合降噪专家网络，在不同阶段选择不同的网络进行建模，以提升图像生成质量，为工业设计、动画设计、游戏制作、摄影艺术等场景的创作者提供灵感。
视觉内容生成和编辑技术。 在视觉内容生成方面，可根据用户提供的文字描述或图片，生成高清流畅的视频，并可根据需要调整生成视频的时长； 在可视化编辑方面，开发了VIMER-TCIR多任务大模型。 降噪、去模糊等多任务联合预训练，同时实现不同场景的修复和剪辑，单机每天可修复28.5万帧视频。
图片来源：GAIDC，ERNIE 3.0 Zeus 框架
“从技术到应用，从技术到应用”主题圆桌论坛
论坛嘉宾
王保元博士 小冰公司工程副总裁
许颖清博士清华大学终身教授，清华大学未来实验室主任
童鑫博士微软亚洲研究院首席研究员、网络图形组研究室主任
中国科学技术大学兼职教授、博士生导师
张家兴博士 粤港澳大湾区数字经济研究院首席科学家，认知计算与自然语言研究中心主任
重大技术突破
模态转换，摆脱图形输入创建图形的方式，首次实现跨模态生成；
很难获得 3D 数据。 根据图片训练出来的模型，可以提供所有需要的3D数据，不再需要传统的3D建模数据；
它不仅是一个语言模型，还是一个知识生成平台，在嗅觉计算等其他方面也具有颠覆性的影响。
紧急问题
在NLP方面，现有的大模型容量够用吗？ 是否所有任务都适合用大模型解决？ 您是否需要将所有功能压缩到一个大模型中？
如果没有意识到自己的错误，可以让模型自己学习，也可以加一个监督模型。 判断模型比生成模型复杂。 最好的方法是让模型学会使用工具，比如使用搜索引擎来获取证据。
“数字互联新出行，开源新发展”——AI智慧出行前沿主题论坛
“真无人”的自动驾驶技术路径探索与实践——云集智行联合创始人、执行副总裁曹广智
城市自动驾驶是自动驾驶技术的高地，也是总决赛。 这场自动驾驶决赛的到来是因为：
最新的政策立法为自动驾驶打通了法律基础，允许自动驾驶技术企业和智能出行企业合法实施无人驾驶；
近十年来，人工智能技术（包括AI算法）和芯片技术得到长足发展，为无人驾驶落地奠定了技术基础；
自动驾驶的商业闭环已经形成。 以美国的Waymo为例，它已经向公众开放了充电业务。 任何到美国旅游的人都可以在一定时间内通过手机APP叫车，乘坐真正无人驾驶的出租车。 .
云集智行认为，大网络模型的端到端自动驾驶神经网络是自动驾驶的终极解决方案。 构建如此大的模型需要两个先决条件：
大数据。 大量高价值数据形成大数据闭环；
强大的计算能力。 车端大算力布局，支持端到端输出。
智卡远征打造物联网人工智能交通系统——主线科技合伙人、前瞻研究院院长王超
人工智能卡车的技术应用价值
缓解人员短缺，填补1000万货车司机缺口；
提高道路安全，将交通事故死亡人数减少 80%；
降低油耗，降低成本，能耗降低10%-15%；
提高运营效率，每车每年可节省9万-20万。
在卡车自动驾驶方面，主要科技成果包括：
自动驾驶系统。 具有智能感知、智能定位、智能调控、自主测绘、自主标定等功能；
车路协调系统。 打造智慧高速公路，加快实现自动驾驶。 实现超视距障碍物感知、货车编队等功能；
Trunk FIT车队群智能交通系统。 由“T-FMS”和“T-BI”2大子系统和6大功能平台组成，具备业务流程管理、地图服务、充电调度管理等功能，保障持续的安全、便捷和便捷。智能驾驶与交通业务全流程效率。
图片来源：GAIDC、王超、智卡远征打造网联化人工智能交通系统
“无人驾驶出行背后的安全坚持与创新实践”主题圆桌讨论
论坛嘉宾
刘建全 商研智联副总经理
赵勇 中国联通上海分公司智能交通总架构师
杨晓光商汤爵影车路协同首席架构师
新石器无人车政府事务部主任黄瀚涛
王力车友智能总经理
如何保障高级别自动驾驶的安全性？
单车智能与远程驾驶相结合，出现问题时远程控制及时接管；
车路云相互合作的一体化整体解决方案，是保障无人车上路安全的有效途径。
无人配送如何保障安全？
从政策的角度。 2023年2月1日，《上海浦东新区推进无人驾驶智能网联汽车创新应用方案》正式实施，从顶层设计为无人配送安全提供保障；
从商业角度来看。 安全、质量、管理不是管理出来的，而是设计出来的。 企业在规章制度设计和制度监管时应考虑安全问题；
从技术角度来说。 在技术迭代创新的同时，要注意建立安全冗余备份。
Road OS——开源的车路云一体化智能交通系统——王淼，百度车路协同首席科学家
2022年，在工信部的指导下，智录OS将在全球首发。 目前，智路OS已经进入2.0阶段，实现了高级别自动驾驶的规模化测试，建立了网联云控的对外服务能力，实现了车路数据融合。 截至2023年2月，百度智能网联和车路协同已在全国60多个城市落地，部署路口1000多个。
智路OS特点：开源开放，统一北向服务框架/南向统一硬件抽象，统一定位协议，车路云统一通信服务；
智路OS典型应用：高级别自动驾驶、网络辅助驾驶、低速无人配送、数字孪生、智能信号控制、智能停车等。
图片来源：GAIDC、汪淼、智路OS-开源车路云一体化智能交通系统
智领未来：大型模型技术与应用论坛
能力分析与应用——复旦大学计算机学院教授 邱锡鹏
许多能力的出现，大大缩短了实现通用人工智能的预期时间。 涌现能力是指当模型参数规模发展到一定阶段时，会涌现出一些在原有小模型中观察不到的能力，一般以百亿级参数为分水岭。
图片来源：GAIDC，邱锡鹏，能力分析与应用
出现了三个能力：
情境学习。 赋予大模型强大的交互能力，让大模型通过实例学习，即大模型可以根据上下文进行学习，这种能力大大降低了语言模型应用于下游任务时的开发成本；
思路链。 模型可以学习人类的思维方式，在输出答案时，会以思维链的方式展开；
自然指导学习。 模型参数达到一定规模后，只需要少量的指令，模型就可以输出预期的答案； 而对于以前没见过的指令，大模型也能理解，模型泛化能力强。
百度文心·CV大模型VIMER：算法与应用——百度计算机视觉首席科学家王敬东
视觉大模型广泛应用于物体识别、目标检测、图像分割、文本识别、表情理解、道路巡检、工业质检、遥感影像、能源安全等领域。
共识：标注数据越多，效果越好；
挑战：难以获得足够的标注数据；
解决方案：基于大数据预训练大型模型。
大视觉模型的六大要素：大算法、大数据、大任务、大参数、大平台、大算力。
大模型算法及相关应用
预训练（自我，弱监督）。 从无标签数据或图形数据中学习图像或视频的语义表示，可应用于工业、OCR、智慧城市、搜索、自动驾驶数据挖掘等；
半监督。 使用大量未标注数据帮助训练有标注数据的识别模型，可应用于物体检测、自动驾驶3D感知等；
多任务处理。 不同任务的数据相互帮助，提升模型效果，应用于交通视觉感知、智慧城市等。
图片来源：GAIDC，王京东，百度文心·CV大模型VIMER：算法与应用
昆仑芯大模型推理优化及应用实践——昆仑芯科技互联网行业研发总监王志鹏
从工业实现的角度来看，市场上常用的大机型分为两类：
稠密。 思考为主，从事NLP判别任务；
疏。 主要做稀疏计算，比如随机查表任务，在互联网公司的广告推荐系统中占比很大。
昆仑核心XPU加速库，采用XFT架构，输入文本、图像、声音、视频，应用于分类、生成、汇总等任务，其技术优势包括：
它适用于广泛的场景。 为生成模型/AIGC/NLP//CV领域的类模型提供统一的加速解决方案；
极致性能优化。 低时延、高吞吐，充分利用昆仑核心硬件优势，在多种条件下，相比优化前性能提升1.5-5倍； 自研内存压缩技术，可实现30%+内存优化，16亿参数业务模型内存占用约4G；
良好的框架兼容性。 全面适配主流AI框架；
开发者友好。 模块化设计，OP/Layer/Model分层性好，模型实现成本更低，周期更短； 子图复制技术，自动提取权重和拓扑信息，方便开发者在没有推理框架的情况下快速开发和验证结构。
图片来源：GAIDC、王志鹏、昆仑芯大规模模型推理优化及应用实践
人工智能——人工智能如何为科学研究和发现提供动力
人工智能的发展趋势——华为技术总经理于凡
AIGC在中国市场的应用创新正在加速，预计到2030年市场规模将达到万亿级，属于计算密集型产业。
AI科学计算具有“物理驱动、数据驱动、物理+数据融合”三种计算模式。
物理驱动器 (PINN)。 在神经网络损失函数中引入物理方程，使其参与网络训练，使学习结果符合物理规律。 应用于PDE方程的正解，基于数据融合和数据同化的反问题；
数据驱动。 比如使用改进+神经网络对CAM5数据进行像素级分割，用于识别极端天气事件。 训练样本量达到3.5T，可扩展到27,360个GPU，峰值数据吞吐量1.13 EF/S；
物理+数据融合。 例如，利用AI表达密度泛函，将传统泛函难以兼容的物理约束表达为训练数据，从而克服传统密度泛函的弱点。
以科学智能基础模型为抓手，连接产业力量，明确领域科学任务，构建各领域AI4S大模型，打造覆盖全流程的科学智能套件。
图片来源：GAIDC，余帆，科学计算总体架构
“芯片无限，闯向未来”——AI芯片开发者主题论坛
& 人工智能芯片——比人科技COO、联合创始人张玲兰
大模型应用背后的AI芯片设计挑战
对单个节点的计算能力需求是巨大的。 从GPT-1到GPT-3，再到AI大模型参数规模快速增长，带来对单节点算力需求的激增；
制造工艺的局限性。 在AI芯片研发过程中，AI芯片厂商受到制程、性能、良品率、成本等诸多制约。
十多年前还没有核心粒子的概念。 碧仁科技在基板上实现了芯片与HBM2E高带宽存储器的连接，两者之间的距离从厘米级缩短到毫米级，显着提升了计算能力，降低了功耗。
比人科技对设计理念的实践
突破光罩尺寸对单芯片面积的限制； 有效提高产品成品率； 充分发挥老工艺节点的性价比优势； 整合不同制程芯片，更灵活的产品策略。
大算力芯片发挥潜力面临的困难
输入和输出的复杂权衡和“爆炸式”设计空间；
设计方法和工具：DTCO→STCO； 工具、模型、成本模型；
对编程模型的潜在影响是一个容易被忽视的因素；
相关技术可用性面临困难：商业模式、标准、EDA/IP、供应链……
“无限芯片闯未来——创新生态之路”圆桌论坛
论坛嘉宾
中国信息通信研究院华东分院副院长廖运发（主持工作）
李斌穗元科技软件战略官
上海联通航运事业部总经理 刘建伟
郭培清 上海超算中心人工智能与大数据部副主任
罗宇峰 浪潮信息人工智能与高性能产品线副总经理
商汤科技大器件事业群总监刘元辉
如何研发国产AI芯片？
任何一家芯片公司都需要考虑供应链如何更好地与框架对接，为开发者和客户服务；
要有合理的政策环境。 能源消费限制和严格监管将阻碍发展；
企业要有耐心，各司其职，逐步丰富产业生态，实现全体成员共同发展的愿景；
芯片厂商要调动生态伙伴一起做推广工作，帮助客户解决应用场景问题。 只有真正落实，业务才能持续发展；
AI在各个行业的普及度不高，可以瞄准增量市场，还有很大的市场空间。
知智慧：AI安全与伦理洞察主题论坛
AIGC伦理与治理初探：数字世界为人民服务——商汤科技智能产业研究院院长田峰
人工智能伦理的实践侧重于对个人信息的保护。 商汤科技率先通过了ISO 27701、欧盟标准和国标认证，在数据存储、数据脱敏、数据共享、数据传输过程中实现了全面的个人信息保护。 商汤科技采用的主要方式有：
推出数字水印技术，人眼无法看到，但抄袭达到一定比例时可以检测出来；
嵌入数据因子，通过深度学习技术学习授权创作者的作品风格，构建风格检索器；
商汤科技直接在摄像头端或云端使用算法对车牌、卡号等数据进行脱敏处理，有效保护个人信息；
数据沙箱是一套完整的数据托管训练解决方案。 在保护数据隐私的前提下，通过隐私传输和联合计算，使数据价值最大化。 适用于医疗、能源等行业；
帮助算法提高鲁棒性，例如识别虚假交通标志，避免自动驾驶汽车误判；
推出自动化工具箱，监控商业算法的安全性、稳健性、可解释性、公平性等。
上述功能全部融入“商汤人工智能安全开放平台”，旨在打造可信赖、被广泛验证和使用的全栈式人工智能安全服务。
图片来源：GAIDC、田峰、AIGC伦理与治理初步研究：数字世界为人民服务
編輯：碩谷新聞聚合
發表評論 取消回复