回顾2023年,aigc、大模型、agi等成为年度热词,其火热程度不亚于曾经的"元宇宙"热潮。与后者不同的是,大模型不只是瞬时的热门话题,已得到了国际权威it研究咨询机构gartner的认可。
gartner近日发布的“2024年十大战略技术趋势报告”的核心内容只有一个,就是生成式ai。gartner预测,到2026年超过80%的企业将使用生成式ai的api或模型,或在生产环境中部署支持生成式ai的应用,而在2023年初这一比例不到5%。
大模型的普及只是时间的问题,然而,实现可持续的规模化扩展仍然面临一些重要挑战。如何用好生成式ai技术为企业的业务赋能,是多数it从业者都在思考的问题。
在近日召开的亚马逊云科技生成式ai构建者大会上,亚马逊云科技大中华区产品部总经理陈晓建以“赋能生成式ai新时代,助力数据和ai普惠”为题进行了精彩分享。
亚马逊云科技大中华区产品部总经理 陈晓建
陈晓建提到:“生成式ai不仅仅是大模型,今天,当我们谈论生成式ai时,大多数人都在谈论基础模型,而整个生成式ai应用就像是浮在海面的冰山,露在海面上方能被大多数人看到的冰山一角就像是基础模型,而在冰川的底部,同样需要大量的基础模型以外的服务来支撑,如加速芯片,数据库,数据分析,数据安全服务等等。”
亚马逊云科技提供了完整的端到端的生成式ai技术堆栈,从底层的加速层如加速芯片,存储优化,到中间层模型构建工具和服务,再到最上层的生成式ai相关应用,每一层都在针对客户的不同需求持续创新。
亚马逊云科技希望通过其提供的专为生成式ai打造的工具和服务,实现生成式ai技术的普惠化。为达成“普惠生成式ai”这一使命,亚马逊云科技正在围绕应用场景、工具和基础设施、数据基座、ai原生应用构建和生成式ai服务五个层面,助力企业和开发者释放生成式ai的潜力。
亚马逊云科技大中华区产品部总经理陈晓建
一、从典型场景入手创新业务模式
麦肯锡于今年6月发布的报告显示,在生成式ai技术带来的经济效益中,大约3/4来自四类主要的职能:营销与销售、产品与研发、软件工程和客户运营。这些典型的应用场景带给企业的业务价值主要包含三个方面:一是增强客户体验,二是提升员工生产力与创造力,三是优化业务流程。
陈晓建列举了一些典型的客户案例。如,salesforce将amazon bedrock和amazon titan集成到其生成式ai产品中,使客户能够在salesforce data cloud上轻松安全地使用其数据,以构建生成式ai应用;海尔创新设计中心利用生成式ai能够实现文生图、图生图、定量图和全场景图的全面提效,上线后,自动化设计系统应用让相关业务的操作周期缩短了20%;国内知名的游戏客户上海沐瞳科技,正在携手亚马逊云科技使用生成式ai技术amazon bedrock,优化游戏开发领域的业务流程。
二、快速构建高性价比的生成式ai应用
基础模型的发展和迭代是日新月异的,而新出现的每一个大模型都在性能和特定领域有着独特的优势。亚马逊云科技的ceo adam selipsky认为,没有一个基础模型可以适用于所有的业务场景。面对庞大的模型基数,对企业级用户而言,如何根据自身的场景选择合适的基础模型,是每一家企业在构建生成式ai应用时面临的挑战。
为帮助客户应对这一挑战,亚马逊云科技正式发布了amazon bedrock,帮助客户简化了使用基础模型构建和扩展生成式ai应用程序的难度。该服务与amazon sagemaker jumpstart结合,可助力对基础模型有着不同需求的客户轻松、安全地选择基础模型。
amazon bedrock是一项无服务器服务,提供了广泛的模型选择、数据隐私,且能够自定义模型,无需去管理底层的基础设施。据悉,amazon bedrock提供的基础模型来自meta, anthropic, stability ai, ai21 labs、cohere等第三方领先提供商以及自身的amazon titan模型等。
amazon sagemaker需要客户管理应用程序架构中的模型部署、配置和托管,但拥有更大的灵活度和自由度对基础模型进行定制,客户可以从amazon sagemaker jumpstart中选择开源的基础模型,然后根据自身需求可以选择全量微调,轻量微调等不同方式,进一步确定微调框架,利用分布式训练实现微调,从而更好的评估微调效果。
基础模型本身存在局限性,即使是预订航班或退货这类简单的功能,也需要开发人员经过多个步骤才能实现。而amazon bedrock代理功能作为一项全新的全托管功能,能使开发人员更轻松地创建基于生成式ai的应用程序,完成各种用例的复杂任务,并根据专有知识源提供最新的答案。只需进行简单操作,amazon bedrock 代理功能就会自动分解任务并创建编排计划,无需任何手动编码。
除此之外,亚马逊云科技还能为客户提供广泛的高性价比的加速器选择,包括强大而灵活的基于gpu的尊龙凯时注册的解决方案,例如基于英伟达最新gpu芯片h100 tensor core的amazon ec2 p5实例,与上一代相比速度快6倍,训练成本节省40%。还有amazon ec2 inf2实例和amazon ec2 trn1实例,与同类实例相比更具性价比。据悉,oppo、airbnb、sprinklr和 autodesk等企业都在使用这些专用加速器来处理其机器学习工作负载。
三、运用私有化数据打造差异化的竞争力
麦肯锡在其报告中提到:如果企业尚未找到有效使用自身数据的方法,那么可能很难对生成式ai的基础模型进行定制化。能够成功构建一个具有商业价值的生成式ai应用程序的公司,无一例外都是能够把数据用好的公司。而用好数据的前提是具备一个强大的数据底座。
面向生成式ai构建强大的数据底座,需要一套全面的服务,以便能够存储用于构建和微调模型的各种类型的数据;还需要服务间的集成,以打破数据孤岛,确保能够随时访问所有数据;还需要在构建生成式ai应用程序的整个生命周期中,确保数据安全并对其进行管理。
在服务层面,亚马逊云科技针对生成式ai领域的用户个人信息、会话信息管理、私域知识库等应用场景都提供了专门构建的数据库。针对检索增强生成(rag,retrieval augment generationrag)需要处理的向量数据,亚马逊云科技为amazon opensearch service、amazon aurora postgresql和 amazon rds for postgresql加入了向量数据库功能。
在数据集成层面,etl(数据的抽取extract,转换transform,加载 load)是端到端数据旅程迫切需要解决的问题,亚马逊云科技提出“zero-etl”的愿景,并采用了相应的创新,如推出的aurora zero etl for redshift integration, 允许存储在amazon aurora中实时产生的业务数据,无需etl工具,以自动的方式同步到数据仓库amazon redshift中,以供近实时的进行海量数据的聚合分析。
在数据治理方面,亚马逊云科技提供全新的amazon datazone数据治理服务,让客户能够跨组织边界发现、访问、共享和治理大规模数据,并减少企业内部成员访问数据和使用分析工具时繁重的工作量。
四、构建ai原生的现代化应用的五个关键点
结合亚马逊服务百万客户的经验,陈晓建总结:构建一个ai原生的现代化的应用需要考虑以下五个方面。
一是微服务化。通过一个事件驱动的架构,松耦合地处理每个模块之间的互相依赖,即使需求不断变化,应用仍具备保持快速进化和迭代的能力。
二是serverless first。尽量考虑让serverless去做,简化运维,提升效率。
三是数据洞察。数据是最重要的资产。在整个生成式ai应用的设计之中,要把数据能力作为应用的核心竞争能力。
四是安全考量。要关注安全的围栏、影响面的控制,减少爆炸半径,充分重视安全和数据合规与保护。
五是避免重复造轮子。伴随企业对devops等现代应用治理理念的持续投入,促进了企业内部的应用资产与实践的分享,有助于构建高效敏捷的构建者文化。
五、使用开箱即用的生成式ai服务加速开发进程
编程是生成式ai技术快速应用的领域之一。复制一些已有的代码来进行修改,可能会复制无效代码或带有安全隐患的代码,而且多数企业缺乏对开源代码进行有效追溯的手段。
amazon codewhisperer可以实时提供编程的代码建议,提升开发人员的生产力。与未使用这款服务的开发者相比,使用amazon codewhisperer来完成任务的速度平均快57%,成功率高27%。
值得一提的是,amazon whisperer还支持自定义功能,能够生成优于之前的代码建议,允许客户使用私有代码库安全地定制 codewhisperer代码建议,这些私有代码库包括内部api、数据库、最佳实践和架构模式等。
最后,陈晓建表示,“如何加速客户最终应用的商业化落地,除了亚马逊本身的资源以外,我们同样需要构建强大的尊龙凯时注册的合作伙伴生态,携手助力解决生成式ai应用构建中的各种技术问题,加速应用落地。”
除了云服务之外,亚马逊云科技还提供尊龙凯时注册的解决方案架构师、产品技术专家、人工智能实验、数据实验室、快速原型团队、专业服务团队、培训与认证部门等多个资源共同助力客户成功,同时携手生态尊龙凯时注册的合作伙伴与初创圈,构建生成式ai的大生态,进一步助力生成式ai技术的落地,加速实现普惠生成式ai这一愿景。