ai插件机品牌 AI 观察 | 详解 LLM 如何赋能跨境电商出海广告
过去一年并不平凡。从去年 11 月至今,LLM 大型语言模型持续破圈、始终盘踞热点话题之列,在 LLM 持续升温之际,我们迎来了感恩节周末,收到了微软全球资深副总裁张祺博士发来的祝福:
微软全球资深副总裁张祺博士
感恩节之际,借此平台,我向支持我们的用户及合作伙伴表示衷心感谢,感恩你们的支持,令微软在本地市场取得了良好的发展!
感恩专注于微软使命,持续为用户及合作伙伴提供服务的辛勤员工,你们的坚守和努力令微软持续引领全球科技的发展和进步。
感恩一路有你,祝大家节日快乐!
对广告主及合作伙伴来说,感恩节最重要的是“黑五”、“网一”等国际购物潮。根据 的最新在线购物预测,感恩节本土市场假日季的在线收入,或将有望创达 2218 亿美元。年度机遇近在眼前,跨境出海企业如何抓住机遇、突破销售记录?
▲关于“黑五”的创意图 © Getty
对此,LLM 或许能够给出答案。微软首席执行官萨提亚·纳德拉在刚刚结束的全球 技术大会上曾表示,“生成式AI模型的参数范围很广,从需要 Azure 中最强大 GPU 的数万亿参数的 LLM,到数十亿参数的特定任务 SLM(小语言模型)。我们都提供了最佳的前沿模型选择,用户、客户及合作伙伴可以使用这些模型构建自己的 AI 应用,并满足对成本、延迟和性能的特定需求。”
无疑,以 LLM 为代表的 AI 新浪潮正在为广告营销行业带来巨大变革与飞跃。本月起,“微软全球营销”将通过一系列专栏文章,为读者进行前沿技术解读。今天为大家奉上的是对 LLM 大型语言模型的技术原理详解及科研视角前瞻。
“
由大型语言模型驱动的 AI 系统,正加速改变着人们的工作与生活。作为全球领先的科技企业,微软始终致力于推动前沿技术创新、应用与普及,为世界赋能。我们以丰富的 AI 经验和资源,秉承责任、可靠、可信原则,将 AI 融入微软现有生态,从提供 AI 工具到构建 AI 平台,与合作伙伴全方位携手、拥抱技术潮流,予力客户、惠及行业、创造社会价值。
——微软全球资深副总裁 张祺
”
LLM的技术原理
▲LLM 训练全景图
LLM 作为一种具有强大功能的模型,研究人员通过预训练、微调、提示工程和插件等技术手段,使其备了理解自然语言并进行推理的能力。
预训练 Pre-
谈到 LLM 的预训练,我们指的是一种训练方法。预训练时,LLM 学习大规模数据,从中提取出尽可能多的共性特征,从而减轻模型对特定任务的学习负担。预训练模型的发展经历了从 BERT 双向变换器模型,到 GPT 自回归变换器模型的转变。其中的典型代表即 的 GPT 系列。今年 11 月, 正式推出最新的 GPT-4 Turbo。主要提升包括:上下文对话长度达到 128k,采用全新模型控制技术优化输出,以及 GPT-4 Turbo 的知识库更新到 2023 年 4 月等。
▲ 关于 的创意图 © Getty
此外,Meta 创建的开源模型 LLaMA,也备受外界关注。今年 7 月,Meta 在微软的 合作伙伴大会上宣布,与微软合作推出 ,并获得 Azure 和 的支持。10 月, 的延伸版本 LLaMA Long 上线,上下文长度达到 32k。
▲Meta 开源模型 LLaMA 创意图 © Getty
微调Fine-
微调,是在已有的预训练基础上,通过少量的数据对 LLM 进行训练,按要求实现修改和优化,使之在特定任务上表现出更优性能。微调减少了训练新模型所需的时间和资源,同时减轻了标注数据的压力,是一种快速迁移学习的方法。
▲关于信息数据的创意图 © Getty
最新的 GPT-4 Turbo 又一大升级,就是允许开发人员定制化微调,例如修改模型训练过程,进行额外的特定领域预训练、运行自定义强化学习后训练过程等。
提示工程
提示工程是指设计和构造适合 LLM 输入的提示文本,以引导其产生特定类型的输出。通过设计合适的提示词,可以引导 LLM 在特定领域或任务上表现出更好的性能。LLM 在生成文本时具有一定的创造力和自由度。有人也把它称为思维链(Tree-of-),类似人类解决问题的思维方式,通过试错的方式在解决空间中进行树状搜索,并在必要时进行回溯。思维链主要包括头脑风暴()、评估()、扩展()和决策()四个阶段构成,形成的一整套链路,使得 LLM 能够生成多个潜在的解决方案,评估并改进它们,最终给出用户最佳的解决方案。
▲关于 LLM 的创意图 © Getty
扩展和插件 &
研究人员还会通过添加额外模块或插件,来实现对 LLM 的功能扩展,增强其在特定任务上的能力。例如,Auto-GPT 和 是 LLM 功能扩展的典型代表。其中,Auto-GPT 是一种基于 GPT 的自动化工具,它可以利用 GPT-4 的强大功能自动完成复杂任务。用户给定一个目标,它就会将其分解为子任务,并利用互联网和其他工具自动实现。
▲图为 Auto-GPT 的官网首页截图
是一个框架,它利用 来规划任务流程,根据 Face 的功能介绍来选择适合的模型,执行各个子任务,并根据执行结果生成反馈。 可以实现多领域、多模态的复杂 AI 任务,在语言、视觉、语音等方面都取得了令人印象深刻的结果。
LLM 如何赋能广告
在解析了 LLM 的技术原理后,跨境出海企业最想了解的就是究竟如何将 LLM 应用到广告之中。对此,今年 9 月,微软全球资深副总裁张祺博士在《聚焦 AI 大航海时代新契机、新模式、新动能》一文中曾给出过答案——搜索引擎的商业模式,如 和竞价排名等,会随技术的进步、体验的迭代而不断推陈出新。
目前,微软广告( )正在通过 LLM 赋能实现垂直创新,为出海企业带来崭新机遇。
以 LLM 为基础,以生成式人工智能(AIGC)技术为突破口融入了人工智能副驾 。 为用户提供了全新的搜索方式,也为广告主及合作伙伴创造了接触消费者的新机会和新可能。借助生成式 AI,我们创造出效果出众、体感沉浸、深度融合的广告内容,逐步将一众广受欢迎的搜索广告形式(如文字广告、购物广告、多媒体广告等)及类别(如酒店广告、旅游广告、邮轮广告、信用卡广告、汽车广告等)引入必应聊天,让用户在会话广告中精准获取商品信息,在对比广告中做出智慧决策。
▲用户可以通过 在聊天中进行商品对比。比如用户想购买一辆新车,就会去对比不同制造商和型号的车辆数据。以此情境为例,对比广告会将各型号汽车的数据整理到一份统一报告中,便于用户对比各项指标。随着搜索+聊天的全新模式日渐风靡,会话广告将愈发普及、并适用于多个场景——比如定制某个城市之旅,再比如购买特定颜色和风格的家具建议等。
专为广告主设计的微软广告平台智能副驾( ),贴心的聊天机器人将在线聊天指导您洞悉趋势、制定策略、完成创建,最终帮您实现广告目标。您只需描述需求,之后的工作全部交给 , 它将基于流程整体协助交付:从素材提炼产品卖点,到结合微软搜索趋势,再到提交完整广告图文方案。借助微软广告平台智能副驾,只需依据品牌及营销目标,即可定制独一无二的专属方案,几分钟内实现个性化精彩广告。
未来展望
在 LLM 颠覆式技术创新大潮下,微软广告致力于为全体消费者提供更便捷、更高效的个性化创意广告体验,助力垂直创新。我们期待帮助广告主及合作伙伴洞察行业先机,通过打造本土创新产品及服务,助力消费增长、推动本地品牌走向全球,在AI的黄金时代实现业务的垂直增长!