本文导读：前言5G的发展，驱动着互联网载体的持续迭代，进而推动了UC广告投放样式的不断升级。层出不穷的新样式为用户和广告提供了更多...

前言

5G的发展，驱动着互联网载体的持续迭代，进而推动了UC广告投放样式的不断升级。层出不穷的新样式为用户和广告提供了更多更高效的互动，广告行业富媒体化程度日益加深。据QuestMobile统计，2022年上半年 Top5广告主行业费用中，短视频信息流、图文信息流、视频信息流、开屏、等包含图片/视频的UC广告类型占据了绝大部分。

UC广告投放平台顺应UC广告投放发展趋势，设计和实现了众多广告投放样式，满足UC广告投放主在不同场景不同展位的投放需求。 目前，主要广告样式（如信息流大图/小图/三图、信息流横版/竖版视频、开屏大图/视频、精准动态图、直播、网盟横幅等）都包含了图片/视频物料。 无论物料库还是在线展现，图片/视频广告都占据了大部分比例，纯文字链广告的比例已经越来越低。

相比自然图片和用户产品图片，UC广告平台图片的突出特点在于嵌入了UC广告投放主商业意图。 以下图（图1）的牙科广告为例，图片中包含了人物、家庭聚餐场景、品牌Logo、营销文案、点击按钮等多个元素。

对UC广告投放物料进行深入地视觉理解，对广告生态的三大参与方都有着重大的意义：

用户角度上：图片/视频是直接的感官刺激和信息传递，其质量及所传递信息的丰富度对用户体验有着显著的影响； 

UC广告投放主角度上：图片/视频已经成为广告创意/落地页基本而关键的组成部分，能够非常直观而具体地呈现产品/服务内容，优质的图片/视频对用户的点击/转化有着非常重要的促进作用。

UC广告投放平台角度上：基于物料的视觉理解，能够准确理解广告服务内容和精细刻画用户兴趣，进而对广告和用户进行更精准和高效的匹配，实现更高的变现效率。

除了通过各种物料生成算法丰富UC广告主物料外，我们重点在两方面进行视觉理解建设： 构建物料表达/签名算法来提升在线广告多样性和用户体验；构建物料标签算法来提升平台的广告匹配效率。

UC广告投放平台物料表达/签名

线上出现大量相同/相似的广告，会导致用户审美疲劳和兴趣下降，对用户体验有较大的负面影响。 在冷启动探索等场景，相同/相似广告的重复探索也会造成不少的资源浪费。 为解决这些问题，我们构建了物料相同/相似识别算法。

基于MD5进行物料重复判断，只能识别相同的图片或视频。 系统中存在大量经过编辑（裁剪、放缩、翻转、色彩变换、加水印、边沿模糊、文字变更、背景变换等）的物料，和源物料相似但不完全相同。 相似物料的识别，诸如Perceptionhash、Wavelethash等传统算法，虽然简单高效，但准召率过低，难以满足实际应用需求。 

为解决这个问题，我们设计了两阶段方案，分别学习物料表达和签名（如图2所示）。 基于深度学习模型生成物料的表达，让相似物料表达相近，不相似物料表达远离，获得物料的向量表达；为解决在线效率问题，进一步对物料表达进行降维和量化，产出多个维度的签名。

由于标注数据成本高、速度慢，实际训练中往往缺乏足量的标注样本，我们采用自监督学习的思路来解决标注样本缺乏的难题。 基于无监督数据构造自监督信号，进而基于海量自监督数据进行对比学习。 

具体来说，通过多种数据增强方法构造正样本对，基于不同源图片构造正负样本对，进而对比学习样本对的距离差，让正样本对的相似度远大于正负样本对的相似度（如图3所示）。

我们采用MoBY框架，有效综合了MoCo和BYOL算法的优势，同时基于海量正样本对和正负样本对进行学习，获得了更好的训练稳定性及更佳的效果（如图4所示）。

为提升训练和推理速度、节省算力资源、追求低碳环保，在保证准确率前提下，综合众多轻量级网络优点，我们设计了物料表达学习网络（如图5所示）。 主要优化包括以下4点：

1.采用基于深度可分离卷积的逆残差网络(IRB)，有效降低参数量。

2.基于跨阶段局部网络(CSPNet)，在保持原有效果的前提下，大幅减少浮点运算数。

3.在对效果影响较小的低层网络去掉通道注意力，进一步削减参数量和计算量。

4. 借鉴EfficientNet，进行效果–效率的权衡，对模型进行复合缩放（分辨率、宽度、深度）。

基于上述设计构建网络和训练模型，在图像相似测试集和视频相似测试集上评估算法效果。 高率(Precision>98%)前提下，图像表达在[32, 256]维度区间上的召回率在[60%, 70%]，维度越高召回率越高；视频表达在[32, 256]维度区间上的召回率在65%左右，保持了维度压缩无损。 高率前提下，图像签名在[64, 256]维度区间上的召回率在[35%,55%]，维度越低召回率越高；视频签名在[32, 256]维度区间上的召回率在65%左右，保持了无损压缩（图像签名小于64维度，率显著低于98%，已经不能满足需求)。

针对UC广告投放场景的在线应用需求（高率、高性能、低存储），选择64维的图像/视频签名进行相似识别，率保持在98%以上，时间复杂度为O(1)，每个物料签名只需要8字节空间。 对比初始的MD5方案，图像签名召回率提升了65.6%，视频签名召回率提升了92.5%（如图6所示）。目前物料表达/签名算法，已经在多个场景落地应用，如频控提升用户体验、冷启动探索提效、创意多样性治理等。 

UC广告投放平台物料标签

图片/视频物料在广告服务表达和用户兴趣表达上有着非常重要的作用，广告系统一般以特征的方式将其纳入到广告投放决策中。以物料ID作为特征纳入广告召回/排序的模型，能够较好地学习和预估历史上高频展现的广告，但对展现不足的新广告和长尾广告能力较弱。为了实现高效而智能的投放，需要对图片/视频物料进行更精细地理解，通过打标/分类从物料中提取实体/语义等结构化信息。

图像分类通过在训练集上学习，建立从输入空间(图像)到输出空间（标签/分类）的映射，主要包括二分类、单标签分类和多标签分类等3种类型。 基于广告物料多元素多目标的特性，我们构建了多标签分类算法，应有尽有地为图像打上标签。 

图像分类算法框架，一般包含主干网、分类头和损失函数3个部分（如图7所示）：

广告图像的多标签分类，主要面临3个挑战：

1. 通用多标签分类网络，包含全局池化的环节，会丢失空间信息，难以处理广告图片多区域包含多目标的问题。

2. 多标签分类任务，样本不均衡问题较为严重。

3. 视觉(CV)模型训练成本高，难以高效支持标签体系的高频更新迭代。

针对这3个问题，采用相应算法进行解决：

1. 纳入交互注意力模块：在主干网和分类头之间，去掉全局池化，替换为交叉注意力模块，进行标签和图像空间特征的自适应匹配学习，解决多区域多目标识别问题。

2. 损失函数优化：多标签分类常用的BCE损失函数，对所有样本赋予相同权重，导致已经无需大量学习的高置信度样本占用了过多资源，正样本由于比例低而得不到充分学习。 采用ASL损失函数替代BCE，能够达到降低高置信度样本权重、降低负样本权重、忽略过于简单负样本这3个目的，较好地缓解了样本不均衡问题。

3. 多分类头设计：对标签进行分组，每组对应一个分类头，以此进行标签的高效迭代。 后续增加标签时，训练阶段先冻结主干网和其他分类头，仅训练新增标签涉及的分类头； 精调阶段，基于训练好的主干网和分类头，仅进行较少批次的精调，即可达到的分类效果。 

在深度学习、大规模数据处理能力和云基础设施迅猛发展的推动下，CV网络的发展日新月异。除了CNN框架沿着AlexNet->VGGNet->ResNet->ResNeXt的路径演进外，Transformer框架从NLP跨界到CV，取得了显著的成果。ViT网络基于Transformer在千万/亿级样本上进行学习，以“简单”、“效果好”、“可扩展性强”等特点，成为了大模型主干网的通用范式。 

我们进一步将多标签分类算法的主干网升级为ViT框架，并从两方面进行改造优化（如图8所示）。

一方面，纳入空间注意力学习图像块的重要性，并以残差结构来有效融合图像整体表达和图像块局部表达，实现了对图像中主目标和小区域目标都能精准识别的效果。 另一方面，纳入AdaptFormer网络，只精调AdaptMLP子网络，其他部分冻结，以很低成本（学习参数量小于整体2%）达到和全参数精调相当甚至更好的效果。

基于上述设计构建网络和训练模型，基于测试集评估效果(如表1所示)。 主干网从CNN升级到CLIP ViT-B/32，mAP和F1提升显著； 纳入AdaptFormer后，只精调少量参数，效果超过了全参数精调方案； 基于残差融合图像整体表达和局部表达，效果有进一步的提升。 最终模型版本，评测集上 mAP 0.953率95.9%召回率 91.3%。 目前打标算法已经上线广告系统，覆盖了50%左右展现。

广告图片打标效果，如图9、图10所示：

未来展望

基于AI精细化理解UC广告投放平台物料，对富媒体化趋势下的智能投放有着重大的价值。在物料视觉表达/签名的基础上，后续将进一步生成多模态上的统一表达，构建物料/广告/广告主的多层次表达。 广告物料的结构化理解走出了步，后续将不断扩充图像标签体系，持续提升图像标签的准召率、覆盖率和丰富度； 针对比例和重要性不断提升的视频物料，大力建设视频标签体系和多标签分类算法。 随着物料理解的不断深入，富媒体环境下的投放基础设施将更为完善，为构建全智能、全自动、全场景、全效果保障的营销引擎打下更为坚实的基础。 

同时，物料的精细化视觉理解为广告主投放效果提升打开了新的空间。 一方面，可以基于视觉理解拓展定向通道，为广告主触达更多潜在转化人群/流量； 另一方面，基于视觉理解实现对广告服务的准确理解和用户意图的细致刻画，能够进一步提升排序模型预估能力（尤其在新广告和长尾广告上），为广告主匹配更精准更优质的流量。

此外，将视觉技术赋能到物料生产，可以大规模生成高质量物料，大幅增加物料供给。 我们将在现有的程序化拼接物料基础上，进一步构建低成本规模化高品质类原生的物料生成系统。 通过素材挖掘、素材理解和智能化融合，批量化地生成类原生物料，降低广告主制作门槛和成本，提升物料质量和丰富度。 

近期，基于扩散模型的图像/视频生成技术取得了令世人瞩目的进展，为物料制作提供了新的想象空间。 基于在扩散模型和众多CV/NLP前沿算法上的研究和沉淀，我们将构建智能营销AI创意实验室，以创新型产品的形式，为UC广告主提供灵感激发、素材自动生成、智能创作、新潮等服务，满足广告主自动化、智能化、个性化的创意生产/营销需求。

本文标题：富媒体化趋势下的新基建：UC广告物料的视觉理解 | UC广告投放

本文链接：https://www.zuanl.com/jiqiao/1055.html