《计算广告》读书笔记
在线广告是我们生活常见的商业中极为重要的一部分。对我们互联网行业算法从业人员来说，广告也是最为常见的业务之一。挑了这本国内计算广告领域名气最大的书《计算广告》刘鹏----其实是我实在没搜到其它像样的......
本文非常多私货，完全不能代表原书，有兴趣可以亲阅原书哈。
这本书的结构是非常好的，分三大部分，第一部分讲行业背景知识，第二部分讲产品逻辑，第三部分讲关键技术。逻辑非常清晰，宏观微观兼顾得到位，干货十足， 不愧是行业老兵写的，而且丝毫没有夸夸其谈的成分。
第一部分 广告市场与背景
什么是广告？
广告的根本目的是广告主通过媒体达到低成本的用户接触。----《当代广告学》
什么是广告呢？作者对广告的理解是，一切付费的信息、产品或服务的传播渠道，都是广告。互联网广告有，横幅广告、富媒体广告、文字链广告、视频广告、社交广告、移动广告、邮件定向营销广告，更宽泛地，团购、游戏联运、固定位导航、返利购买等等，都属于这个范畴。这些都是我们生活中天天见的东西，大量互联网业务营利的重要组成部分就是这些了。
我们来对比一下互联网广告和传统广告。传统广告主要是纸媒、电视、街上各种广告牌（和电线杆上的牛皮藓）等等。互联网广告相比传统广告的优势在于， 低成本的定向、方便的竞价、方便的投放、可衡量的效果 。尤其是现在的数据越来越丰富，定向的精准度是越来越高的。
大数据与在线广告的关系
作者从数据量与应用效果的关系将数据问题分为三类：
A类，数据量小的时候（采样率低）效果会很差，比如个性化推荐和计算广告。如果只采样到一小部分人的数据就无法对所有人都做到精准。
B类，数据量大到一定规模以后，再增加数据的效果提升不明显，比如文本主题模型。
C类，数据量比较小的情况下也能达到满足应用需求的效果。比如你用excel就能搞定的问题。
计算广告就属于A类问题，在大数据这个词都烂大街了的今天，计算广告的相关技术是相当的成熟了。某程度上来说，计算广告是推动大数据发展的极为重要的力量。大数据的发展也让这类应用的效果越来越有商业价值。
有效性原理
结算方式
--CPM、CPC、CPS/CPA/ROI、CPT
CPM 按千次展示收费，通常也是品牌广告比较适用这种收费方式，比如有时候打开爱奇艺首页可能会看到奔驰或者CHANAL的广告。这种方式可以做一定程度的受众定向，但是受众划分不会太细，否则就达不到高曝光的目的了。
CPC 按点击次数收费，与前面的方式相比，CPC使广告平台方与需求方分摊了风险。因为要点了才能赚钱，那如果广告平台对广告投放的点击预测不准的话，广告平台自己就会损失；而需求方只会为实实在在的点击付费，不必再独自去承担投放选择的效果差异带来的损失风险。主流的收费方式是这种，因为风险分摊合理、接入方便灵活、投放精准。
CPS/CPA/ROI
，叫法比较多，总的来说就是广告平台向广告商拿分成，比CPC更加绑定广告商的收益。这种方式比较少见，比较多是有战略合作意义的情况，要么多数就是垂直广告。
效果监测
作为广告商，我怎么知道广告平台有没有坑我呢，展示或者点击八百次收我一千次的钱怎么办。所以第三方监测公司应运而生，来给曝光量、点击量等指标作技术核实。
第二部分 在线广告产品逻辑
这部分主要讲：合约广告、搜索与竞价广告、程序化交易广告、移动互联与原生广告。
1. 合约广告
首先是CPT广告，这种基本上就是线下广告的业务逻辑照搬到线上，由广告代理公司和媒体签协议，定时间段定费用。对技术依赖小，只需要简单的广告排期系统（比如某度广告管家）。
CPM虽然也是合约广告，但有进步之处，就是售卖对象从“广告位”进化到了“广告位+人群”。技术上增加的主要复杂度在于，多个合约对投放系统提出的量的约束。
（１）地域定向。几乎是广告系统必支持的方式。比如我开店只卖江浙沪，那当然只在江浙沪地区投广告啊。
（２）人口属性定向。包括年龄、性别、教育程度、收入水平等。这种特征是比较客观的，相对兴趣标签来说，但不得不说这种数据也是挺脏的，错假数据多，而且缺失数据特别多，要花大量工夫在洗数据和补数据上。虽然这种方式的效果不是非常突出，但是传统广告商熟悉啊，还是要侍候的。
（３）频道定向。适用于离转化需求比较近的垂直类媒体，比如汽车、母婴、购物导航等。
（４）上下文定向。根据网页的具体内容来匹配相关广告。这种方式的覆盖率高，因为相比用户信息之类，网页内容是最容易得到的。
（５）行为定向。根据用户的历史访问行为了解用户兴趣然后进行相关广告投放。跟上下文定向不同的是，上下文定向比较能反映用户的实时意图； 而行为定向就是把用户访问过的内容抽象出来作为这个用户的特征，可以用来表达描述用户的长期兴趣。
（6）精确位置定向。利用基站、GPS、WIFI等方法，得到用户比较实时的精确的地理位置，使得大量区域性非常强的小广告主（如餐饮、美容等）可以进来玩广告。
（7）重定向。就是给老客再投广告。这种方式的转化率往往是很突出的。
（８）新客推荐定向。利用算法预测用户是否潜在客户，老客是一种比较有效的信息可用于算法的学习。
（9）团购。作者认为这是一种变相的广告形式。一般这种广告主是有区域性的，所以我们看到的团购基本上都是以城市划分甚至以城区划分的。团购主要是用价格诱惑，降低用户在决策阶段的门槛，对价格敏感的用户转化效果相当明显。
受众定向标签体系
看了作者对标签体系的介绍，说说我的见解。
在大数据玩得飞起的今天，虽然可以用非常稀疏的高维用户特征、用非常酷炫的模型，但是标签体系还是有它一时半会难以取代的优点。首先是解释性强，广告商能看懂，这就比较容易接受。然后，标签其实是一种经过抽象出来的带有某些现实意义的粗粒度特征，拟合度当然会相对低于高维原始特征，但是泛化能力往往是不错的。
流量预测
对于CPM来说，广告位是确定的，流量是未知的，那就需要去预测流量。预测流量有三个用途：
（１）售前指导，供应方需要自己的供应量才能去接合适量的广告回来投放。不然，供应量严重多于接回来的广告就亏了，或者接的广告严重多于供应量就要违约了。
（２）在线流量分配。有的流量会同时适合多个合约，就要合理分配这些流量，从而保证合约都能被满足。
（３）出价指导。竞价广告没有量的保证，广告主需要预计什么价格能得到多少流量来决策出价。
流量塑形
有些情况下，我们可以主动影响流量，利于合约的达到。典型的就是门户网站，它们的流量严重依赖于链接的位置。比如在车展期间，汽车广告需求旺盛，把汽车频道放到流量大的位置上，呵呵，一本满足。
在线分配
前面流量预测就说到了在线分配。当标签越多时，重叠流量就越少，对流量预测的精度要求就越高。所以标签越丰富，合约广告越难玩，竞价广告就更有价值。作者没有详细谈这部分，我也作不下去了。
2. 搜索与竞价广告
2.1 搜索广告
在互联网广告的整个产品谱系中，搜索广告有着特殊重要的地位，它的特点在于：一、搜索能够非常直接地反映用户的意图；长相和自然的搜索内容很接近，用户更容易接受；发展起来与之相适应的高效竞价交易模式。这些特点导致其变现能力最强。
按预测点击率和出价的乘积排序，决定广告透出的位置。所以想让自己的广告出现在好的位置，单纯的高出价不是最有效的，还要高质量的广告内容能够吸引到用户点击。
2.2 位置拍卖与机制设计
定价方法
广义第二高价 。简单理解就是出价最高者只需要支付比第二高价多一点点的价格。比如，Ａ出价5块，Ｂ出价3块，结果就是Ａ以3.1块拿下。这样一来就解决了大家一门心思去压价的问题，反正不管出多高的价，最终只需要给老二那个价格，竞价竞赢最重要。同理，老二按老三的出价给钱，老三按老四的出价给钱。结果广告平台能赚更多。在多位置拍卖时，这种方法不是理论上最优的，但还是比较容易操作，所以采用这种方法还是最常见的。
VCG定价。 这个定价是Vickrey、Clarke和Groves研究出来的，所以这样取名......对于赢得了某个位置的广告主，其所付出的成本应该等于他占据这个位置给其他市场参与者带来的价值损害。在单广告位拍卖的情况下，VCG和第二高价策略是等价的。这种定价向广告主收取的费用其实是最少的。虽然看起来很好，但它没有成为主流。首先是太复杂，跟广告主扯不清楚；然后是媒体计算的“给其他市场参与者带来的价值伤害”的正确性很难验证。Facebook是用这个方法的。
市场保留价
为了控制广告的质量和保持一定的出售单价，往往要设一个拍卖最低价，这个价格就叫市场保留价（MRP）。MRP定得过低或者过高都不利于收益最大化。广告主竞争得比较猛的时候，MRP可以定高一点。可以对整个市场采用同样的MRP，也可以对不同的标的物（比如关键词）设不同的价格。
价格挤压
基本的收益公式：
r=\mu \cdot bid_{CPC}
加入价格挤压因子的收益公式：
r=\mu ^{\kappa } \cdot bid_{CPC}
\mu 是点击率， bid_{CPC} 是出价，基本的收益就是点击率和出价的乘积。
价格挤压因子 \kappa 越大，越以点击率为主导去决定广告排序；反过来，因子越小，越以出价为主导去决定广告排序。
当广告主竞争比较猛的时候，我们平台方是卖方市场，就可以调高挤压因子，从而提高用户体验（用户越愿意点击相当于体验质量越好嘛）；当竞争不够的时候，为了赚钱，只好牺牲一下用户体验了，调低挤压因子，鼓励价格竞争。
2.3 广告网络
竞价广告在搜索广告上用爽了，展示广告的流量也就开始进入竞价广告平台了，催生了广告网络。流量大的网站会以合约的方式出售展示广告，剩余的流量再流入广告网络；流量小的网站干脆就全部流量流入广告网络，懒得自己去拉广告合约。
广告网络的投放对媒体方而言是一个黑盒，只需要在广告位的剩余流量上调用广告网络的投放代码或SDK，不用关心每次展示的投放结果。
广告网络的标的主要是人群，广告位被淡化了。
广告网络的广告主一般是要先充值的，合约广告则是结束后付费的，所以用广告网络对运营方现金流也比较有保障。
产品案例：Google Display Network、阿里妈妈旗下的淘宝联盟。
3. 程序化交易广告
前面所讲的广告交易平台，叫ADX。其实相应的采买方或者说需求方的平台没有展开来讲，叫DSP。
ADX卖广告资源，DSP买广告资源。如果没有DSP，广告主要自己去面对ADX，去做复杂的购买决策，而且还难以达到像DSP能达到的那样好的效益。所以将DSP理解为一个智能的广告资源购买平台就可以了。
不管是ADX还是DSP，都要精准的定向和点击率预测，而决定性的因素是什么呢？是数据的来源与质量。可以重点关注的是以下几类数据。
（1）用户标识。顾名思义，就是一种用于识别用户的数据。
对浏览器行为，最常用的就是cookie。对于同时有多个浏览器、cookie过期或用户主动清cookie的情况，一致性就是一个问题。好在如果运营广告业务的域名同时提供诸如电子邮件、SNS之类的永久身份标识，就可以对cookie做一致性的改善（cookie映射）。
移动端，ios与android的用户ID有所不同。ios有苹果专门设计的用户标识符（Identifier for Advertising，IDFA），性质与cookie类似。android没有专门的广告用户ID，一般采用android ID或IMEI（international mobile equipment identity）。
高质量的用户标识数据非常有价值，所以在市场上是可以卖的。
（2）用户行为。按照对广告的有效性分类，可以分为决策行为、主动行为、半主动行为和被动行为。
决策行为主要是转化和预转化。比如电商网站上，下单就是转化，下单前的搜索、浏览、比价、加入购物车等准备工作就是预转化。这类数据虽然量不大，却是价值最高的。
主动行为主要是广告点击、搜索。
半主动行为主要是分享和网页浏览。这类数据，量最大，直接效果不明显，但是有很大的挖掘价值。
被动行为主要是广告浏览。比如说给你看了好多次汽车类广告，你一次都没点进去，这可以说明你对汽车不感兴趣嘛。所以这类数据通常是作为负样本来让模型学习。
（3）人口属性。人口属性是很常用的定向标签，数据来源很重要。一般来说，实名身份绑定的服务可以获得这种信息。而得不到高质量数据的部分属性就要做缺失补全了。比如可以用语音服务记录的声音信号来判别男女。
（4）地理位置。不同精度，不同用法。IP可以精确到城市；GPS或蜂窝可以精确到几百米，餐饮之类的线下业务可以用得上。
（5）社交关系。物以类聚，人以群分。当一个人的兴趣数据不足的时候，可以用他朋友的数据平滑过来，作为长期稳定的基础数据是可以，但用于短时的购买兴趣就不太适用。
4. 移动互联与原生广告
原生广告 并没有非常严格的定义，软文、搜索广告、社交网络信息流等都有一些原生广告的意味。将商业化内容和非商业化内容混在一起，从形式上难以区分的，都可以叫原生广告。所以有句话叫，内容即广告。
信息流广告。典型的就是微信朋友圈，朋友发的消息中间夹着几条推广广告，不仔细看你没发现它是广告呢。信息流里面插广告的好处是，信息流的各条内容本身就没有什么相关性，广告插进去不会显得突兀，对用户体验的伤害不大。
搜索广告。某度最爱干的，搜个东西，前面好多条是广告，不仔细看还不容易认出来那是广告还是搜索内容。反正我是经常不小心点进去才发现是广告，然后被恶心一把。
软文广告。经常看*嗅、*氪之类的媒体，你一定很清楚，软文太多了，有的还不容易辨别。
移动广告 随着移动设备的爆发式增长而迅猛成长，虽然流量红利已经够让人狂欢了，但是作为富于求知精神的我们还是要去关注移动广告本身的特点的。
（1）情境广告的可能性。移动设备一天到晚呆在我们身边，对我们的地理位置、生活状态、需求意图等都可以有更加深入的获知。那么就可以不仅仅根据兴趣推送商品了，完全有可能做到从情境和意图出发。比如下午下班了，就应该赶紧推送各种餐馆各种美食嘛；周五到了，就可以推送一泊二日的周末度假游之类的。
（2）大量潜在的本地化广告主。因为精准的地理信息和情境获知的能力，线下附近的商家就有能力通过这种富有针对性的广告推广来导流到线下，广大的本地商家终于可以翻身做广告主了。
下面列举一下移动广告的形式。嵌入到APP的横幅和插屏；开屏、锁屏；推荐墙、积分墙；还有最近某国产手机把广告做到了天气栏上了。嵌入到APP的广告，通常有点击率虚高、转化较差的问题。开屏是打开APP时出现的全屏广告，品牌价值高，通常以合约方式卖。
移动广告也面临着很多问题。
首先就是 数据的割裂 。这个问题在车品觉的《决战大数据》里也强调过。比如你上班的时候，用电脑看了几个网页，然后老板叫你去开会，你在玩手机，开完会再回来用电脑看你的淘宝。这样一来，数据就失去了连贯性，对用户行为分析带来了巨大的困难。
第二个问题是PC时代的广告主 移动化还不够 ，无法充分消化广告带来的流量。比如PC端的落地页如果照搬到移动端的话，用户体验会非常差，这样就会造成较高的跳失率。
第三是移动广告产品形态需要一次革命。移动端的屏幕这么小，广告和内容分开放在不同的单元的话，用户体验太差。要解决这种广告与内容的对立问题， 要原生化 。
终于......讲到技术了。感觉好累，就算我有力气继续写，估计你也没力气看了。
计算广告的关键技术留到下一篇吧。
