手机网站
手机网站
本文主要关注作者在构建推荐系统过程中的思考和遇到的一些数据问题，并分析了需要注意和掌握的事项和要点。大家好，我是魅力百科全书的李伟
主要是与大家分享今天:我们做了什么来构建推荐系统的百科全书中的尴尬事情。由于这是一个增加会议数据的特别会议，我将不介绍推荐系统算法的细节，但将谈谈我自己的想法和在构建推荐系统过程中遇到的一些数据问题。
我负责数据，推荐系统，或一些处理丑闻百科全书中的数据的工作。我生于算法工程师，但因为我接触过许多产品策略，需要更多地了解产品，我逐渐成为了一个产品人。
简单地说，不理解算法的“开发”不是一个好的“产品”
搞笑百科全书成立于2005年，是中国第一个关注搞笑内容的社区。现在我们主要关注视频内容，所以我们可以被理解为一个简短的视频社区。该产品的时间跨度很长，因此它涵盖了广泛的产品线，包括应用程序、网站、小应用程序、公共号码、微博、新媒体等。
我今天主要谈论的是应用本身。让我们首先建立一个概念。这是一个视频社区。一些用户正在发送视频，一些用户正在观看视频。以下是我今天的分享，请欣赏！
1。了解推荐系统的定义1.1推荐系统
让我简单介绍一下推荐系统，即某个用户在应用程序中产生足够多的用户行为。通过分析这些数据，我们可以找到其他用户的一些偏好。
由于我们是一个内容社区，我们将根据他的喜好推荐一些他喜欢的视频内容。以电子商务为例。假设用户喜欢入耳式耳塞，并且头戴式耳塞也包含关键词“耳塞”，那么电子商务将推荐头戴式耳塞产品，这是基于内容的推荐。例如，一个用户喜欢电脑和摄影，另一组用户有相同的爱好，但他们不仅喜欢电脑和摄影，还喜欢游戏。那么我们猜测这个用户可能也喜欢游戏，所以我们向他推荐一些游戏相关的产品或内容，这就是推荐系统正在做的。
1.2推荐系统的价值为什么
应该是推荐系统？事实上，这是基于这样的假设:如果我们向用户推荐他最喜欢的内容，那么他可能会在我们的平台上观看更多的内容，如果他观看更多的内容会发生什么？
下图显示了用户每天在我们的平台上阅读的帖子数量以及与他的保留相关的一些数据。
可以看到底部的红线。如果他一周只阅读不到200篇文章，那么第二天及之后的记忆力相对较差。然而，如果他每周阅读超过2000篇文章，并且在最上面的紫色线，你会发现他的保留率非常高。从坐标轴上可以看出，它已经超过了保留率的90%。我们向用户推荐他最喜欢的内容，他可能会在我们的平台上看更多，这将导致他的保留率增加。事实上，这是一个产品市场匹配的过程我们提供的内容满足了用户的需求和偏好，然后我们的产品为用户提供了足够的价值，达到了产品的市场契合度，这就是我们推出推荐系统的原因。我读过一句话:“推荐系统来到这个世界只有一个使命，那就是在用户和对象之间建立联系。数据挖掘和分析是为了更好地识别对象和打破人，从而更有效地完成用户和对象之间的对接。”
这句话让我想起了增长网的创始人西蒙，他说过什么是增长，“增长是将产品现有的核心价值与更多的人联系起来。”这两句话基本上是一回事。
连接的是什么？
现有核心价值，即产品提供的价值对我们的产品来说，这是短片的内容。对于电子商务产品，它是你想要购买的商品。这是产品的核心价值
总之，当我看到下面这句话时，我突然想到推荐系统所做的是增长定义的核心，那么它能被概括成增长的方法论吗？
2。推荐系统与精细化运作的关系
成长战略的发展阶段如下:
开始。我们没有一个特别清晰的增长概念。我们依靠用户的经验或理解来决定产品应该做什么。稍后，我们将统计一些宏观数据，如DAU或留存我们发布了一个版本，我们可能知道这个版本的数据增加了，但是我们不能具体说明哪个环节和策略导致了产品的增长。在这个阶段，每个人都开始做细粒度的数据操作。他们将不同的用户分组，然后给出具体的策略。然而，我认为这可能不够详细。我们应该使用个性化的方法，如推荐系统来自动做出数据决策。例如，
，假设我们现在需要一些横幅或入口来做一个操作，设计师将设计几个具体的方案和风格。如果是一个非常了解数据的产品操作，他肯定会同时使用这些不同的横幅进行在线测试，然后进行A/B测试。如果发现方案A优于方案B，将采用方案A。
我们公司在这个阶段也在这样做。
但是在推荐系统的思想中，每个人都有成千上万的人和面孔，这是非常个性化的。设计师们非常努力地想出了三套实际上可以使用的方案，A、B和C。虽然方案A受到绝大多数人的喜爱，但这并不意味着方案B和方案C不受任何人的喜爱。如果我们可以用推荐系统这样的思想来收集足够多的用户行为并进行分析，我们会发现不同的用户对不同的封面有不同的偏好，那么方案A、B和C都可以使用，但是我们会对不同的用户采用不同的方案。
操作专业的学生可以通过分析将用户分组，给他们三种不同的方案:甲、乙、丙。但实际上，用户群体远远不止甲、乙、丙。千千可能有一万个群体。操作学生不能手工做更详细的分组，所以推荐系统就派上了用场。
2.1推荐的系统应用场景
我们通常将用户分为几个阶段，例如新用户、旧用户或非常高级的用户，以及一些很快就会失去的用户。但事实上，我认为每个用户在他的整个产品生命周期中都可能处于一个独特的阶段。仅仅把它们分成四份是不够的。我们需要用推荐系统的思想来分析具体的数据。
例如，我们需要做一个召回策略。每个用户都可能有一个有自己个性的召回计划。这是一个更详细的领域，我认为整个增长将逐渐进入下一步。我们向系统提供数据，系统通过一些策略自动给出决策。之后，我将讨论几个可能的领域和推广计划。当然，它们只是我的想法，但事实上它们还没有完全实施。
个性化活动操作与视觉设计
左边的图片是淘宝的主页。下面有一些子栏目，如聚划算、淘宝直播、官方补贴和每日红包。提供了许多个性化的图片，但没有单独的文本。例如，最近当我们的孩子庆祝生日时，我读了很多关于玩具的书。当我再次打开淘宝，我发现仍然有官方补贴，每日红包等。但是这些照片已经变得和游戏相关了因为淘宝本身是一家电子商务公司，它的分销地图可以直接使用商品图片。当制作操作活动封面时，每个用户可能喜欢不同的图片样式，或者冷色，或者亮色，或者柔和色
然后，当设计师想出不同的设计方案时，可能需要在封面上添加一些关键词，比如这个是亮的，那个是冷的，等等通过设计许多活动操作和收集足够的用户数据，您可以知道每个用户的颜色偏好。
优化用户操作召回方案
右图为手机短信页面。游仙每天都给我发这个召回短信。它的每个词都不一样，但事实上它并不个性化，也没有给我留下特别的印象。像这样，还可以学习用户的数据来掌握他们的语言偏好，并向每个用户发送不同的回忆信息。例如，对于直男来说，温柔的女孩更好
注册转换过程的优化即使在极端的注册转换过程中，也可以尝试使用推荐系统的思想来为每个用户生成不同的注册转换过程
，当然，这其中涉及到一些问题，而且转换适用于全新的用户，您不太可能知道这些用户以前的数据。但是，如果你的公司很大或者用户数量很大，比如腾讯，你可能提前知道用户的大致情况，那么注册和转换过程可以提前设计，当用户注册新的应用程序时，他可以向他展示注册和转换过程的个性化。
2.2推荐系统的难点
在不同场景和领域实施推荐系统时可能会遇到一些障碍:
系统本身比较复杂，成本较高，可能会造成不合理的输入输出。在
之前，我们将用户分为新用户、旧用户和即将丢失的用户。我们可以用非常简单的工作完成80%的任务。然而，如果我们想使用推荐系统，可能需要80%的精力才能得到20%的提升。毕竟，
推荐系统是基于大数据分析的。如果不具备产生大量数据的条件，很难将推荐系统推广到不同的操作、产品或设计领域。所谓的
推荐系统利用了机器擅长计算的事实。我们人类非常善于联想和洞察事物之间的关系。我们可以发现一些用户同时喜欢摄影和游戏，但是如果我们想要真正个性化，我们必须最终利用机器的计算能力。以上
只是在推荐系统制作过程中对以下成长和发展方向的一点想法。我们已经处于精细化操作的产品阶段，我们可能需要向前迈进一步，让机器帮助我们实现自动化操作，做更多精细的工作。
3。推荐系统的成长实践
以下是我的推荐系统过程中的一些数据相关案例，可能对大家都有帮助。
3.1数据选择阶段
这一阶段需要考虑两点:
1)数据需要更生动
例1:找到更适合推荐系统的数据
肯定是一个开始的分析。应该使用什么数据来找到用户的偏好？显然，表扬是一种可以清楚地知道用户偏好的行为，并且肯定是一种可以使用的数据。但是这是最好的数据吗？让我们看下面两张图片左边的图显示了用户相应行为的数量，包括观看视频、表扬成功和评论成功。我们可以发现，虽然赞扬这件事清楚地表明了这个用户的偏好，但真正赞扬这种行为的用户并不多。
哪个数据用户的行为最多？显然是视频观看因为用户来这里观看视频右侧
是相应的人均行为数同样，你可以发现，尽管表扬的成功清楚地表明了用户的偏好，但他的行为仍然相对较小，最真实的行为是视频观看行为。视频观看行为能预测用户偏好吗？事实上，这是可能的用户观看该视频。如果他不喜欢，他肯定会在看了两三秒钟后离开。如果他已经看完视频，它可以表明他对视频的偏好。因此，在我们进行数据分析或所有这些增加之前，我们需要对对手头部的数据有一个更直观的理解，并从不同的维度绘制数据，如平均值、方差、中位数等。，这样我们就可以选择合适的数据来进行我们想要的分析。
案例2:内容曝光分析
另一个例子是视频曝光数据当该视频出现在用户屏幕上时，即使它被曝光一次。下图代表视频曝光的平均值、中间值和前75个百分点。我们可以发现一个问题，中位数比平均值低得多，平均值甚至接近75个百分点通过这些数据，我们能察觉到什么问题？这个平均值实际上是由一群非常活跃的用户突然提高的。不管我们推荐什么内容，这群用户都会看到。假设我们想衡量这个推荐系统的有效性，我们肯定会选择中位数而不是平均值，因为中位数会更敏感。这就是为什么我们需要做EDA(探索性数据分析)，也就是说，在我们真正开始处理数据之前，我们应该对数据有一个直观的理解和感性的认知。
实验需要足够的样本并注意实验的统计显著性如果
A/B测试的样本量不够，可能的效果就不会如此真实。
实验持续时间有限，经常反映出短期效应和短视。
做这个实验的时间是有限的，而且你不能总是做这个实验，这自然导致A/B测试经常反映短期效应。例如，刚才的实验只持续了一天，而且数据有所增加，但从长远来看，它可能会逐渐趋向于具有与其他组相同的效果。
2)A/B测试实例
下图是我们的推荐系统刚刚启动时的一个示例。数据是用户的平均观看时间。蓝色0组是一个测试组，当它第一次启动时，效果比其他组好得多。然而，在第二天和第三天，我们发现效果正在下降。原因是什么？我们的第一个反应非常简单。我们把另外两组放在线上，看它们是否会产生同样的效果，所以我们把12组和10组放在线上。发布前两天，他们的数据增长效果与0组相同，但到了第三天，效果也在下降。因为我们对我们的推荐系统有足够的了解，我们推测用户已经使用了他们喜欢的数据，而我们没有添加足够的数据，这将导致效果下降。所以我们做了第三个测试，增加了数据库中的数据量，并向用户推荐了更多他喜欢的内容。数据一旦被消耗，就会增加和减少。通过这样的手段，我们对数据增减的原因做了彻底的分析。我们必须学会很好地利用应收账款测试，同时配合我们对这一业务的了解，以便做好数据分析工作。
3)数据分析能力和业务理解能力之间的关系
最后，应该强调的是，数据分析能力是建立在业务理解的基础上的，两者密切相关，相辅相成正如我刚才所说的测试，如果你对推荐系统本身了解不够，很难分析数据下降的原因是因为用户偏好的数据量不足。
每个人都必须同时提高自己的业务理解能力和数据能力，以便最终实现数据驱动以上是我这次分享的主要内容。我希望我能帮助你。谢谢！
作者:魏莉，魅力百科全书产品总监
本文由@GrowingIO授权，由每位产品经理出版。未经许可，禁止复制
图片。它们来自unsplash，基于CC0协议。
