数据分析经验分享

数据分析经验分享

背景

现在不管是淘宝、京东、拼多多、抖音等电商平台，有很多做信息流的、商家都需要进行选品。所以作为技术人员的我们，就可以针对这些平台做一些数据分析，来给这些商家提供数据参考。一般电商选品的数据参考范围就是销量、价格、用户、地域。

规范

数据采集是一条红线，可能被界定为灰产、黑产。一般不要触碰个人信息等，这东西有利有弊吧，风险需要自行把控。

主要步骤

1. 数据采集（难点）
2. 数据汇总
3. 数据展示

数据采集

1. 数据采集开发语言类：一般不限制语言。不管你是php、java还是python，都可以，都算作是工具。【python和java居多】
2. 设备区分：pc端、app端
3. 工具类：pc端f12控制台即可，有断点拦截的以及app抓包可以用filddler工具等
4. 资源：很多时候逆向是需要专业团队来做的，自己整不出来，找人就行

以上只是一些基础操作。根据我的经验来讲，数据采集不光包含以上这些工具。同时涉及的很多难点：逆向、签名算法、ai滑块、风控处理、用户token等等。这些专业知识都需要作为一门课程单独的去学习和研究。
对于大多数做web、api开发的同学难度还是有一些难度的。

数据汇总

数据汇总一般是将采集到的数据进行筛选、过滤、存储、废弃
均用常规代码即可处理。

1. 筛选：对采集的数据进行分类等一些类型条件处理。
2. 过滤：一般就是去除一些重复数据、一般电商数据就是要求存在销量的。这就是根据需求用代码ifelse去判断处理。
3. 存储：对于处理好的数据，用mysql存储即可，elasticsearch做搜索引擎。

   原因：电商类的数据分析一般都需要通过商品名称去查找数据，因为数据增量很大，索引非常重要。

4. 废弃：电商类商品一般存活时间比较短，很可能今天上架明天就下架了。所以存储的数据不能不处理，需要对这类数据做冷处理：比如提取出来单独存储。可以作为历史数据、下架商品分析的一个模块。

数据展示

1. 后端语言类：不限制。php、java能写api都可以，就是用户上来后的性能问题而已
2. 服务器：linux都可以
3. 重点在前端：前端框架无所谓，但是必须要用到echarts。

   数据在后端都已经做好各种汇总。比如一小时内的销量、昨日销量、价格等的统计。但这些东西要想让用户看的明白，看的高大上，必须上图表（echarts）。