背景

百度aistudio提供的notebook juypter 免费提供CPU/GPU 资源，可以比较方便的做算法测试。同时提供了aistudio 提供了直接访问服务器的terminal，可以直接登录到虚拟机上安装相关依赖，这个操作比Google的colab只能在notebook上操作要方便不少。但是百度为了推广自家的paddle（飞桨框架），禁止了TensorFlow/pytorch等DeepLearning框架。 虚拟机的shell也禁用了root权限，那么就不能直接执行sudo apt-get install 之类的需要root权限的命令了。

实验

现在有一个在notebook jupyter上安装pycorrector的需求，直接pip install pycorrector 但是在自动安装依赖kenlm时报错，kenlm是c++扩展，在gcc 编译时，出现gcc: error trying to exec 'cc1plus': execvp: No such file or directory 这样的错误提示。（By the way， 在Google的colab上可以直接安装） 查看gcc的版本

aistudio@jupyter-104673-1192555:~$ gcc --version  
gcc (Ubuntu 7.5.0-3ubuntu1~16.04) 7.5.0  
Copyright (C) 2017 Free Software Foundation, Inc.  
This is free software; see the source for copying conditions.  There is NO  
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.

aistudio@jupyter-104673-1192555:~$ g++ --version  
g++ (Ubuntu 5.4.0-6ubuntu1~16.04.12) 5.4.0 20160609  
Copyright (C) 2015 Free Software Foundation, Inc.  
This is free software; see the source for copying conditions.  There is NO  
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  

发现gcc 跟 g++的版本不一致，这里简单解释一下cc1plus的用途：

The g++ is a compiler driver. It knows how to invoke the actual compiler (cc1plus), assembler and linker. It does not know how to parse or compile the sources.

g++只是编译器的驱动，它只知道如何去调用实际的编译器(cc1plus)、汇编器以及链接器。但是不知道如何去编译源代码。

参考:https://stackoverflow.com/questions/19899750/what-is-the-difference-between-gcc-g-and-cc1-cc1plus

想到把g++升级到7.5.0，网上很多使用apt-get命名去升级的方案，在这里都不能使用，因为没有root权限。：）

那么只能手动源码安装了，下面说一下步骤：

• 下载gcc-7.5.0源码

http://mirrors.ustc.edu.cn/gnu/gcc/gcc-7.5.0/gcc-7.5.0.tar.gz  

这里使用了中科大的镜像源，比国外的源要快很多，后面也会用到

• 解压编译源码

tar xvf gcc-7.5.0.tar.gz  
cd gcc-7.5.0  

# 下载依赖
./contrib/download_prerequisites

发下基本不动，因为使用了国外的额源，下载依赖包的速度太慢了。 看一下download_prequisites源码，

gmp='gmp-6.1.0.tar.bz2'  
mpfr='mpfr-3.1.4.tar.bz2'  
mpc='mpc-1.0.3.tar.gz'  
isl='isl-0.16.1.tar.bz2'

base_url='ftp://gcc.gnu.org/pub/gcc/infrastructure/'

echo_archives() {  
    echo "${gmp}"
    echo "${mpfr}"
    echo "${mpc}"
    if [ ${graphite} -gt 0 ]; then echo "${isl}"; fi
}

重点是上面的几个文件，可以先下载到当前gcc-7.5.0目录。 可以使用上面提到的中科大镜像源wget先下载，镜像站没有的包，可以到源站wget下载。再执行./contrib/dowload_prerequisites，有如下提示：

gmp-6.1.0.tar.bz2: OK  
mpfr-3.1.4.tar.bz2: OK  
mpc-1.0.3.tar.gz: OK  
isl-0.16.1.tar.bz2: OK  
All prerequisites downloaded successfully.  

说明依赖已经安装好了，接下来就行configure跟编译了。

首先创建一个用于存放编译文件的目录build， 进入build目录，执行上级目录的configure命令。

这里需要注意一点，在configure的时候，一定要用--prefix指定有权限install相关可执行文件以及lib文件的目录。 比如：在aistudio中的work/gcc-install， 笔者就没有指定，结果是默认的目录/usr，可想而知，肯定没有权限install。结果后面要用很多trick来解决后面用到各种依赖的问题，在下面会说到。

# 完整命令
mdir build  
cd build  
../configure --prefix ~/work/gcc-install -enable-checking=release -enable-languages=c,c++ -disable-multilib 

• 接下来就是编译安装了

make -j 30

make install  

正常情况install目录有权限的话，make install应该就结束了。

但是笔者之前没有配置prefix，结果要install到一个没有权限的默认/usr目录。所以现在没法make install。因为编译过的过程太慢长了，所以不想重新configure，重新编译。

好在，源码已经编译好了。配置环境变量：

# gcc、g++在这个目录
export PATH=/home/aistudio/gcc-7.5.0/build/gcc/:$PATH

# 看一下是否生效
which gcc  
which g++  

# 查看版本
aistudio@jupyter-104673-1192555:~/kenlm-master$ g++ --version  
g++ (GCC) 7.5.0  
Copyright (C) 2017 Free Software Foundation, Inc.  
This is free software; see the source for copying conditions.  There is NO  
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  

• 手动安装pycorrector的依赖kenlm

wget https://github.com/kpu/kenlm/archive/master.zip  
unzip master.zip  
cd kenlm-master  
python setup install  

不再提示找不到cc1plus，出现了各种找不到头文件的错误信息，说明cc1plus已经能找到了，进入准备编译的阶段了。

根据提示信息，find gcc-7.5.0 -name "xx.hh"查找到各个头文件的目录，这里也有很多坑，因为一个文件所在的目录不一样，虽然文件名一样，但是代码可能是不一样的。笔者在这里踩了不少坑，不断尝试终于找到所有头文件的目录。

gcc 在编译的时候可以用 gcc -I your_headers_dir，指定include的查找路径。

修改 setup.py

# 踩坑之后，找到了所有以来的定义目录
ss = '-I ../gcc-7.5.0/build/gcc/include/ -I ../gcc-7.5.0/libstdc++-v3/include/std/ -I ../gcc-7.5.0/libstdc++-v3/include -I ../gcc-7.5.0/libstdc++-v3/libsupc++/ -I ../gcc-7.5.0/build/x86_64-pc-linux-gnu/libstdc++-v3/include/x86_64-pc-linux-gnu/ -I ../gcc-7.5.0/libstdc++-v3/libsupc++/ -I ../gcc-7.5.0/build/x86_64-pc-linux-gnu/libstdc++-v3/include -I ../gcc-7.5.0/build/gcc/include-fixed/ -L ../gcc-7.5.0/build/gcc/'

#print(ss.split(' '))
ss = ss.split(' ')  
s1 = []  
for i in range(0,len(ss),2):  
        #print(i)
        s1.append(ss[i]+ss[i+1])
#print(s1)
#s1 = []

ARGS = ['-O3', '-DNDEBUG', '-DKENLM_MAX_ORDER='+max_order, '-std=c++11']  
# 通过ARGS参数传递给gcc命令
ARGS += s1  
print(ARGS)  

再次执行python setup.py install，正常编译了一小会，但是抛出错误提示：

gcc: fatal error: -fuse-linker-plugin, but liblto_plugin.so not found  

看来是没后找到liblto_plugin.so这个库，find 了一下，发现有这个文件./build/gcc/liblto_plugin.so。无论用 gcc -L ./build/gcc/，增加一个链接库的查找路径，还是把路径增加到PATH变量，都并不起作用。

aistudio@jupyter-104673-1192555:~/gcc-7.5.0$ /usr/bin/gcc -print-file-name=liblto_plugin.so  
/usr/lib/gcc/x86_64-linux-gnu/7/liblto_plugin.so

用系统默认的/usr/bin/gcc 能够查找到liblto_plugin.so，但用刚编译的gcc确找不到此文件。

使用gcc -print-serach-dirs，发现有搜索类似这样的路径：

libraries =/home/aistudio/gcc-7.5.0/build/gcc/../lib/gcc/x86_64-pc-linux-gnu/7.5.0//home/aistudio/gcc-7.5.0/build/gcc/../lib/gcc/x86_64-linux-gnu//home/aistudio/gcc-7.5.0/build/gcc/../lib/gcc//home/aistudio/gcc-7.5.0/build/gcc/../lib/gcc/

所以，直接在gcc下创建了lib目录，把gcc目录拷贝到lib目下。 再执行gcc -print-file-name=liblto_plugin.so

aistudio@jupyter-104673-1192555:~/gcc-7.5.0$ gcc -print-file-name=liblto_plugin.so  
/home/aistudio/gcc-7.5.0/build/gcc/../lib/gcc/liblto_plugin.so

可以正常找到liblto_plugin.so， 再次python setup.py install， 可以正常编译安装kenlm了。

另外，笔者在发现默认的/usr/bin/gcc 可以找到liblto_plugin.so的时候，尝试把编译好的gcc改为gcc_bak，让gcc命令使用的是/usr/bin/gcc，也可以正常编译kenlm。

然后就可以在notebook上, !pip install pycorrector了

到此，整个踩坑结束。

下载字体文件

点击下载 simsun.ttc

设置字体

import matplotlib.pyplot as plt  
import matplotlib.font_manager as fm  
# 设置字体
font = fm.FontProperties(fname='/your_fonts_directory/simsun.ttc',size=12)  
plt.rcParams.update({'font.size': 12})  

设置 plot.bar 字体

ax = df2.plot.bar(x='label',y='count',figsize=(12,4))  
# 设置支持中文字体
a = ax.set_xticklabels(df2.label,fontproperties=font)  

设置 plot.pie 相关组件的字体

ax = df1[['hash','label']].groupby(by=['label']).count()\  
.sort_values(by=['hash'],ascending=False)\
.head(5)\
.plot.pie(y='hash',figsize=(6,6))
ax.set_ylabel('各类别数据量分布',fontproperties=font)  
plt.setp(ax.texts, fontproperties=font)  
plt.legend(prop=font)  

获取Trump最近的Twitter

除了用爬虫去获取Twitter之外，还有一个简单稳定的方案就是通过官方的API，不过最近Twitter官方比较严格，很难申请开放平台很难通过。好在笔者之前申请过一个Twitter的开发者账号。

• 安装第三方获取Twitter的库python-twitter

pip install python-twitter  

• 把Trump最近的Twitter dump 下来

import twitter

proxies = {  
    'http': '',
    'https': ''
}

api = twitter.Api(consumer_key='',  
                  consumer_secret='',
                  access_token_key='',
                  access_token_secret='', proxies=proxies)

count = 200  
max_id = None  
fp = open('Trump-twitter.txt', encoding='utf-8', mode='w')  
while True:  
    statuses = api.GetUserTimeline(screen_name="realDonaldTrump", count=count, max_id=max_id)
    if len(statuses) < 1:
        break
    for s in statuses:
        print(s)
        fp.write(str(s) + "\n")
        max_id = s.id

    max_id = max_id - 1

fp.close()  

需要注意的是， 这个API需要再可以访问Twitter的网络环境下使用，所以配置了proxy

目前，Twitter 的API做了限制，只能获取到最近的3200条的推文，实际获取到的量会有一些出入，不过差异不大。

导出的数据，大概是这样：

数据预处理

• 使用pandas可以很方便处理表格， 这里主要把重要的信息，处理成表格字段，方便后面的统计分析
• 这里重点关注以下字段

|字段名|字段解释| |--|--| |id|Twitter ID https://twitter.com/i/web/status/{id}| |createdat|发布时间| |favoritecount|点赞数| |hashtags|话题TAG| |retweetcount|转发数| |source|发布来源，比如来自iPhone| |text|推文内容| |mediatype|内容媒体类型，比如video| |retusername|原文的发布者| |retuserverified|原文的发布者是否认证| |quotedusername|被引用的推文的作者| |quoteduserverified|被引用的推文作者是否认证| |createdday|发布日期，方便按天统计| |createddayhour|发布日期，精确到小时，比如：2020-06-14 02| |createdhour|发布小时，方便统计发文时间规律|

• 代码片段

# 把发布时间转换成特定的格式
def get_created_info(row):  
    created_at = row.created_at
    day,time_str = created_at.split(' ')
    hour = time_str.split(':')[0]
    day_hour = day+" "+hour
    return day,day_hour,hour

# 应用到多个字段上    
DF[['created_day','created_day_hour','created_hour']] = DF.apply(get_created_info,axis=1,result_type='expand')  

推文分析

首先加载在上一步预处理后的数据，转成pandas的DataFrame，方便之后的处理

df = pd.read_excel('./Trump-twitter.xlsx')  

后面进入超多维度的分析

每天发文量统计

 df[['id','created_day']].groupby(by=['created_day']).count().sort_values(by=['id'],ascending=False).head(20).plot.bar(figsize=(12,4))

按照每日发文总量的top 20，进行绘图

可以发现在2020-06-05 这天的发文最多，发了153条。我们详细看一下，这一天的每小时的发文量

df1 = df[df.created_day=='2020-06-05']  
df1[['id','created_hour']].groupby(by=['created_hour']).count().plot.bar(figsize=(12,4))  

在一天在11、12点这两个小时发文最多， 对这天的所有推文内容，进行分析，绘制词云图， 这里使用WordCloud一个比较好用的绘制词云图的库

对推文内容进行情感分析

def get_sentiment(row):  
    polarity = tb(row.text).polarity
    if polarity < 0:
        tag = 'negative'
    elif polarity < 0.3:
        tag = 'neutral'
    else:
        tag = 'positive'
    return tag,polarity
df[['text_polarity','polarity_prob']] = df.apply(get_sentiment,axis=1,result_type='expand')  

这里使用了textblob库，一个简单的文本处理库，可以比较方便的对英文文本进行情感分析、词性标注、拼写纠错等

可以看出Trump的推文以中性为主，当然负面占比也不少，这里不展开 ……

发文时间段统计

df[['id','created_hour']].groupby(by=['created_hour']).count().plot.bar(figsize=(12,4))  

从图上可以很直观的看出，Trump 24小时都有发文，在12点左右，发Twitter量最多，不愧面向Twitter治国，发推量令人发指。

对这段时间所有的推文进行分析，绘制词云图

从词云图上可以看出，“白宫”、“新冠病毒”、“奥巴马”、“拜登”是他经常提及的对象，同时不忘“Great American” ……

对推文中提到的“FAKE NEWS”进行词云统计

不解释

转发与原创统计

explode = (0, 0.1)  
df[['id','tweet_status']].groupby(by=['tweet_status']).count()\  
.plot.pie(y='id',figsize=(5,5),explode=explode,autopct='%1.1f%%',shadow=True, startangle=0,label='')

转发跟原创占比都不少

被转的作者统计

rt_df = df[['id','ret_user_name']].groupby(by=['ret_user_name']).count().sort_values(by=['id'],ascending=False)  
rt_df.head(20).plot.bar(figsize=(16,4))  

• 主要转发白宫的推文，其次是转发他自己的

发布来源统计

explode = (0, 0.1)  
df[['id','source']].groupby(by=['source']).count()\  
.plot.pie(y='id',figsize=(5,5),explode=explode,autopct='%1.1f%%',shadow=True, startangle=0,label='')

主要还是来自iPhone

推文主题TAG统计分析

• 可以看出，这段时间Trump关注的比较多还是新冠疫情，以及跟疫情相关的“薪水保护计划”
• 其次是MAGA （Make Ameraica Greate Again）

推文内容聚类

对Trump的推文聚了10个类，从图上看，Trump的推文内容的类型多集中在某几个方面

对推文内容做word2vec

model.similar_by_word('Trump')  
# output

[('coronavirus', 0.6097418069839478),
 ('great', 0.5778061151504517),
 ('realDonaldTrump', 0.554646909236908),
 ('Great', 0.5381245613098145),
 ('National', 0.49641942977905273),
 ('America', 0.47522449493408203),
 ('today', 0.4736398458480835),
 ('people', 0.469297856092453),
 ('Democrats', 0.45948123931884766),
 ('time', 0.4551768898963928)]

点赞数直方图

df[df.favorite_count > 0][['id','favorite_count']].plot.hist(y='favorite_count',bins=50,figsize=(12,4))  

点赞数主要集中在5w左右

转发数直方图

df[df.retweet_count > 0][['id','retweet_count']].plot.hist(y='retweet_count',bins=50,figsize=(12,4))  

转发数主要集中在1w左右

结语

本文主要从多维度客观统计为主，不做过多解读。算是抛砖引玉，读者朋友可以发挥想象，做更多维度的分析与深刻的解读。

项目背景

公司内部封装了NLP通用算法的GRPC服务，比如文本情感识别、文本分类、实体识别等， 提供给大数据等其他部门实时调用。

RPC 服务的调用日志，通过Filebeat、Logstash 实时发送到Elasticsearch，现在需要通过对日志的调用情况实时统计分析，判断调用情况是否出现异常，并对异常情况能够实时告警。

业务场景分析

使用ES 的watcher 插件创建一个threshold alert， 设置预警规则，当一个时间周期内的数据量达到阈值， 就进行告警。

这种方案优点是，设置起来比较简单，只要设置query的条件，以及阈值就可以快速完成。 缺点是，这种方案比较适合粗粒度，并且阈值明确的情况下设置。

设想一下，如果要做到分钟级实时监控，并且对异常点进行告警通知，如果用规则来设置，很难满足这种场景。 针对这种场景，很容易想到，使用Machine Learning （ML）的方法，根据以往的数据变化趋势，来主动发现异常点，那就简单多了。

针对这种需求， 有很多解决方案，比如，把日志实时发送到KAFKA，再用FlinkML 来做机器学习，训练异常检测模型， 不过多讨论这种方案。 如题， 这里介绍一种更简单的方案，使用 ES Stack 提供的 ML 模块, 很容在ES Stack上快速体验AIOps。

实践经验

Requirements

• ELK 6.4.3
• Xpack Machine Learning

日志结构

{
  "@timestamp": "2019-10-09T09:10:22.547Z",
  "@version": "1",
  "call_day": "20191009",
  "call_hour": "2019100909",
  "call_minute": "201910090910",
  "call_time": "10-09 09:10:21.714317",
  "cost": 0.004031,
  "method": "Nlp.ContentCategory",
  "month": "10",
  "service_name": "mg",
  "timestamp": "2019-10-09T09:10:22.547Z"
}

• @timestamp 日志写入时间，后面的时序统计就是依据这个时间字段
• cost 调用方法消耗时间，可以利用这个字段的平均值来预测方法耗时是否异常
• method 调用的方法
• service_name 调用的服务名称

目的

• 使用历史日志数据，训练异常检测模型，并找出异常的点
• 使用训练出来的模型，检测后面的实时日志数据，发现新的异常点，并进行告警

步骤

创建Job

有四种创建ML Job的模式：

1. 单指标模式：使用单一指标作为模型特征参数
2. 多指标模式：使用多指标作为模型特征参数
3. 种群分析模式：种群分析，找出不合群的点
4. 高级模式：可以灵活的设置各种模型指标

为了简单起见，这里使用单一指标模式来创建ML Job

• 选择时间段，尽量选择足够长的时间段，提供足够多的数据喂给ML模型
• Aggregate： 聚合统计的方法，Count、High Count、Low Count、Mean、High Mean、Low Mean等，这里选择 Count方法， 表示统计特定时间窗口数据量，如果检测点的数据量超过模型计算值上下边界值的，都算作是异常点
• Bucket Span 统计的时间窗口大小

配置告警阈值

针对检测结果的严重程度进行邮件告警

查看检测结果

通过Anomaly Explorer 可以很容易找到异常的点

同时，通过Metric Viewer也很直观的查看异常周边的变化趋势，下面举例介绍一下，2019-09-19异常点的情况

从上图可以看出，在10:00/09:00/08:00/07:00 分别检测出了不同程度的异常， 其中severity值的大小，表明了异常的严重程度，severity值越大，说明这个异常越偏离正常情况。

probability是事情发生的概率，值越小，这个事件发生的可能性越小，从而说明如果这个事件发生了，肯定是不寻常的，跟上面severity反应的情况也是自洽的。

typical 是典型值，就是根据以往数据学习的模型，预测这个时间段的数据量是应该是多少

actual 是实际值，是这个时间段的统计的真实数据量，如果跟typical差异越大，出现异常的可能性就越大

产生结果解释

上述的检测结果来自真实业务场景，在7点到10点之间的业务调用方出现异常，导致在7点到10点之间的RPC服务日志产生量减少。ML 通过对以往数据的特征的学习，对这个时间段的日志量进行预测，发现实际结果与预测结果不符合。 在10点以后，业务调用方恢复正常，预测的结果跟实际调用量也是相吻合，在最终的结果图上也是反映回到正常曲线。

Bucket Span 调优

Bucket （桶） ，在进行实时数据流分析的时候，使用桶来区分指定时间窗口的数据，桶的大小，反映了每个窗口的数据量的大小， 也就是每次给ML喂的数据量的大小。

上面的结果是对桶大小进行调优后的效果，选择的Bucket Span 是5min， 最初选择的Bucket Span是15min， 没有把异常点很好的检测出来。

上图桶大小是15min，从图上可以看出来，没有把7点这个异常点检测出来，同时异常的重要程度不够。

设置1min的效果，同样不能把异常点检测很好的出来，而且受到噪音的干扰比较大，检测到很多严重程度很低的小的异常点。

调优参考：

• 桶的大小不宜设置太小，如果太小，虽然喂给ML的数据变多，但是在很小的时间段内，数据的变化比较频繁，产生大量的噪音，不利于模型的学习。反之，如果桶的大小设置太大了，将会丢掉很多细节信息，而且可能导致喂给ML的数据量不足，甚至把某个异常点给丢掉了。桶的大小要根据业务场景来，如上的场景，想尽快发现调用的异常，在数据量比较充足的情况下，设置5min是比较合适的。当然，这也不是绝对的情况，需要不断地调整这个值的大小，找到合适的值。

• ES ML 提供了一键预估（Estimate bucket span) Bucket大小，但是这个功能并不是很智能，不能完全依赖，还需要自己不断调试

• 尽量给ML喂更多充足的数据，数据量太少，ML不能很好的拟合数据，预测的结果也是不准确的

• 排除掉一些已知的“异常”数据，比如，周末的数据调用量下降很多，如果也直接喂给模型的话，会对预测结果产生干扰。好在，ES 提供了calendar功能，可以把特定时间段的移除，这个时间段的数据不算做异常。

• 使用多指标模式，选择更多的影响因子，使训练出来的模型更加健壮

• 由于数据不断变化，持续把更多更新的数据喂给模型，使其能够学习到新的特征，以适应新的数据

总结

一个完善的AIOps体系还有很多工作要做，上述只是整个体系中一小块，好在ES Stack现在越来越完善，下一步可以考虑把APM、Machine Learning整合起来，使用APM 对系统性能进行监控，使用ML对系统的各项指标进行建模，预测机器的使用趋势，并做到动态伸缩。

导语

如果看到特别感兴趣的抖音vlogger的视频，想全部dump下来，如何操作呢？下面介绍介绍如何使用python导出特定用户所有视频信息

抓包分析

• Chrome Deveploer Tools Chrome 浏览器开发者工具

在抖音APP端，复制vlogger主页地址， 比如： http://v.douyin.com/kGcU4y/， 在PC端用chrome浏览器打卡，并模拟手机，这里选择iPhone， 然后把复制的主页地址，放到浏览器进行访问，页面跳转到https://www.iesdouyin.com/share/user/110677980134

• 下拉主页， 选择Network=>XHR 选项卡， 看到类似请求

:authority: www.iesdouyin.com
:method: GET
:path: /web/api/v2/aweme/post/?user_id=110677980134&sec_uid=&count=21&max_cursor=1561112910000&aid=1128&_signature=3Xf-nxAQgGfUO4SKisB.Ld13.o&dytk=061ae6e81229e178146aa674327eba89
:scheme: https
accept: application/json  
accept-encoding: gzip, deflate, br  
accept-language: zh-CN,zh;q=0.9,en;q=0.8,ja;q=0.7,zh-TW;q=0.6,da;q=0.5  
cookie: tt_webid=6690145457198417412; _ga=GA1.2.605400954.1557670882; _ba=BA0.2-20181226-5199e-GIJXgXk9ajNkyFhmv7Wy; _gid=GA1.2.1914501522.1562857517  
referer: https://www.iesdouyin.com/share/user/110677980134  
user-agent: Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1  
x-requested-with: XMLHttpRequest  

返回数据截图

通过分析ajax请求的URL https://www.iesdouyin.com/web/api/v2/aweme/post/?user_id=110677980134&sec_uid=&count=21&max_cursor=1559299764000&aid=1128&_signature=3Xf-nxAQgGfUO4SKisB.Ld13.o&dytk=061ae6e81229e178146aa674327eba89 得出请求参数主要包含：

| 字段 | 类型 | 说明 | |------|------------|------------| | userid | int | 抖音账号的ID | | count | int | 返回的数据条数，就用默认值21 | | maxcursor| int | 请求的游标，每次请求带上上次请求返回的maxcursor | |aid|int|使用默认值11128| |signature|string|每次请求带上的参数签名| |dytk|string|每次请求带上的一个参数|

参数的获取方法： - userid 通过访问主页地址，重定向之后的URL地址(https://www.iesdouyin.com/share/user/110677980134)上可以获取 userid - dytk 在主页的网页源码中包含此参数，网页源码片段

(function() {
    $(function(){
        __M.require('douyin_falcon:page/reflow_user/index').init({
            uid: "110677980134",
            dytk: '061ae6e81229e178146aa674327eba89'
        });
    });
})();

通过正则获取到此参数

• _signature 获取比较复杂，抖音对前端的js代码进行了混淆压缩，不易直接分析出算法过程，不过可以执行签名算法代码，并返回对应的签名结果。
• 执行js代码的可以使用nodejs或者selenium webdriver，这里推荐使用selenium webdriver ， nodejs的js执行环境与浏览器有区别，计算出的签名结果，并不能通过验证，selenium webdriver 可以调用本地浏览器，计算出的签名可以跟浏览器直接访问访问计算出的签名一致。
• 格式化之后的js代码，点击查看， 执行js方法_bytedAcrawler.sign("110677980134")对参数进行签名

代码实现导出主页视频列表

def get_user_video_list_by_uid(user_id, cursor=0):  
    url = 'https://www.iesdouyin.com/web/api/v2/aweme/post/?'
    sign, dytk = signature(user_id)
    tk_logger.info("sign:%s,dytk:%s" % (sign, dytk))
    if sign is None or dytk is None:
        tk_logger.log("sign [%s] or dytk [%s] is none" % (sign, dytk))
        return None
    headers = dict_merge(CHROME_HEADER, {
        "Accept": "application/json",
        "X-Requested-With": "XMLHttpRequest",
    })
    params = {
        "user_id": user_id,
        "count": "21",
        "max_cursor": cursor,
        "aid": "1128",
        "_signature": sign,
        "dytk": dytk
    }
    res = requests.get(url, headers=headers, params=params)
    tk_logger.info("request url: %s" % res.url)
    content = res.content.decode("utf8")
    jsn = json.loads(content)
    return jsn

获取的视频列表信息

获取视频信息代码片段

def get_video_detail_by_id(video_id):  
    url = "https://aweme-hl.snssdk.com/aweme/v1/aweme/detail/?version_code=6.5.0&pass-region=1&pass-route=1&js_sdk_version=1.16.2.7&app_name=aweme&vid=9D5F078E-A1A9-4F64-81C7-F89CA6A3B1DC&app_version=6.5.0&device_id=34712926793&channel=App%20Store&mcc_mnc=46011&aid=1128&screen_width=750&openudid=263bd93f02801d126ca004edccbff8f6e1b19f51&os_api=18&ac=WIFI&os_version=12.3.1&device_platform=iphone&build_number=65014&device_type=iPhone9,1&iid=74239983401&idfa=F39B285A-4B4F-4874-9D7E-C728A892BF6D"
    data = {"aweme_id": video_id}
    headers = {
        "sdk-version": "1",
        "x-Tt-Token": "00fc1e7950db67b5f43a312e9265cdfee513ea70c36d918c871f3bb553347f3db50ffca143b8722327b345816a75efca071d",
        "User-Agent": "Aweme 6.5.0 rv:65014 (iPhone; iOS 12.3.1; en_CN) Cronet",
        "Content-Type": "application/x-www-form-urlencoded",
        "Cookie": "tt_webid=6636348554880222728; __tea_sdk__user_unique_id=6636348554880222728; odin_tt=76d9b82d6e6f2ddfc99719a5b5d44a7d703cf977f0f7bddf8537f93920d57cb9ec33162ee47868b760f6b09e69209bb2f90bad220b75678af850a0dfa9f056e2; install_id=74239983401; ttreq=1$dab0516952a4157c0c11d4993533c09d6e45fc94; sid_guard=fc1e7950db67b5f43a312e9265cdfee5%7C1559955316%7C5184000%7CWed%2C+07-Aug-2019+00%3A55%3A16+GMT; uid_tt=0afcb06309f632d872799ec0ac3b2c80; sid_tt=fc1e7950db67b5f43a312e9265cdfee5; sessionid=fc1e7950db67b5f43a312e9265cdfee5",
        "X-Khronos": "1559956401",
        "X-Gorgon": "8300000000002e40eee38cad71d14037bd1385d18bc973f094f5",
    }
    ret = {}
    res = requests.post(url, data=data, headers=headers)
    if res.status_code == 200:
        # tk_logger.info("video detail raw:%s" % res.content.decode("utf8"))
        jsn = json.loads(res.content)
        detail = jsn.get("aweme_detail", {})
        video_info = get_video_info(detail)
        user_info = get_user_info(detail)
        play_addr = get_play_address(detail)
        video_cover = get_video_cover(detail)
        ret["video_info"] = video_info
        ret["user_info"] = user_info
        ret["play_addr"] = play_addr
        ret["video_cover"] = video_cover
    else:
        raise TKException("get video detail failed [%s][%d]" % (url, res.status_code))
    return ret

下载视频代码片段

detail =  get_video_detail_by_id(video_id)  
def download_video(detail):  
    url = detail.get("play_addr", {}).get("url_list", [])
    if len(url) == 0:
        raise TKException("cannot get video url list [%s]" % detail)

    url = url[0]
    folder = DOWNLOAD_DIR + '/' + detail.get('user_info', {}).get("uid", "unknown")
    if not os.path.exists(folder):
        os.mkdir(folder)
    video_id = detail.get('video_info', {}).get('statistics', {}).get('aweme_id')
    # filename = "%s/%s" % (folder, detail.get("video_info", {}).get("desc", video_id) + ".mp4")
    filename = "%s/%s" % (folder, video_id + ".mp4")
    tk_logger.info("download video %s" % url)
    if os.path.isfile(filename):
        file_size = get_remote_file_size(url)
        if file_size == os.path.getsize(filename):
            tk_logger.info("file already downloaded, skip ...")
            return
        else:
            tk_logger.info("download file , file size:%d" % file_size)
    res = requests.get(url, headers=IOS_HEADER)
    if res.status_code == 200:
        with open(filename, "wb") as fp:
            for chunk in res.iter_content(chunk_size=1024):
                fp.write(chunk)
    else:
        raise TKException("download video [%s] failed [%d]" % (url, res.status_code))

下载视频

声明

此教程仅为交流学习，不作商业用途

java code

package com.demo.encrypt;

import java.io.ByteArrayInputStream;  
import java.io.ByteArrayOutputStream;  
import java.io.IOException;  
import java.io.ObjectInputStream;  
import java.io.ObjectOutputStream;  
import java.io.Serializable;

public class ObjectSerializer {

    public static  String serialize(Serializable obj) throws IOException {
        if (obj == null) return "";
        try {
            ByteArrayOutputStream serialObj = new ByteArrayOutputStream();
            ObjectOutputStream objStream = new ObjectOutputStream(serialObj);
            objStream.writeObject(obj);
            objStream.close();
            return encodeBytes(serialObj.toByteArray());
        } catch (Exception e) {
            throw new IOException();
        }
    }

    public static  Object deserialize(String str) throws IOException {
        if (str == null || str.length() == 0) return null;
        try {
            ByteArrayInputStream serialObj = new ByteArrayInputStream(decodeBytes(str));
            ObjectInputStream objStream = new ObjectInputStream(serialObj);
            return objStream.readObject();
        } catch (Exception e) {
            throw new IOException();
        }
    }

    public static  String encodeBytes(byte[] bytes) {
        StringBuffer strBuf = new StringBuffer();

        for (int i = 0; i < bytes.length; i++) {
            strBuf.append((char) (((bytes[i] >> 4) & 0xF) + ((int) 'a')));
            strBuf.append((char) (((bytes[i]) & 0xF) + ((int) 'a')));
        }

        return strBuf.toString();
    }

    public static  byte[] decodeBytes(String str) {
        byte[] bytes = new byte[str.length() / 2];
        for (int i = 0; i < str.length(); i+=2) {
            char c = str.charAt(i);
            bytes[i/2] = (byte) ((c - 'a') << 4);
            c = str.charAt(i+1);
            bytes[i/2] += (c - 'a');
        }
        return bytes;
    }

}

PHP code snippet

class Serializer{  
    public static function encodeBytes($bytes)
    {
        $strBuf = array();
        for ($i = 0, $n = strlen($bytes); $i < $n; $i++) {
            $strBuf[] = chr((ord($bytes[$i]) >> 4 & 0xF) + 97);
            $strBuf[] = chr((ord($bytes[$i]) & 0xF) + 97);
        }
        return implode("", $strBuf);
    }

    public static function decodeBytes($str)
    {
        $bytes = array();;
        for ($i = 0, $n = strlen($str); $i < $n; $i += 2) {
            $c = $str[$i];
            $bytes[$i / 2] = (ord($c) - 97) << 4;
            $c = $str[$i + 1];
            $bytes[$i / 2] += (ord($c) - 97);
            $bytes[$i / 2] = chr($bytes[$i / 2]);
        }
        return implode("", $bytes);
    }
}

echarts提供了很多精美图表插件，通过浏览器来渲染后，用户可以保存图表为图片。但是有些应用场景，需要在用户不打开浏览器的情况下，能把图表保存下来，比如把echarts图表插入到word文档中。这种需求下，我开发了echarts图片导出服务，并提供了相关接口。

提供了两种类型的接口：

把定制页面的echarts图表保存为图片

请求实例：

curl http://115.29.188.241:3100/ -d '{"url":"http://115.29.188.241/public/echarts/default.html","funcs":"salesChart,bubbleChart","delay":1000}'  

参数解释：

• 请求接口：http://115.29.188.241:3100/
• 请求方法：POST
• 请求参数：
  • 参数格式：JSON
  • url:定制的echarts图表页面，如：http://115.29.188.241/public/echarts/default.html
  • funcs：上面指定的URL页面上暴露的echarts实例全局变量，多个实例用半角逗号隔开，如：salesChart,bubbleChart。
  • delay：可选项，单位ms，默认100，最大值5000。延时执行时间，有的echarts图表带有动画，需要等待动画执行完，delay时间越长，等待接口返回时间越长，建议关闭动画。

返回结果：

{"err":0,"msg":"success","imgs":{"bubbleChart":"http://saas-pubsentiment-img1.oss-cn-hangzhou.aliyuncs.com/2017/04/14/1492182803618.png","salesChart":"http://saas-pubsentiment-img1.oss-cn-hangzhou.aliyuncs.com/2017/04/14/1492183306861.png"}}

出参解释：

• err： 0 或者 1 ， 0 表示没有错误，1表示发生错误。
• msg： 成功返回success，失败返回错误的信息。
• imgs：json对象，key为请求参数funcs中指定的全局变量名，比如这里的salesChart对应的图片为http://saas-pubsentiment-img1.oss-cn-hangzhou.aliyuncs.com/2017/04/14/1492183306861.png，bubbleChart对应的图片为http://saas-pubsentiment-img1.oss-cn-hangzhou.aliyuncs.com/2017/04/14/1492182803618.png
  

根据echarts option参数来生成图片，这里echarts的版本为3.5.3

请求实例：

curl http://115.29.188.241:3100/ -d '{"echartsOption":{"tooltip":{"trigger":"item","formatter":"{a} <br/>{b}: {c} ({d}%)"},"legend":{"orient":"vertical","x":"left","data":["直接访问","邮件营销","联盟广告","视频广告","搜索引擎"]},"series":[{"name":"访问来源","type":"pie","radius":["50%","70%"],"avoidLabelOverlap":false,"label":{"normal":{"show":false,"position":"center"},"emphasis":{"show":true,"textStyle":{"fontSize":"30","fontWeight":"bold"}}},"labelLine":{"normal":{"show":false}},"data":[{"value":335,"name":"直接访问"},{"value":310,"name":"邮件营销"},{"value":234,"name":"联盟广告"},{"value":135,"name":"视频广告"},{"value":1548,"name":"搜索引擎"}]}]},"width":600,"height":400}'  

参数解释：

• 请求接口：http://115.29.188.241:3100/
• 请求方法：POST
• 请求参数：
  • 参数格式：JSON
  • echartsOption：echarts的配置信息
  • width：可选项，生成图片的宽度，单位px，最大值：2000，默认值：600
  • height：可选项，生成图片的高度，单位px，最大值：2000，默认值：400

{"err":0,"msg":"success","imgs":{"myChart":"http://saas-pubsentiment-img1.oss-cn-hangzhou.aliyuncs.com/2017/04/14/1492184722716.png"}}

出参解释：

• err： 0 或者 1 ， 0 表示没有错误，1表示发生错误。
• msg： 成功返回success，失败返回错误的信息。
• imgs：这里的key固定为myChart

在pom.xml配置依赖

<dependencies>  
    <dependency>
        <groupId>org.mongodb</groupId>
        <artifactId>mongodb-driver</artifactId>
        <version>3.3.0</version>
    </dependency>
</dependencies>  

导入常用的包

import com.mongodb.MongoClient;  
import com.mongodb.MongoClientURI;  
import com.mongodb.client.MongoCollection;  
import com.mongodb.client.MongoCursor;  
import com.mongodb.client.MongoDatabase;  
import org.bson.Document;  
import org.bson.conversions.Bson;  
import org.bson.types.ObjectId;

// 导入com.mongodb.client.model.Filters类中的静态方法
import static com.mongodb.client.model.Filters.*;  
import static com.mongodb.client.model.Projections.*;  

连接数据库

有四种连接方法，具体参考： 官方文档

这里使用

MongoClientURI connectionString = new MongoClientURI("mongodb://localhost:27017,localhost:27018,localhost:27019");  
MongoClient mongoClient = new MongoClient(connectionString);

MongoDatabase database = mongoClient.getDatabase("mydb");  

阿里云官方推荐使用方法，支持主从节点不固定的情况下，自动识别。

获取 collection

MongoCollection<Document> collection = database.getCollection("test");  

插入文档

文档结构：

{
   "name" : "MongoDB",
   "type" : "database",
   "count" : 1,
   "info" : {
               x : 203,
               y : 102
             }
}

相应的Bson Document对象：

Document doc = new Document("name", "MongoDB")  
               .append("type", "database")
               .append("count", 1)
               .append("info", new Document("x", 203).append("y", 102));

// 插入文档               
collection.insertOne(doc);  

注意：info 使用内嵌对象

插入多个文档

List<Document> documents = new ArrayList<Document>();  
for (int i = 0; i < 100; i++) {  
    documents.add(new Document("i", i));
}

collection.insertMany(documents);  

统计文档总数

System.out.println(collection.count());  

查询单篇文档

Document myDoc = collection.find().first();  
System.out.println(myDoc.toJson());  

查询所有文档

MongoCursor<Document> cursor = collection.find().iterator();  
try {  
    while (cursor.hasNext()) {
        System.out.println(cursor.next().toJson());
    }
} finally {
    cursor.close();
}

使用查询过滤器

• 查询单篇文档

import static com.mongodb.client.model.Filters.*;

myDoc = collection.find(eq("i", 71)).first();  
System.out.println(myDoc.toJson());  

• 查询多篇文档

MongoCursor<Document> cursor = dbCollection  
                .find(gt("i", 0))
                .iterator();

while (cursor.hasNext()) {  
            System.out.println(cursor.next());
        }                

• 指定多个查询条件

// 10 <= i <= 100
Bson filter = and(gte("i",10),lte("i",100));  
// status = 1
filter = and(filter, eq("status",1));  
myDoc = collection.find(filter).first()  

• 使用ID查询

// 使用ObjectId对象来包装id
Document doc = dbCollection  
.find(eq("_id", new ObjectId("576c00b50cf23b8ea4175a14")))
.first();

使用排序

import static com.mongodb.client.model.Sorts.*;

// ascending 升序 descending 降序 
myDoc = collection.find(exists("i")).sort(descending("i")).first();  
System.out.println(myDoc.toJson());  

指定查询字段

// excludeId() 排除_id字段
myDoc = collection.find().projection(excludeId()).first();  
System.out.println(myDoc.toJson());

// 只包含部分字段
myDoc = collection.find().projection(include("news_title","news_posttime")).first();  
System.out.println(myDoc.toJson());

// 上面的查询是会返回_id字段的，如果要排除_id字段，可以使用Bson 类型来限定多个条件
Bson fields = include("news_title", "news_uuid", "news_posttime");  
fields = and(fields, excludeId());  
// 只返回news_title,news_uuid字段
myDoc = collection.find().projection(fields).first();  
System.out.println(myDoc.toJson());  

更新文档

• 更新单个文档

collection.updateOne(eq("i", 10), set("i", 110));  

• 更新多个文档

UpdateResult updateResult = collection.updateMany(lt("i", 100), inc("i", 100));  
System.out.println(updateResult.getModifiedCount());  

删除文档

• 删除单个文档

collection.deleteOne(eq("i", 110));  

• 删除多个文档

DeleteResult deleteResult = collection.deleteMany(gte("i", 100));  
System.out.println(deleteResult.getDeletedCount());  

什么是 ssllabs ？

ssllabs是一个在线版全球知名的HTTPS 网站检测工具 。 Qualys SSL Labs 同时也是很具有影响力的 SSL 安全和性能研究机构。在线监测地址为：https://www.ssllabs.com/ssltest/index.html

使用openssl工具生成自己的证书

• 生成一个RSA秘钥 openssl genrsa -des3 -out demo.key 2048
  要记住这里输入的密码，在下面的步骤中都会用到
• 拷贝一个不需要输入密码的密钥文件 openssl rsa -in demo.key -out demo_nopass.key
  这个秘钥会在nginx的配置中使用到，如果使用上面的秘钥，nginx重新加载配置文件都要输入密码
• 生成一个证书请求 openssl req -new -key demo.key -out demo.csr
• 使用SHA-2签名算法，生成证书 openssl req -x509 -sha256 -days 365 -newkey rsa:2048 -key demo.key -out demo.crt
• 生成交换秘钥 openssl dhparam -out dhparam.pem 2048
  秘钥的位数越大，生成秘钥花费的时间越长，默认 2048

配置nginx

server {
    listen       443 ssl;
    ssl      on;
    server_name  demo.com;
    root /data1/www/demo;
    access_log /var/log/nginx/demo-access.log main;
    error_log /var/log/nginx/demo-error.log warn;
    ssl_certificate /usr/local/nginx/conf/conf.d/ssl/demo.crt;
    ssl_certificate_key /usr/local/nginx/conf/conf.d/ssl/demo_nopass.key;
    resolver_timeout 1d;
    #ssl 会话缓存配置，参考：http://nginx.org/en/docs/http/configuring_https_servers.html
    ssl_session_cache shared:SSL:50m;
    ssl_session_tickets off;
    ssl_dhparam /usr/local/nginx/conf/conf.d/ssl/dhparam.pem;
    #不再使用旧的不安全的 SSLv2 和 SSLv3 
    ssl_protocols   TLSv1 TLSv1.1 TLSv1.2;
ssl_ciphers
  'ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305:ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES256-SHA384:ECDHE-RSA-AES256-SHA384:ECDHE-ECDSA-AES128-SHA256:ECDHE-RSA-AES128-SHA256';
    ssl_prefer_server_ciphers on;
    resolver 202.106.0.20 8.8.8.8 valid=300s;
}

导入到virtualbox，出现异常类似“<vbox:Machine> element in OVF contains a medium attachment for the disk image 0cabb6f4-xxx but the OVF describes no such image”异常信息

可以在导入设置的时候把，DVD 跟 USB controller导入选项去掉，在导入之后再进行设置。

参考链接：http://stackoverflow.com/questions/13234530/unable-to-load-ovf-to-virtualbox-created-using-vmware-vphrere-export

sudo rsync --exclude=.svn pubsent_trunk/ pubsent_v3.5/ -rv

把pubsent_trunk目录下的文件copy到pubsent_v3.5目录下，并排除.svn目录