lask是Django之外用Python實現的另一優秀Web框架

今天用它

Flask以自由、靈活著稱。在開發一些小應用的時候，使用Django會有“殺雞用牛刀”的趕腳，而使用Flask就非常合適。本文將使用Flask開發一個微博用戶畫像的生成器，最后效果如下：

開發步驟如下：

1. 抓取微博用戶數據；

2. 分析數據，生成用戶畫像；

3. 網站實現，美化界面。

一、微博抓取

這里使用移動端的微博(m.weibo.cn),以為例。本教程使用chrome瀏覽器進行調試。

1. 在“發現”中搜索“古力娜扎”，點擊進入她的主頁；

2. 開始分析請求報文, 右擊打開調試窗口，選擇調試窗口的"網絡(network)"標簽；

3. 選擇"Preserve Log",刷新頁面；

4. 分析各條請求過程可以發現博文的數據是從https://m.weibo.cn/api/container/getIndex?XXX 類似的地址中得到的。其主要參數為type(固定值)、value(博主ID)、containerid(標識，請求中返回)、page(頁碼)

下面開始實現爬取博文的代碼。

# 導入相關庫
import requests
from time import sleep

# 定義獲取博主信息的函數
# 參數uid為博主的id
defget_user_info(uid):
 # 發送請求
 result = requests.get('https://m.weibo.cn/api/container/getIndex?type=uid&value={}'
 .format(uid))
 json_data = result.json() # 獲取繁華信息中json內容
 userinfo = {
 'name': json_data['userInfo']['screen_name'], # 獲取用戶頭像
 'description': json_data['userInfo']['description'], # 獲取用戶描述
 'follow_count': json_data['userInfo']['follow_count'], # 獲取關注數
 'followers_count': json_data['userInfo']['followers_count'], # 獲取粉絲數
 'profile_image_url': json_data['userInfo']['profile_image_url'], # 獲取頭像
 'verified_reason': json_data['userInfo']['verified_reason'], # 認證信息
 'containerid': json_data['tabsInfo']['tabs'][1]['containerid'] # 此字段在獲取博文中需要
 }
 # 獲取性別，微博中m表示男性，f表示女性
 if json_data['userInfo']['gender'] == 'm':
 gender = '男'
 elif json_data['userInfo']['gender'] == 'f':
 gender = '女'
 else:
 gender = '未知'
 userinfo['gender'] = gender
 return userinfo

# 獲取古力娜扎信息
userinfo = get_user_info('1350995007')

# 信息如下
userinfo

{'containerid': '1076031350995007',
'description': '工作請聯系：nazhagongzuo@163.com',
'follow_count': 529,
'followers_count': 12042995,
'name': '我是娜扎',
'profile_image_url': 'https://tvax2.sinaimg.cn/crop.0.0.1242.1242.180/50868c3fly8fevjzsp2j4j20yi0yi419.jpg',
'verified_reason': '演員，代表作《擇天記》'}

In [33]:

# 循環獲取所有博文
defget_all_post(uid,containerid):
 # 從第一頁開始
 page = 0
 # 這個用來存放博文列表
 posts = []
 while True:
 # 請求博文列表
 result = requests.get('https://m.weibo.cn/api/container/getIndex?type=uid&value={}&containerid={}&page={}'
 .format(uid, containerid, page))
 json_data = result.json()
 # 當博文獲取完畢，退出循環
 if not json_data['cards']:
 break
 # 循環將新的博文加入列表
 for i in json_data['cards']:
 posts.append(i['mblog']['text'])
 # 停頓半秒，避免被反爬蟲
 sleep(0.5)
 # 跳轉至下一頁
 page += 1
 # 返回所有博文
 return posts

posts = get_all_post('1350995007', '1076031350995007')

# 查看博文條數
len(posts)

1279

# 顯示前3個
posts[:3]

至此，用戶的數據已準備就緒，接下來開始生成用戶畫像。

二、生成用戶畫像

1.提取關鍵詞

這里從博文列表中提取出關鍵字，分析出博主的發表的熱詞

import jieba.analyse
from html2text import html2text
content = '\n'.join([html2text(i) for i in posts])
# 這里使用jieba的textrank提取出1000個關鍵詞及其比重
result = jieba.analyse.textrank(content, topK=1000, withWeight=True)
# 生成關鍵詞比重字典
keywords = dict()
for i in result:
 keywords[i[0]] = i[1]

2.生成詞云圖

from PIL import Image, ImageSequence
import numpy as np
import matplotlib.pyplot as plt
from wordcloud import WordCloud, ImageColorGenerator
# 初始化圖片
image = Image.open('./static/images/personas.png')
graph = np.array(image)
# 生成云圖，這里需要注意的是WordCloud默認不支持中文，所以這里需要加載中文黑體字庫
wc = WordCloud(font_path='./fonts/simhei.ttf',
 background_color='white', max_words=300, mask=graph)
wc.generate_from_frequencies(keywords)
image_color = ImageColorGenerator(graph)

# 顯示圖片
plt.imshow(wc)
plt.imshow(wc.recolor(color_func=image_color))
plt.axis("off") # 關閉圖像坐標系
plt.show()

三、實現Flask應用

開發Flask不像Django那么復雜，小應用幾個文件就可以完成。步驟如下：

1. 安裝

使用pip安裝flask，命令如下：

$ pip install flask

2.實現應用邏輯

簡單來說，一個Flask應用就是一個Flask類，由route函數控制它的url請求。代碼實現如下:

# app.py
from flask import Flask
import requests
from PIL import Image, ImageSequence
import numpy as np
import matplotlib.pyplot as plt
from wordcloud import WordCloud, ImageColorGenerator
import jieba.analyse
from html2text import html2text
from time import sleep
from collections import OrderedDict
from flask import render_template, request
# 創建一個Flask應用
app = Flask(__name__)
##################################
# 微博相關函數 #
# 定義獲取博主信息的函數
# 參數uid為博主的id
def get_user_info(uid):
 # 發送請求
 result = requests.get('https://m.weibo.cn/api/container/getIndex?type=uid&value={}'
 .format(uid))
 json_data = result.json() # 獲取繁華信息中json內容
 # 獲取性別，微博中m表示男性，f表示女性
 if json_data['userInfo']['gender'] == 'm':
 gender = '男'
 elif json_data['userInfo']['gender'] == 'f':
 gender = '女'
 else:
 gender = '未知'
 userinfo = OrderedDict()
 userinfo['昵稱'] = json_data['userInfo']['screen_name'] # 獲取用戶頭像
 userinfo['性別'] = gender # 性別
 userinfo['關注數'] = json_data['userInfo']['follow_count'] # 獲取關注數
 userinfo['粉絲數'] = json_data['userInfo']['followers_count'] # 獲取粉絲數
 userinfo['認證信息'] = json_data['userInfo']['verified_reason'] # 獲取粉絲數
 userinfo['描述'] = json_data['userInfo']['description'] # 獲取粉絲數
 data = {
 'profile_image_url': json_data['userInfo']['profile_image_url'], # 獲取頭像
 'containerid': json_data['tabsInfo']['tabs'][1]['containerid'], # 此字段在獲取博文中需要
 'userinfo': '<br>'.join(['{}:{}'.format(k, v) for (k,v) in userinfo.items()])
 }
 return data
# 循環獲取所有博文
def get_all_post(uid, containerid):
 # 從第一頁開始
 page = 0
 # 這個用來存放博文列表
 posts = []
 while True:
 # 請求博文列表
 result = requests.get('https://m.weibo.cn/api/container/getIndex?type=uid&value={}&containerid={}&page={}'
 .format(uid, containerid, page))
 json_data = result.json()
 # 當博文獲取完畢，退出循環
 if not json_data['cards']:
 break
 # 循環將新的博文加入列表
 for i in json_data['cards']:
 posts.append(i['mblog']['text'])
 # 停頓半秒，避免被反爬蟲
 sleep(0.5)
 # 跳轉至下一頁
 page += 1
 # 返回所有博文
 return posts
##############################
## 云圖相關函數
# 生成云圖
def generate_personas(uid, data_list):
 content = '<br>'.join([html2text(i) for i in data_list])
 # 這里使用jieba的textrank提取出1000個關鍵詞及其比重
 result = jieba.analyse.textrank(content, topK=1000, withWeight=True)
 # 生成關鍵詞比重字典
 keywords = dict()
 for i in result:
 keywords[i[0]] = i[1]
 # 初始化圖片
 image = Image.open('./static/images/personas.png')
 graph = np.array(image)
 # 生成云圖，這里需要注意的是WordCloud默認不支持中文，所以這里需要加載中文黑體字庫
 wc = WordCloud(font_path='./static/fonts/simhei.ttf',
 background_color='white', max_words=300, mask=graph)
 wc.generate_from_frequencies(keywords)
 image_color = ImageColorGenerator(graph)
 plt.imshow(wc)
 plt.imshow(wc.recolor(color_func=image_color))
 plt.axis("off") # 關閉圖像坐標系
 dest_img = './static/personas/{}.png'.format(uid)
 plt.savefig(dest_img)
 return dest_img
#######################################
# 定義路由
# 指定根路徑請求的響應函數
@app.route('/', methods=['GET', 'POST'])
def index():
 # 初始化模版數據為空
 userinfo = {}
 # 如果是一個Post請求,并且有微博用戶id,則獲取微博數據并生成相應云圖
 # request.method的值為請求方法
 # request.form既為提交的表單
 if request.method == 'POST' and request.form.get('uid'):
 uid = request.form.get('uid')
 userinfo = get_user_info(uid)
 posts = get_all_post(uid, userinfo['containerid'])
 dest_img = generate_personas(uid, posts)
 userinfo['personas'] = dest_img
 return render_template('index.html', **userinfo)
if __name__ == '__main__':
 app.run()

以上就是全部的代碼，簡單吧？當然，單文件結構只適合小的應用，隨著功能和代碼量的增加，還是需要把代碼分離中不同的文件結構中以便開發和維護。最后，還差一個頁面的模版文件。

3.模版開發

模版需要有一個輸入的表單和用戶信息展示，基于Jinja2模版引擎。熟悉Django模版的應該可以很快上手，流程也和Django類型，在項目根目錄下建一個名為templates的文件夾并新建一個名為index.html的文件，代碼如下：

<!DOCTYPE html>
<html>
<head>
 <meta charset="UTF-8">
 <link rel="stylesheet" type="text/css" href="./static/css/style.css">
 <title>Flask之微博單用戶畫像生成器</title>
</head>
<body>
<!--提交微博id的表單-->
<div>
 <form action="/" method="post" id="search-form">
 <input type="text" name="uid" class="search" placeholder="微博用戶ID">
 <input type="submit" class="submit" value="生成畫像">
 </form>
</div>
<!--下面是用戶的展示信息-->
<!--使用了模版的if語法,如果有才展示這塊內容-->
</body>
</html>

這樣，應用實現完畢，項目結構如下：

$ tree .
weibo_personas
├── app.py
├── static
│ ├── css
│ │ └── style.css
│ ├── fonts
│ │ └── simhei.ttf
│ └── images
│ └── personas.png
└── templates
 └── index.html

進入項目文件夾，啟動項目：

$ python app.py
* Running on http://127.0.0.1:5000/ (Press CTRL+C to quit)

然后瀏覽器打開http://127.0.0.1:5000 地址就可以看到本教程最上面的效果。

以上只是一個初步實現，還有很多需要完善的地方。比如，如果發布的博文比較多時，獲取時間比較長，可以考慮加個緩存，存儲已獲取的用戶，避免重復請求，前端也可以加個loading效果。本教程展示的只是單用戶，后面也可以批量獲取用戶信息，生成一個群體的用戶畫像

學習過程中遇到什么問題或者想獲取學習資源的話，歡迎加入學習交流群

626062078，我們一起學Python！