通過Cookie傳遞Session ID

setcookie(session_name(),session_id(),0,'/');

第一個參數(shù)中調(diào)用session_name()函數(shù)，返回當(dāng)前session的名稱作為cookie的標(biāo)識名稱，session名稱的默認(rèn)值為PHPSESSID。

$_COOKIE[session_name()]等同于$_COOKIE["PHPSESSID"]

第二個參數(shù)中調(diào)用session_id()函數(shù)，返回當(dāng)期session ID作為cookie的值

第三個參數(shù)的值設(shè)置為0時，是通過在php.ini文件中由session_cookie_lifetime選項設(shè)置的值,session_cookie_lifetime選項默認(rèn)值為0,表示session ID將在客戶機的cookie中延續(xù)到瀏覽器關(guān)閉。

第四個參數(shù)"/",也是通過php配置文件制定的值，在php.ini中由session.cookie_path選項設(shè)置的值。默認(rèn)為"/",表示在cookie中設(shè)置的路徑在整個域內(nèi)都有效；

注意:當(dāng)用戶禁用cookie后,服務(wù)器每次session_start()都會創(chuàng)建一個全新的session文件,其后果就是無法讓多個頁面php去共享一份session文件;

2 通過URL傳遞session ID

第一種方法：使用session_name()和session_id()函數(shù)傳遞

<?php
session_start();
echo '<a href="demp.php?'.session_name().'='.session_id().'">鏈接演示</a>'; //注意:引號使用 '" 先單引號,后雙引號
?>
<a href="index.php?sid=<?php echo session_id() ?>">首頁</a>
<form action="login.php?sid=<?php echo session_id() ?>" method="post">

注意：sid是自定義的變量,采用此種表單形式的：<form action="login.php?sid=<?php echo session_id() ?>" method="post">

表單接收過來的要給session_id()賦值,因為服務(wù)器不知道是使用哪個session_id;

if(isset($_GET["sid"])){
session_id($_GET["sid"]);
}

session_name() 是用來獲取或設(shè)置為當(dāng)前會話的會話名稱,獲取會話名稱來自php.ini配置文件中session.name = "PHPSESSID"的默認(rèn)值

session_id() 是用來獲取或設(shè)置為當(dāng)前會話的會話ID

第二種方法：使用SID常量傳遞

此外，可以用常量 SID, 在會話啟動時被定義。

如果客戶端沒有發(fā)送適當(dāng)?shù)臅?cookie 的話, 則 SID 的格式為 session_name=session_id，否則就為一個空字符串。

因此可以無條件將其嵌入到 URL 中去。

案例1：

<?php
session_start(); //開啟Session
$_SESSION["username"]="admin"; //注冊一個Session變量，保存用戶名
echo "Session ID: ".session_id()."<br>"; //在當(dāng)前頁面輸出Session ID
?>
<a href="test2.php?<?php echo SID ?>">通過URL傳遞Session ID</a> <!-- 在URL中附加SID -->

案例2：

Page1.php

<?php
Session_start(); //使用SESSION前必須調(diào)用該函數(shù)。
$_SESSION['name']="我是黑旋風(fēng)李逵!"; //注冊一個SESSION變量
$_SESSION['passwd']="mynameislikui";
$_SESSION['time']=time();
echo '<br /><a href="page2.php">通過COOKIE傳遞SESSION</a>'; //如果客戶端支持cookie，可通過該鏈接傳遞session到下一頁。
echo '<br /><a href="page2.php?' . SID . '">通過URL傳遞SESSION</a>';//客戶端不支持cookie時，使用該辦法傳遞session.
?>

Page2.php

<?php
session_start();
echo $_SESSION['name']; //
echo $_SESSION['passwd']; //
echo date('Y m d H:i:s', $_SESSION['time']);
echo '<br /><a href="page1.php">返回山一頁</a>';
?>
<a href="nextpage.php?<?php echo strip_tags(SID); ?>">clickhere</a>.

用 strip_tags() 來輸出 SID 以避免 XSS 相關(guān)的攻擊。

3 修改配置文件php.ini

session.use_trans_sid 默認(rèn)為 0(禁用)。

PHP 可以透明地自動轉(zhuǎn)換連接設(shè)置php.ini中的session.use_trans_sid = 1或者編譯時打開打開了--enable-trans-sid選項”

鏈接文件、header函數(shù)跳轉(zhuǎn)、表單跳轉(zhuǎn)，都可以添加session_name=session_id信息

唯一的javascript腳本中<script language="javascript">location.href='index.php'</script>不能添加，必須手工添加SID

上一節(jié)我們了解了網(wǎng)站登錄驗證和模擬登錄的基本原理。網(wǎng)站登錄驗證主要有兩種實現(xiàn)方式，一種是基于 Session + Cookies 的登錄驗證，另一種是基于 JWT 的登錄驗證。接下來兩節(jié)，我們就通過兩個實例來分別講解這兩種登錄驗證的分析和模擬登錄流程。

本節(jié)主要介紹 Session + Cookie 模擬登錄的流程。

1. 準(zhǔn)備工作

在本節(jié)開始之前，我們需要先做好如下準(zhǔn)備工作。

• 安裝好了 requests 請求庫并學(xué)會了其基本用法。
• 安裝好了 Selenium 庫并學(xué)會了其基本用法。

下面我們就用兩個案例來分別講解模擬登錄的實現(xiàn)。

2. 案例介紹

本節(jié)有一個適用于 Session + Cookie 模擬登錄的案例網(wǎng)站，網(wǎng)址為：https://login2.scrape.center/，訪問之后，我們會看到一個登錄頁面，如圖所示：

我們輸入用戶名和密碼（用戶名和密碼都是 admin），然后點擊登錄。登錄成功后，我們便可以看到一個和之前案例類似的電影網(wǎng)站，如圖所示。

這個網(wǎng)站是基于傳統(tǒng)的 MVC 模式開發(fā)的，因此也比較適合 Session + Cookie 的模擬登錄。

3. 模擬登錄

對于這個網(wǎng)站，我們?nèi)绻M登錄，就需要先分析登錄過程究竟發(fā)生了什么。我們打開開發(fā)者工具，重新執(zhí)行登錄操作，查看其登錄過程中發(fā)生的請求，如圖所示。

圖 10-5 登錄過程中發(fā)生的請求

從圖 10-5 中我們可以看到，在登錄的瞬間，瀏覽器發(fā)起了一個 POST 請求，目標(biāo) URL 為 https://login2.scrape.center/login，并通過表單提交的方式像服務(wù)器提交了登錄數(shù)據(jù)，其中包括 username 和 password 兩個字段，返回的狀態(tài)碼是 302，Response Headers 的 location 字段為根頁面，同時 Response Headers 還包含了 set-cookie 信息，設(shè)置了 Session ID。

由此我們可以發(fā)現(xiàn)，要實現(xiàn)模擬登錄，我們只需要模擬這個請求就好了。登錄完成后獲取 Response 設(shè)置的 Cookie，將它保存好，后續(xù)發(fā)出請求的時候帶上 Cookies 就可以正常訪問了。

好，那么我們就來用代碼實現(xiàn)一下吧！

在默認(rèn)情況下，每次 requests 請求都是獨立且互不干擾的，比如我們第一次調(diào)用了 post 方法模擬登錄了一下，緊接著再調(diào)用 get 方法請求主頁面。其實這是兩個完全獨立的請求，第一次請求獲取的 Cookie 并不能傳給第二次請求，因此常規(guī)的順序調(diào)用是不能起到模擬登錄效果的。

我們來看一段無效的代碼：

import requests
from urllib.parse import urljoin

BASE_URL = 'https://login2.scrape.center/'
LOGIN_URL = urljoin(BASE_URL, '/login')
INDEX_URL = urljoin(BASE_URL, '/page/1')
USERNAME = 'admin'
PASSWORD = 'admin'

response_login = requests.post(LOGIN_URL, data={
    'username': USERNAME,
    'password': PASSWORD
})

response_index = requests.get(INDEX_URL)
print('Response Status', response_index.status_code)
print('Response URL', response_index.url)

這里我們先定義了幾個基本的 URL 、用戶名和密碼，然后我們分別用 requests 請求了登錄的 URL 進(jìn)行模擬登錄，緊接著請求了首頁來獲取頁面內(nèi)容，能正常獲取數(shù)據(jù)嗎？由于 requests 可以自動處理重定向，我們可以在最后把 Response 的 URL 打印出來，如果它的結(jié)果是 INDEX_URL，那么證明模擬登錄成功并成功爬取到了首頁的內(nèi)容。如果它跳回到了登錄頁面，那就說明模擬登錄失敗。

我們通過結(jié)果來驗證一下，運行結(jié)果如下：

Response Status 200
Response URL https://login2.scrape.center/login?next=/page/1

這里可以看到，其最終的頁面 URL 是登錄頁面的 URL。另外這里也可以通過 Response 的 text 屬性來驗證下頁面源碼，其源碼內(nèi)容就是登錄頁面的源碼內(nèi)容，由于內(nèi)容較多，這里就不再輸出比對了。

總之，這個現(xiàn)象說明我們并沒有成功完成模擬登錄，這是因為 requests 直接調(diào)用 post、get 等方法，每次請求都是一個獨立的請求，都相當(dāng)于是新開了一個瀏覽器打開這些鏈接，所以這兩次請求對應(yīng)的 Session 并不是同一個，這里我們模擬了第一個 Session 登錄，并不能影響第二個 Session 的狀態(tài)，因此模擬登錄也就無效了。

那么怎樣才能實現(xiàn)正確的模擬登錄呢？

我們知道 Cookie 里面是保存了 Session ID 信息的，剛才也觀察到了登錄成功后 Response Headers 里面有 set-cookie 字段，實際上這就是讓瀏覽器生成了 Cookie。因為 Cookies 里面包含了 Session ID 的信息，所以只要后續(xù)的請求帶著這些 Cookie，服務(wù)器便能通過 Cookie 里的 Session ID 信息找到對應(yīng)的 Session 了，因此，服務(wù)端對于這兩次請求就會使用同一個 Session 了。因為第一次我們已經(jīng)成功完成了模擬登錄，所以 Session 里面就記錄了用戶的登錄信息，在第二次訪問的時候，由于是同一個 Session，服務(wù)器就能知道用戶當(dāng)前是登錄狀態(tài)，那就能夠返回正確的結(jié)果而不再是跳轉(zhuǎn)到登錄頁面了。

所以，這里的關(guān)鍵在于兩次請求的 Cookie 的傳遞。這里我們可以把第一次模擬登錄后的 Cookie 保存下來，在第二次請求的時候加上這個 Cookie，代碼可以改寫如下：

import requests
from urllib.parse import urljoin

BASE_URL = 'https://login2.scrape.center/'
LOGIN_URL = urljoin(BASE_URL, '/login')
INDEX_URL = urljoin(BASE_URL, '/page/1')
USERNAME = 'admin'
PASSWORD = 'admin'

response_login = requests.post(LOGIN_URL, data={
    'username': USERNAME,
    'password': PASSWORD
}, allow_redirects=False)

cookies = response_login.cookies
print('Cookies', cookies)

response_index = requests.get(INDEX_URL, cookies=cookies)
print('Response Status', response_index.status_code)
print('Response URL', response_index.url)

由于 requests 可以自動處理重定向，所以我們模擬登錄的過程要加上 allow_redirects 參數(shù)并將其設(shè)置為 False，使其不自動處理重定向。我們將登錄之后返回的 Response 賦值為 response_login，這樣調(diào)用 response_login 的 cookies 就是獲取了網(wǎng)站的 Cookie 信息了。這里 requests 自動幫我們解析了 Response Headers 的 set-cookie 字段并設(shè)置了 Cookie，所以我們不用再去手動解析 Response Headers 的內(nèi)容了，直接使用 response_login 對象的 cookies 方法即可獲取 Cookie。

好，接下來我們再次用 requests 的 get 方法來請求網(wǎng)站的 INDEX_URL。不過這里和之前不同，get 方法增加了一個參數(shù) cookies，這就是第一次模擬登錄完之后獲取的 Cookie，這樣第二次請求就能攜帶第一次模擬登錄獲取的 Cookie 信息了，此時網(wǎng)站會根據(jù) Cookie 里面的 Session ID 信息查找到同一個 Session，校驗其已經(jīng)是登錄狀態(tài)，然后返回正確的結(jié)果。

這里我們還是輸出最終的 URL，如果它是 INDEX_URL，就代表模擬登錄成功并獲取了有效數(shù)據(jù)，否則就代表模擬登錄失敗。

我們看下運行結(jié)果：

Cookies <RequestsCookieJar[<Cookie sessionid=psnu8ij69f0ltecd5wasccyzc6ud41tc for login2.scrape.center/>]>
Response Status 200
Response URL https://login2.scrape.center/page/1

這下沒有問題了，我們發(fā)現(xiàn)其 URL 就是 INDEX_URL，模擬登錄成功了！同時還可以進(jìn)一步輸出 response_index 的 text 屬性看下是否獲取成功。

后續(xù)用同樣的方式爬取即可。但其實我們發(fā)現(xiàn)，這種實現(xiàn)方式比較煩瑣，每次還需要處理 Cookie 并一次傳遞，有沒有更簡便的方法呢？

有的，我們可以直接借助于 requests 內(nèi)置的 Session 對象來幫我們自動處理 Cookie，使用了 Session 對象之后，requests 會自動保存每次請求后需要設(shè)置的 Cookie ，并在下次請求時自動攜帶它，就相當(dāng)于幫我們維持了一個 Session 對象，這樣就更方便了。

所以，剛才的代碼可以簡化如下：

import requests
from urllib.parse import urljoin

BASE_URL = 'https://login2.scrape.center/'
LOGIN_URL = urljoin(BASE_URL, '/login')
INDEX_URL = urljoin(BASE_URL, '/page/1')
USERNAME = 'admin'
PASSWORD = 'admin'

session = requests.Session()

response_login = session.post(LOGIN_URL, data={
    'username': USERNAME,
    'password': PASSWORD
})

cookies = session.cookies
print('Cookies', cookies)

response_index = session.get(INDEX_URL)
print('Response Status', response_index.status_code)
print('Response URL', response_index.url)

可以看到，這里我們無須再關(guān)心 Cookie 的處理和傳遞問題，我們聲明了一個 Session 對象，然后每次調(diào)用請求的時候都直接使用 Session 對象的 post 或 get 方法就好了。

運行效果是完全一樣的，結(jié)果如下：

Cookies <RequestsCookieJar[<Cookie sessionid=ssngkl4i7en9vm73bb36hxif05k10k13 for login2.scrape.center/>]>
Response Status 200
Response URL https://login2.scrape.center/page/1

因此，為了簡化寫法，這里建議直接使用 Session 對象進(jìn)行請求，這樣我們無須關(guān)心 Cookie 的操作了，實現(xiàn)起來會更加方便。

這個案例整體來說比較簡單，但是如果碰上復(fù)雜一點的網(wǎng)站，如帶有驗證碼，帶有加密參數(shù)等，直接用 requests 并不好處理模擬登錄，如果登錄不了，那整個頁面不就都沒法爬取了嗎？有沒有其他的方式來解決這個問題呢？當(dāng)然是有的，比如說我們可以使用 Selenium 來模擬瀏覽器，進(jìn)而實現(xiàn)模擬登錄，然后獲取模擬登錄成功后的 Cookie，再把獲取的 Cookie 交由 requests 等來爬取就好了。

這里我們還是以剛才的頁面為例，把模擬登錄這塊交由 Selenium 來實現(xiàn)，后續(xù)的爬取交由 requests 來實現(xiàn)，相關(guān)的代碼如下：

from urllib.parse import urljoin
from selenium import webdriver
import requests
import time

BASE_URL = 'https://login2.scrape.center/'
LOGIN_URL = urljoin(BASE_URL, '/login')
INDEX_URL = urljoin(BASE_URL, '/page/1')
USERNAME = 'admin'
PASSWORD = 'admin'

browser = webdriver.Chrome()
browser.get(BASE_URL)
browser.find_element_by_css_selector('input[name="username"]').send_keys(USERNAME)
browser.find_element_by_css_selector('input[name="password"]').send_keys(PASSWORD)
browser.find_element_by_css_selector('input[type="submit"]').click()
time.sleep(10)

# get cookies from selenium
cookies = browser.get_cookies()
print('Cookies', cookies)
browser.close()

# set cookies to requests
session = requests.Session()
for cookie in cookies:
    session.cookies.set(cookie['name'], cookie['value'])

response_index = session.get(INDEX_URL)
print('Response Status', response_index.status_code)
print('Response URL', response_index.url)

這里我們使用 Selenium 先打開了 Chrome，然后跳轉(zhuǎn)到了登錄頁面，隨后模擬輸入了用戶名和密碼，接著點擊了登錄按鈕，我們可以發(fā)現(xiàn)瀏覽器提示登錄成功，然后跳轉(zhuǎn)到了主頁面。

這時候，我們通過調(diào)用 get_cookies 方法便能獲取當(dāng)前瀏覽器所有的 Cookie，這就是模擬登錄成功之后的 Cookie，用這些 Cookie 我們就能訪問其他數(shù)據(jù)了。

接下來，我們聲明了 requests 的 Session 對象，然后遍歷了剛才的 Cookie 并將其設(shè)置到 Session 對象的 cookies 屬性上，接著再拿著這個 Session 對象去請求 INDEX_URL，就也能夠獲取對應(yīng)的信息而不會跳轉(zhuǎn)到登錄頁面了。

運行結(jié)果如下：

Cookies [{'domain': 'login2.scrape.center', 'expiry': 1589043753.553155, 'httpOnly': True, 'name': 'sessionid', 'path': '/', 'sameSite': 'Lax', 'secure': False, 'value': 'rdag7ttjqhvazavpxjz31y0tmze81zur'}]
Response Status 200
Response URL https://login2.scrape.center/page/1

可以看到，這里的模擬登錄和后續(xù)的爬取也成功了。所以說，如果碰到難以模擬登錄的過程，我們也可以使用 Selenium 等模擬瀏覽器的操作方式來實現(xiàn)，其目的就是獲取登錄后的 Cookie，有了 Cookie 之后，我們再用這些 Cookie 爬取其他頁面就好了。

所以這里我們也可以發(fā)現(xiàn)，對于基于 Session + Cookie 驗證的網(wǎng)站，模擬登錄的核心要點就是獲取 Cookie。這個 Cookie 可以被保存下來或傳遞給其他的程序繼續(xù)使用，甚至可以將 Cookie 持久化存儲或傳輸給其他終端來使用。

另外，為了提高 Cookie 利用率或降低封號概率，可以搭建一個賬號池實現(xiàn) Cookie 的隨機取用。

4. 總結(jié)

以上我們通過一個示例來演示了模擬登錄爬取的過程，以后遇到這種情形的時候就可以用類似的思路解決了。

本節(jié)代碼：https://github.com/Python3WebSpider/ScrapeLogin2。