def soc_loop(leaguedf,TEAM,):
 leaguedf['Draws']=99999
 for row in range(0, len(leaguedf)):
 if ((leaguedf['HomeTeam'].iloc[row]==TEAM) & (leaguedf['FTR'].iloc[row]=='D')) | \
 ((leaguedf['AwayTeam'].iloc[row]==TEAM) & (leaguedf['FTR'].iloc[row]=='D')):
 leaguedf['Draws'].iloc[row]='Draw'
 elif ((leaguedf['HomeTeam'].iloc[row]==TEAM) & (leaguedf['FTR'].iloc[row] !='D')) | \
 ((leaguedf['AwayTeam'].iloc[row]==TEAM) & (leaguedf['FTR'].iloc[row] !='D')):
 leaguedf['Draws'].iloc[row]='No_Draw'
 else:
 leaguedf['Draws'].iloc[row]='No_Game'

def soc_iter(TEAM,home,away,ftr):
 #team, row['HomeTeam'], row['AwayTeam'], row['FTR']
 if [((home==TEAM) & (ftr=='D')) | ((away==TEAM) & (ftr=='D'))]:
 result='Draw'
 elif [((home==TEAM) & (ftr !='D')) | ((away==TEAM) & (ftr !='D'))]:
 result='No_Draw'
 else:
 result='No_Game'
 return result

def soc_iter(TEAM,home,away,ftr):
 df['Draws']='No_Game'
 df.loc[((home==TEAM) & (ftr=='D')) | ((away==TEAM) & (ftr=='D')), 'Draws']='Draw'
 df.loc[((home==TEAM) & (ftr !='D')) | ((away==TEAM) & (ftr !='D')), 'Draws']='No_Draw'

讀：Pandas是一個基于Numpy庫開發(fā)的更高級的結構化數(shù)據(jù)分析工具，提供了Series、DataFrame、Panel等數(shù)據(jù)結構，可以很方便地對序列、截面數(shù)據(jù)（二維表）、面板數(shù)據(jù)進行處理。

作者：張秋劍 張浩 周大川 常國珍

來源：華章科技

• DataFrame是我們常見的二維數(shù)據(jù)表，包含多個變量（列）和樣本（行），通常被稱為數(shù)據(jù)框。
• Series是一個一維結構的序列，包含指定的索引信息，可以被視作DataFrame中的一列或一行。其操作方法與DataFrame十分相似。
• Panel是包含序列及截面信息的三維結構，通常被稱為面板數(shù)據(jù)。

我們可通過限定時間ID和樣本ID獲得對應的Series和DataFrame。

由于這些對象的常用操作方法十分相似，因此本文主要使用DataFrame進行演示。

01 讀取文件

Pandas庫提供了便捷讀取本地結構化數(shù)據(jù)的方法。這里主要以csv數(shù)據(jù)為例，read_csv函數(shù)可以讀取csv數(shù)據(jù)，代碼如下：

import pandas as pd
csv=pd.read_csv('data/sample.csv')
csv

id name scores
0 1 小明 78.0
1 2 小紅 87.0
2 3 小白 99.0
3 4 小青 99999.0
4 5 小蘭 NaN

按照慣例，Pandas會以pd為別名，以read_csv函數(shù)讀取指定路徑下的文件，然后返回一個DataFrame對象。如果在命令行中打印DataFrame對象，可讀性可能會略差一些；如果在Jupyter Notebook中打印的話，可讀性會大幅提升。

打印出來的DataFrame包含索引（第一列），列名（第一行）及數(shù)據(jù)內(nèi)容（除第一行和第一列之外的部分）。

此外，read_csv函數(shù)有很多參數(shù)可以設置，如下所示。

• filepath_or_buffer csv文件的路徑
• sep=',' 分隔符，默認為逗號
• header=0 int類型，0代表第一行為列名，若設定為None將使用數(shù)值列名
• names=[] list，重新定義列名，默認為None
• usecols=[] list，定義讀取的列，設定后將縮短讀取數(shù)據(jù)的時間，并減小內(nèi)存消耗，適合讀取大量數(shù)據(jù)，默認為None
• dtype={} dict，定義讀取列的數(shù)據(jù)類型，默認為None
• nrows=None int類型，指定讀取數(shù)據(jù)的前n行，默認為None
• na_values=... str類型，list或dict，指定缺失值的填充值
• na_filter=True bool類型，自動發(fā)現(xiàn)數(shù)據(jù)中的缺失值，默認值為True，若確定數(shù)據(jù)無缺失，可以設定值為False，以提高數(shù)據(jù)載入的速度
• chunksize=1000 int類型，分塊讀取，當數(shù)據(jù)量較大時，可以設定分塊讀取的行數(shù)，默認為None
• encoding='utf-8' str類型，數(shù)據(jù)的編碼，Python3默認編碼為UTF-8，Python2默認編碼為ASCII

Pandas除了可以直接讀取csv、excel、json、html等文件生成的DataFrame，也可以在列表、元組、字典等數(shù)據(jù)結構中創(chuàng)建DataFrame。

02 讀取指定行和指定列

使用參數(shù)usecol和nrows讀取指定的列和前n行，這樣可以加快數(shù)據(jù)讀取速度。讀取原數(shù)據(jù)的兩列、兩行示例如下。

csv=pd.read_csv('data/sample.csv',\
usecols=['id','name'],\
nrows=2) #讀取'id'和'name'兩列，僅讀取前兩行
csv

id name
0 1 小明
1 2 小紅

03 分塊讀取

參數(shù)chunksize可以指定分塊讀取的行數(shù)，并返回一個可迭代對象。這里，big.csv是一個4500行、4列的csv數(shù)據(jù)，設定chunksize=900，分5塊讀取數(shù)據(jù)，每塊900行，4個變量，如下所示：

csvs=pd.read_csv('data/big.csv',chunksize=900)
for i in csvs:
print (i.shape)

(900, 4)
(900, 4)
(900, 4)
(900, 4)
(900, 4)

可以使用pd.concat函數(shù)讀取全部數(shù)據(jù)：

csvs=pd.read_csv('data/big.csv',chunksize=900)
dat=pd.concat(csvs,ignore_index=True)
dat.shape

(4500, 4)

04 將不合理數(shù)據(jù)讀取為缺失值

在數(shù)據(jù)sample.csv中，“小青”的分數(shù)中有的取值為99999，這里令其讀取為缺失值，操作如下：

csv=pd.read_csv('data/sample.csv',
na_values='99999')
csv

id name scores
0 1 小明 78.0
1 2 小紅 87.0
2 3 小白 99.0
3 4 小青 NaN
4 5 小蘭 NaN

05 以指定編碼方式讀取

讀取數(shù)據(jù)時，亂碼情況經(jīng)常出現(xiàn)。這里需要先弄清楚原始數(shù)據(jù)的編碼形式，再以指定的編碼形式讀取，例如sample.csv編碼為UTF-8，這里以指定編碼（參數(shù)encoding）方式讀取。

csv=pd.read_csv('data/sample.csv',
encoding='utf-8')
csv

id name scores
0 1 小明 78.0
1 2 小紅 87.0
2 3 小白 99.0
3 4 小青 99999.0
4 5 小蘭 NaN

關于作者：張秋劍，就職于騰訊云金融拓展中心，從事微信財富營銷管理、數(shù)據(jù)中臺、AI應用等解決方案拓展工作，研究方向包括數(shù)字化轉型、創(chuàng)新實踐等。

張浩，曾任騰訊云金融首席架構師和星環(huán)科技金融行業(yè)技術總監(jiān)，主要從事大數(shù)據(jù)、人工智能、云計算、區(qū)塊鏈、聯(lián)邦學習等相關技術研發(fā)與產(chǎn)品設計，具有豐富的企業(yè)架構設計、企業(yè)數(shù)字化戰(zhàn)略轉型運營與業(yè)務咨詢經(jīng)驗。

周大川，就職于某中央金融企業(yè)金融科技研發(fā)中心，主要從事企業(yè)級數(shù)據(jù)平臺開發(fā)、核心業(yè)務平臺建設、AI賦能金融科技創(chuàng)新等工作，具有豐富的新一代金融業(yè)務系統(tǒng)建設經(jīng)驗。

常國珍，曾任畢馬威咨詢大數(shù)據(jù)總監(jiān)，具有近20年數(shù)據(jù)挖掘、精益數(shù)據(jù)治理、數(shù)字化運營咨詢經(jīng)驗，是金融信用風險、反欺詐和反洗錢算法領域的專家。

本文摘編自《金融商業(yè)數(shù)據(jù)分析：基于Python和SAS》，經(jīng)出版方授權發(fā)布。（ISBN：9787111695837）

推薦語：騰訊云等資深數(shù)據(jù)架構師、商業(yè)分析師20年經(jīng)驗，全流程講解金融數(shù)據(jù)分析思路、方法、技巧，快速入門到精通。

來看一個實例問題。

?如下銷售數(shù)據(jù)中展現(xiàn)了三筆訂單，每筆訂單買了多種商品，求每種商品銷售額占該筆訂單總金額的比例。例如第一條數(shù)據(jù)的最終結果為：235.83 / (235.83+232.32+107.97)=40.93%。

后臺回復“transform”獲取本文全部代碼和pdf版本。

思路一：

常規(guī)的解法是，先用對訂單id分組，求出每筆訂單的總金額，再將源數(shù)據(jù)和得到的總金額進行“關聯(lián)”。最后把相應的兩列相除即可。相應的代碼如下：

1.對訂單id分組，求每筆訂單總額。由于有三個order，因此最終會產(chǎn)生三條記錄表示三個總金額。

2.數(shù)據(jù)關聯(lián)合并

為了使每行都出現(xiàn)相應order的總金額，需要使用“左關聯(lián)”。我們使用源數(shù)據(jù)在左，聚合后的總金額數(shù)據(jù)在右(反過來也可)。不指定連接key，則會自動查找相應的關聯(lián)字段。由于是多行對一行的關聯(lián)，關聯(lián)上的就會將總金額重復顯示多次，剛好符合我們后面計算的需要。結果如上圖所示。

3.計算占比

有了前面的基礎，就可以進行最終計算了：直接用商品金額ext_price除以訂單總額sum_price。并賦值給新的列pct即可。

4.格式調(diào)整

為了美觀，可以將小數(shù)形式轉換為百分比形式，自定義函數(shù)即可實現(xiàn)。

思路二：

對于上面的過程，pandas中的transform函數(shù)提供了更簡潔的實現(xiàn)方式，如下所示：

可以看到，這種方法把前面的第一步和第二步合成了一步，直接得到了sum_price列。這就是transform的核心：作用于groupby之后的每個組的所有數(shù)據(jù)。可以參考下面的示意圖幫助理解：

后面的步驟和前面一致。

這種方法在需要對多列分組的時候同樣適用。

多列分組使用transform

為演示效果，我們虛構了如下數(shù)據(jù)，id，name，cls為維度列。

我們想求：以(id,name,cls)為分組，每組stu的數(shù)量占各組總stu的比例。使用transform處理如下：

同樣再次計算占比和格式化，得到最終結果：

總結transform的用法

transform函數(shù)的官方文檔簽名為：DataFrame.transform(func,axis=0,*args,**kwargs)，表示調(diào)用func函數(shù)進行轉換，返回轉換后的值，且返回值與原來的數(shù)據(jù)在相同的軸上具有相同的長度。func可以是函數(shù)，字符串，列表或字典。具體可以參考官方文檔：

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.transform.html#pandas.DataFrame.transform。

transform既可以和groupby一起使用，也可以單獨使用。

1.單獨使用

此時，在某些情況下可以實現(xiàn)和apply函數(shù)類似的結果。

2.與groupby一起使用

此時，transform函數(shù)返回與原數(shù)據(jù)一樣數(shù)量的行，并將函數(shù)的結果分配回原始的dataframe。也就是說返回的shape是（len(df)，1）。本文開頭的例子就是這樣。而apply函數(shù)返回聚合后的行數(shù)。例如：

transform和apply的另一個區(qū)別是，apply函數(shù)可以同時作用于多列，而transform不可以。下面用例子說明：

上圖中的例子，定義了處理兩列差的函數(shù)，在groupby之后分別調(diào)用apply和transform，transform并不能執(zhí)行。如果不采用groupby，直接調(diào)用，也會有問題，參見下面的第二種調(diào)用方式。

第三種調(diào)用調(diào)用方式修改了函數(shù)，transform依然不能執(zhí)行。以上三種調(diào)用apply的方式處理兩列的差，換成transform都會報錯。

利用transform填充缺失值

transform另一個比較突出的作用是用于填充缺失值。舉例如下：

在上面的示例數(shù)據(jù)中，按照name可以分為三組，每組都有缺失值。用平均值填充是一種處理缺失值常見的方式。此處我們可以使用transform對每一組按照組內(nèi)的平均值填充缺失值。

小結：

transform函數(shù)經(jīng)常與groupby一起使用，并將返回的數(shù)據(jù)重新分配到每個組去。利用這一點可以方便求占比和填充缺失值。但需要注意，相比于apply，它的局限在于只能處理單列的數(shù)據(jù)。

后臺回復“transform”獲取本文全部代碼和pdf版本。

Reference:

https://www.codenong.com/19966018/

https://www.cnblogs.com/junge-mike/p/12761227.html

https://blog.csdn.net/qq_40587575/article/details/81204514

https://pbpython.com/pandas_transform.html