pandas数据运算与数据统计¶

pip install pandas

import pandas as pd
import numpy as np

df1 = pd.DataFrame(np.arange(16).reshape((4,4)), index=['i1', 'i2', 'i3', 'i4'], columns=['c1', 'c2', 'c3', 'c4'])
df2 = pd.DataFrame(np.eye(4), index=['i1', 'i2', 'i3', 'i4'], columns=['c1', 'c2', 'c3', 'c4'])
df3 = pd.DataFrame(np.arange(9).reshape((3,3)), index=['i1', 'i3', 'i5'], columns=['c2', 'c4', 'c6'])
s1 = pd.Series(np.logspace(1,4,4), index=['i1', 'i2', 'i3', 'i4'])
s2 = pd.Series(np.logspace(1,4,4), index=['c1', 'c2', 'c3', 'c4'])
s3 = pd.Series(np.logspace(1,2,2), index=['i1', 'c4'])
print('-'*10+'df1'+'-'*10)
print(df1)
print('-'*10+'df2'+'-'*10)
print(df2)
print('-'*10+'df3'+'-'*10)
print(df3)
print('-'*10+'df1+10'+'-'*10)
print(df1+10)    # DataFrame与标量运算，每个元素与标量做相同运算，得到一个新的DataFrame
print('-'*10+'df1+df2'+'-'*10)
print(df1+df2)   # 两个形状和对应的索引都一样的DataFrame相加，直接将对应位置的数据相加，得到一个新的DataFrame
print('-'*10+'df1.add(df3)'+'-'*10)
# 两个的形状或索引不完全一样DataFrame相加，只会将两个DataFrame中行索引和列索引对应的数据相加，
#生成一个形状能兼容两个DataFrame的新DataFrame，其他没有运算结果的位置填充空值(NaN)。
print(df1.add(df3)) 
print('-'*10+'df1.add(s1, axis=0)'+'-'*10)
# Series的索引与DataFrame的行索引对应，可以将axis参数设置成0或'index'，
# Series依次与DataFrame中的每一列数据进行运算，得到一个新的DataFrame。
print(df1.add(s1, axis=0))  
print('-'*10+'df1.add(s2)'+'-'*10)
# Series的索引与DataFrame的列索引对应，此时axis参数设置成0（默认值）或'columns'，
# Series依次与DataFrame中的每一行数据进行运算，得到一个新的DataFrame。
print(df1.add(s2))
print('-'*10+'df1.add(s3)'+'-'*10)
# Series的行索引与DataFrame的行索引或列索引不完全相同，根据axis取值，
# 会得到一个形状能兼容DataFrame和Series的新DataFrame。
print(df1.add(s3, axis='index'))
print(df1.add(s3, axis='columns'))

pip install pandas

import pandas as pd

score_df = pd.read_csv('images/ch8/score_3.csv')
score_df

score_df.describe() # 默认只输出数值型数据的统计信息

score_df.describe(exclude=['学号']) # 输出所有列的统计信息

score_df[['Python', 'Java', 'C语言']].describe(percentiles=[0.3, 0.7, 0.9]) # 输出指定列的统计信息，并设置percenttiles

print('Python总分：', score_df['Python'].sum(), 'Python平均分：', score_df['Python'].mean()) # 求Python课程的总分和平均分
print('Python最高分：', score_df['姓名'][score_df['Python'].idxmax()], score_df['Python'].max()) # 求Python课程的总分和平均分
print('Python成绩标准差：', score_df['Python'].std())  # 默认ddof=1，无偏方差，与Numpy不同。

score_df.sort_index(axis=1)

score_df.sort_values(by=['C语言','Python'], ascending=False)

score_df.rank()

python_score_df = score_df[['姓名', '学号', 'Python']].copy()  # 提取所有学生Python成绩的副本
python_score_df['排名'] = score_df['Python'].rank(method='min', ascending=False) # 增加一列python成绩排名
python_score_df

pd.set_option('display.unicode.east_asian_width', True)  # 设置输出列对齐
score_df['学号'] = score_df['学号'].astype(str)
print(score_df)
score_df.corr()

import pandas as pd

score_df = pd.read_csv('images/ch8/scoregroup.csv',dtype={'学号':str}, encoding='utf-8')
score_groups = score_df.groupby('学号')  # 按学号分组
score_groups

score_groups.groups

score_groups.get_group('0121701100521')

score_groups_by2 = score_df.groupby(['学号', '姓名'])  # 按学号和姓名两列分组
score_groups_by2.groups

score_groups_by2.get_group(('0121701100623', '孙伟'))

# 按函数返回值分组，设置学号位行索引，按学号倒数3、4位班级号分组
score_groups_by_func = score_df.set_index('学号').groupby(lambda x:x[-4:-2])  
score_groups_by_func.groups

score_groups_by2 = score_df.groupby(['学号', '姓名'])  # 按学号和姓名两列分组
score_groups_by2.sum()    #  统计每个学生的总分

score_groups_by_course = score_df.groupby('课程名')  # 按课程分组
score_groups_by_course.mean()    #  统计每门课的平均分

score_groups_by_course = score_df.drop(['学号', '姓名'], axis=1).groupby('课程名')  # 按课程分组
score_groups_by_course.agg(['mean', 'median', 'max', 'min'])  #  统计每门课的平均分、中位数、最高分和最低分

score_groups_by_course = score_df.groupby('课程名')  # 按课程分组
 #  传字典，每列统计不同数据
score_groups_by_course.agg({'分数':['mean', 'sum'], '学号':['count']}) 

# 统计指定分值区间内的人数
def count_by_interval(df, start=0, end=101):
    return ((df['分数'] >= start) & (df['分数'] < end)).sum()

score_groups_by_course = score_df.groupby('课程名')  # 按课程分组
 #  传字典，每列统计不同数据
score_groups_by_course.apply(count_by_interval, end=60)  # 统计每门课的不及格人数

score_groups_by2 = score_df.groupby(['学号', '姓名'])  # 按学号和姓名两列分组
score_groups_by2.filter(lambda df:df['分数'].mean()>=85 ) # 返回平均分在85分以上的学生构成的新数据集