Python中的pandas库简介及其使用教程
搞点學術的研究生 人气:0pandas模块
pandas是一个强大的分析结构化数据的工具集;它的使用基础是Numpy(提供高性能的矩阵运算);用于数据挖掘和数据分析,同时也提供数据清洗功能。
- 便捷的数据处理能力
- 独特的数据结构
- 读取文件方便
- 封装了matplotlib的画图和numpy的计算
Pandas中常见的数据结构有两种:
Series | DateFrame |
---|---|
类似一维数组的对象, | 类似多维数组/表格数组;每列数据可以是不同的类型;索引包括列索引和行索引。 |
Series
- 构建Series:
ser_obj = pd.Series(range(10))
- 由索引和数据组成(索引在左<自动创建的>,数据在右)。
- 获取数据和索引:
ser_obj.index; ser_obj.values
- 预览数据:
ser_obj.head(n);ser_obj.tail(n)
DateFrame
- 获取列数据:
df_obj[col_idx]或df_obj.col_idx
- 增加列数据:
df_obj[new_col_idx] = data
- 删除列:
del df_obj[col_idx]
- 按值排序:
sort_values(by = “label_name”)
常用方法
Count | 非NA值得数量 |
---|---|
describe | 针对Series或各DataFrame列计算汇总统计 |
min\max | 计算最小值和最大值 |
argmin\argmax | 计算能够获取到最大值或最小值的索引位置 |
idxmin\idxmax | 计算能够获取到最小值和最大值的索引值 |
quantile | 计算样本的分位数(0-1) |
sum | 值得总和 |
mean | 值得平均值 |
median | 值的算术中位数(50%分位数) |
mad | 根据平均值计算平均绝对离差 |
var | 样本值得方差 |
std | 样本值得标准差 |
skew | 样本值的偏度(三阶距) |
kurt | 样本值的峰度(四阶距) |
cumsum | 样本值的累计和 |
cummin\cummax | 样本值的累计最大值和累计最小值 |
cumprod | 样本值的累计积 |
diff | 计算一阶差分(对时间序列很有用) |
pct_change | 计算百分数变化 |
处理缺失数据
- Dropna()丢弃缺失数据
- Fillna()填充缺失数据
数据过滤
Df[filter_condition]依据filter_condition(条件)对Df(数据)进行过滤。
绘图功能
Plot(kind,x,y,title,figsize) Kind(绘制什么形式的图),x(x轴内容),y(y轴内容),title(图标题),figsize(图大小)
保存图片:plt.savefig()
("The fool doth think he is wise, but the wise man knows himself to be a fool." --威廉·莎士比亚
)
加载全部内容