In [1]: import pandas as pd
- Titanic 数据集
本教程使用存储为 CSV 格式的 Titanic 数据集。数据包含以下列：
PassengerId: 每位乘客的 Id。
Survived: 表明乘客是否幸存。
0表示是，1表示否。Pclass: 三种票务等级之一：等级
1、等级2和等级3。Name: 乘客姓名。
Sex: 乘客性别。
Age: 乘客年龄（岁）。
SibSp: 同行兄弟姐妹或配偶人数。
Parch: 同行父母或子女人数。
Ticket: 乘客票号。
Fare: 票价。
Cabin: 乘客船舱号。
Embarked: 登船港口。
In [2]: titanic = pd.read_csv("data/titanic.csv") In [3]: titanic.head() Out[3]: PassengerId Survived Pclass ... Fare Cabin Embarked 0 1 0 3 ... 7.2500 NaN S 1 2 1 1 ... 71.2833 C85 C 2 3 1 3 ... 7.9250 NaN S 3 4 1 1 ... 53.1000 C123 S 4 5 0 3 ... 8.0500 NaN S [5 rows x 12 columns]
如何选择 DataFrame 的子集？#
如何从 DataFrame 中选择特定列？#
我对 Titanic 乘客的年龄感兴趣。
In [4]: ages = titanic["Age"] In [5]: ages.head() Out[5]: 0 22.0 1 38.0 2 26.0 3 35.0 4 35.0 Name: Age, dtype: float64
要选择单个列，使用方括号
[]并指定目标列的名称。
DataFrame 中的每一列都是一个 Series。由于选择了单个列，返回的对象是一个 pandas Series。我们可以通过检查输出的类型来验证这一点。
In [6]: type(titanic["Age"])
Out[6]: pandas.core.series.Series
并查看输出的 shape。
In [7]: titanic["Age"].shape
Out[7]: (891,)
DataFrame.shape 是 pandas Series 和 DataFrame 的一个属性（记住关于读取和写入的教程，属性不使用括号），它包含行数和列数：(nrows, ncolumns)。pandas Series 是一维的，因此只返回行数。
我对 Titanic 乘客的年龄和性别感兴趣。
In [8]: age_sex = titanic[["Age", "Sex"]] In [9]: age_sex.head() Out[9]: Age Sex 0 22.0 male 1 38.0 female 2 26.0 female 3 35.0 female 4 35.0 male
要选择多个列，在选择方括号
[]内使用列名列表。
注意
内层方括号定义了一个包含列名的 Python 列表，而外层方括号用于从 pandas DataFrame 中选择数据，如前一个示例所示。
返回的数据类型是 pandas DataFrame
In [10]: type(titanic[["Age", "Sex"]])
Out[10]: pandas.core.frame.DataFrame
In [11]: titanic[["Age", "Sex"]].shape
Out[11]: (891, 2)
选择返回了一个包含 891 行和 2 列的 DataFrame。记住，DataFrame 是二维的，既有行维度也有列维度。
有关索引的基础知识，请参阅用户指南中关于索引和选择数据的部分。
如何从 DataFrame 中过滤特定行？#
我对年龄大于 35 岁的乘客感兴趣。
In [12]: above_35 = titanic[titanic["Age"] > 35] In [13]: above_35.head() Out[13]: PassengerId Survived Pclass ... Fare Cabin Embarked 1 2 1 1 ... 71.2833 C85 C 6 7 0 1 ... 51.8625 E46 S 11 12 1 1 ... 26.5500 C103 S 13 14 0 3 ... 31.2750 NaN S 15 16 1 2 ... 16.0000 NaN S [5 rows x 12 columns]
要基于条件表达式选择行，在选择方括号
[]内使用一个条件。
选择方括号 [] 内的条件 titanic["Age"] > 35 检查 Age 列的值大于 35 的行是哪些。
In [14]: titanic["Age"] > 35
Out[14]:
0 False
1 True
2 False
3 False
4 False
...
886 False
887 False
888 False
889 False
890 False
Name: Age, Length: 891, dtype: bool
条件表达式（>，==、!=、<、<= 等也适用）的输出实际上是一个布尔值（True 或 False）的 pandas Series，其行数与原始 DataFrame 相同。这样的布尔值 Series 可以通过将其放在选择方括号 [] 中来过滤 DataFrame。只会选择值为 True 的行。
我们之前知道原始 Titanic DataFrame 包含 891 行。让我们通过检查结果 DataFrame above_35 的 shape 属性来看看满足条件的行数。
In [15]: above_35.shape
Out[15]: (217, 12)
我对来自船舱等级 2 和 3 的 Titanic 乘客感兴趣。
In [16]: class_23 = titanic[titanic["Pclass"].isin([2, 3])] In [17]: class_23.head() Out[17]: PassengerId Survived Pclass ... Fare Cabin Embarked 0 1 0 3 ... 7.2500 NaN S 2 3 1 3 ... 7.9250 NaN S 4 5 0 3 ... 8.0500 NaN S 5 6 0 3 ... 8.4583 NaN Q 7 8 0 3 ... 21.0750 NaN S [5 rows x 12 columns]
类似于条件表达式，
isin()条件函数对于值在提供的列表中的每一行返回True。要基于此类函数过滤行，请在选择方括号[]内使用条件函数。在这种情况下，选择方括号内的条件titanic["Pclass"].isin([2, 3])检查哪些行的Pclass列的值是 2 或 3。
上述方法等价于过滤出等级是 2 或 3 的行，并将两个语句用 | (或) 运算符组合起来。
In [18]: class_23 = titanic[(titanic["Pclass"] == 2) | (titanic["Pclass"] == 3)]
In [19]: class_23.head()
Out[19]:
PassengerId Survived Pclass ... Fare Cabin Embarked
0 1 0 3 ... 7.2500 NaN S
2 3 1 3 ... 7.9250 NaN S
4 5 0 3 ... 8.0500 NaN S
5 6 0 3 ... 8.4583 NaN Q
7 8 0 3 ... 21.0750 NaN S
[5 rows x 12 columns]
注意
组合多个条件语句时，每个条件必须用括号 () 括起来。此外，不能使用 or/and，而需要使用 or 运算符 | 和 and 运算符 &。
我想处理年龄已知乘客的数据。
In [20]: age_no_na = titanic[titanic["Age"].notna()] In [21]: age_no_na.head() Out[21]: PassengerId Survived Pclass ... Fare Cabin Embarked 0 1 0 3 ... 7.2500 NaN S 1 2 1 1 ... 71.2833 C85 C 2 3 1 3 ... 7.9250 NaN S 3 4 1 1 ... 53.1000 C123 S 4 5 0 3 ... 8.0500 NaN S [5 rows x 12 columns]
notna()条件函数对于值不是Null的每一行返回True。因此，可以将其与选择方括号[]结合使用来过滤数据表。
您可能想知道实际发生了什么变化，因为前 5 行的值仍然相同。一种验证方法是检查 shape 是否已更改。
In [22]: age_no_na.shape
Out[22]: (714, 12)
有关处理缺失值的更多专用函数，请参阅用户指南中关于处理缺失数据的部分。
如何从 DataFrame 中选择特定行和列？#
我对年龄大于 35 岁的乘客的姓名感兴趣。
In [23]: adult_names = titanic.loc[titanic["Age"] > 35, "Name"] In [24]: adult_names.head() Out[24]: 1 Cumings, Mrs. John Bradley (Florence Briggs Th... 6 McCarthy, Mr. Timothy J 11 Bonnell, Miss. Elizabeth 13 Andersson, Mr. Anders Johan 15 Hewlett, Mrs. (Mary D Kingcome) Name: Name, dtype: object
在这种情况下，需要一次性选择行和列的子集，仅仅使用选择方括号
[]已不足够。需要在选择方括号[]前面使用loc/iloc运算符。使用loc/iloc时，逗号前面的部分是要选择的行，逗号后面的部分是要选择的列。
使用列名、行标签或条件表达式时，在选择方括号 [] 前面使用 loc 运算符。对于逗号前后两部分，都可以使用单个标签、标签列表、标签切片、条件表达式或冒号。使用冒号表示选择所有行或列。
我对第 10 到 25 行以及第 3 到 5 列感兴趣。
In [25]: titanic.iloc[9:25, 2:5] Out[25]: Pclass Name Sex 9 2 Nasser, Mrs. Nicholas (Adele Achem) female 10 3 Sandstrom, Miss. Marguerite Rut female 11 1 Bonnell, Miss. Elizabeth female 12 3 Saundercock, Mr. William Henry male 13 3 Andersson, Mr. Anders Johan male .. ... ... ... 20 2 Fynney, Mr. Joseph J male 21 2 Beesley, Mr. Lawrence male 22 3 McGowan, Miss. Anna "Annie" female 23 1 Sloper, Mr. William Thompson male 24 3 Palsson, Miss. Torborg Danira female [16 rows x 3 columns]
同样，需要一次性选择行和列的子集，仅仅使用选择方括号
[]已不足够。当特别关注基于其在表中位置的特定行和/或列时，在选择方括号[]前面使用iloc运算符。
使用 loc 或 iloc 选择特定行和/或列时，可以将新值分配给选定的数据。例如，将名称 anonymous 分配给第四列的前 3 个元素。
In [26]: titanic.iloc[0:3, 3] = "anonymous"
In [27]: titanic.head()
Out[27]:
PassengerId Survived Pclass ... Fare Cabin Embarked
0 1 0 3 ... 7.2500 NaN S
1 2 1 1 ... 71.2833 C85 C
2 3 1 3 ... 7.9250 NaN S
3 4 1 1 ... 53.1000 C123 S
4 5 0 3 ... 8.0500 NaN S
[5 rows x 12 columns]
请参阅用户指南中关于不同的索引选择的部分，以深入了解 loc 和 iloc 的用法。
记住
选择数据子集时，使用方括号
[]。在这些方括号内，可以使用单个列/行标签、列/行标签列表、标签切片、条件表达式或冒号。
使用行名和列名时，使用
loc选择特定行和/或列。使用表中的位置时，使用
iloc选择特定行和/或列。您可以根据
loc/iloc的选择来分配新值。
用户指南中关于索引和选择数据的页面提供了完整的索引概述。