In [1]: import pandas as pd
- 泰坦尼克号数据
本教程使用泰坦尼克号数据集,存储为 CSV。数据包含以下数据列
PassengerId:每个乘客的 ID。
Survived: 表示乘客是否幸存。
0
表示幸存,1
表示未幸存。Pclass: 三种票价等级之一:等级
1
,等级2
和等级3
。Name: 乘客姓名。
Sex: 乘客性别。
Age: 乘客年龄(以年为单位)。
SibSp: 同行兄弟姐妹或配偶数量。
Parch: 同行父母或子女数量。
Ticket: 乘客票号。
Fare: 表示票价。
Cabin: 乘客舱位号。
Embarked: 登船港口。
In [2]: titanic = pd.read_csv("data/titanic.csv") In [3]: titanic.head() Out[3]: PassengerId Survived Pclass ... Fare Cabin Embarked 0 1 0 3 ... 7.2500 NaN S 1 2 1 1 ... 71.2833 C85 C 2 3 1 3 ... 7.9250 NaN S 3 4 1 1 ... 53.1000 C123 S 4 5 0 3 ... 8.0500 NaN S [5 rows x 12 columns]
如何操作文本数据#
将所有姓名字符转换为小写。
In [4]: titanic["Name"].str.lower() Out[4]: 0 braund, mr. owen harris 1 cumings, mrs. john bradley (florence briggs th... 2 heikkinen, miss. laina 3 futrelle, mrs. jacques heath (lily may peel) 4 allen, mr. william henry ... 886 montvila, rev. juozas 887 graham, miss. margaret edith 888 johnston, miss. catherine helen "carrie" 889 behr, mr. karl howell 890 dooley, mr. patrick Name: Name, Length: 891, dtype: object
要将
Name
列中的每个字符串转换为小写,请选择Name
列(参见 数据选择教程),添加str
访问器并应用lower
方法。这样,每个字符串都会逐元素转换。
类似于 时间序列教程 中的日期时间对象具有 dt
访问器,使用 str
访问器时可以使用许多专门的字符串方法。这些方法通常与单个元素的等效内置字符串方法具有相同的名称,但会逐元素应用(请记住 逐元素计算?)到列的每个值上。
创建一个新的列
Surname
,其中包含乘客的姓氏,方法是提取逗号之前的部分。In [5]: titanic["Name"].str.split(",") Out[5]: 0 [Braund, Mr. Owen Harris] 1 [Cumings, Mrs. John Bradley (Florence Briggs ... 2 [Heikkinen, Miss. Laina] 3 [Futrelle, Mrs. Jacques Heath (Lily May Peel)] 4 [Allen, Mr. William Henry] ... 886 [Montvila, Rev. Juozas] 887 [Graham, Miss. Margaret Edith] 888 [Johnston, Miss. Catherine Helen "Carrie"] 889 [Behr, Mr. Karl Howell] 890 [Dooley, Mr. Patrick] Name: Name, Length: 891, dtype: object
使用
Series.str.split()
方法,每个值都将返回一个包含 2 个元素的列表。第一个元素是逗号之前的部分,第二个元素是逗号之后的部分。In [6]: titanic["Surname"] = titanic["Name"].str.split(",").str.get(0) In [7]: titanic["Surname"] Out[7]: 0 Braund 1 Cumings 2 Heikkinen 3 Futrelle 4 Allen ... 886 Montvila 887 Graham 888 Johnston 889 Behr 890 Dooley Name: Surname, Length: 891, dtype: object
由于我们只对代表姓氏的第一部分(元素 0)感兴趣,我们可以再次使用
str
访问器并应用Series.str.get()
来提取相关部分。事实上,这些字符串函数可以连接起来,一次组合多个函数!
有关提取字符串部分的更多信息,请参阅用户指南中关于 分割和替换字符串 的部分。
提取关于泰坦尼克号上女伯爵的乘客数据。
In [8]: titanic["Name"].str.contains("Countess") Out[8]: 0 False 1 False 2 False 3 False 4 False ... 886 False 887 False 888 False 889 False 890 False Name: Name, Length: 891, dtype: bool
In [9]: titanic[titanic["Name"].str.contains("Countess")] Out[9]: PassengerId Survived Pclass ... Cabin Embarked Surname 759 760 1 1 ... B77 S Rothes [1 rows x 13 columns]
(对她的故事感兴趣吗?请查看 维基百科!)
字符串方法
Series.str.contains()
检查Name
列中的每个值是否包含单词Countess
,并为每个值返回True
(Countess
是名字的一部分)或False
(Countess
不是名字的一部分)。此输出可用于使用在 数据子集教程 中介绍的条件(布尔)索引来选择数据。由于泰坦尼克号上只有一位女伯爵,因此我们得到一行结果。
注意
支持更强大的字符串提取,因为 Series.str.contains()
和 Series.str.extract()
方法接受 正则表达式,但这超出了本教程的范围。
有关提取字符串部分的更多信息,请参阅用户指南中关于字符串匹配和提取的部分。
泰坦尼克号上哪个乘客的名字最长?
In [10]: titanic["Name"].str.len() Out[10]: 0 23 1 51 2 22 3 44 4 24 .. 886 21 887 28 888 40 889 21 890 19 Name: Name, Length: 891, dtype: int64
为了获得最长的名字,我们首先需要获取
Name
列中每个名字的长度。通过使用 pandas 字符串方法,Series.str.len()
函数被应用到每个名字上(逐元素)。In [11]: titanic["Name"].str.len().idxmax() Out[11]: 307
接下来,我们需要获取对应的位置,最好是表格中的索引标签,其中名字长度最大。
idxmax()
方法正是这样做的。它不是字符串方法,应用于整数,因此不使用str
。In [12]: titanic.loc[titanic["Name"].str.len().idxmax(), "Name"] Out[12]: 'Penasco y Castellana, Mrs. Victor de Satode (Maria Josefa Perez de Soto y Vallejo)'
根据行的索引名称(
307
)和列(Name
),我们可以使用loc
运算符进行选择,该运算符在子集教程中介绍。
在“Sex”列中,将“male”的值替换为“M”,将“female”的值替换为“F”。
In [13]: titanic["Sex_short"] = titanic["Sex"].replace({"male": "M", "female": "F"}) In [14]: titanic["Sex_short"] Out[14]: 0 M 1 F 2 F 3 F 4 M .. 886 M 887 F 888 F 889 M 890 M Name: Sex_short, Length: 891, dtype: object
虽然
replace()
不是字符串方法,但它提供了一种方便的方法来使用映射或词汇表来转换某些值。它需要一个dictionary
来定义映射{from : to}
。
警告
还有一个replace()
方法可用于替换特定的一组字符。但是,当有多个值的映射时,这将变得
titanic["Sex_short"] = titanic["Sex"].str.replace("female", "F")
titanic["Sex_short"] = titanic["Sex_short"].str.replace("male", "M")
这将变得很麻烦,很容易导致错误。只要想想(或者自己尝试一下)如果这两个语句以相反的顺序应用会发生什么……
记住
可以使用
str
访问器获取字符串方法。字符串方法逐元素工作,可用于条件索引。
replace
方法是根据给定字典转换值的便捷方法。
用户指南页面中提供了完整的概述,请参阅 文本数据处理。