In [1]: import pandas as pd
本教程使用的数据

  • 本教程使用泰坦尼克号数据集，该数据集存储为 CSV 格式。数据包含以下列：

    • PassengerId: 每位乘客的 ID。

    • Survived: 表明乘客是否生还。0 表示是，1 表示否。

    • Pclass: 三种票类之一：Class 1、Class 2 和 Class 3。

    • Name: 乘客姓名。

    • Sex: 乘客性别。

    • Age: 乘客年龄（以年为单位）。

    • SibSp: 同行的兄弟姐妹或配偶人数。

    • Parch: 同行的父母或子女人数。

    • Ticket: 乘客票号。

    • Fare: 表示票价。

    • Cabin: 乘客舱号。

    • Embarked: 登船港口。

    查看原始数据 
    In [2]: titanic = pd.read_csv("data/titanic.csv")

In [3]: titanic.head()
Out[3]: 
   PassengerId  Survived  Pclass  ...     Fare Cabin  Embarked
0            1         0       3  ...   7.2500   NaN         S
1            2         1       1  ...  71.2833   C85         C
2            3         1       3  ...   7.9250   NaN         S
3            4         1       1  ...  53.1000  C123         S
4            5         0       3  ...   8.0500   NaN         S

[5 rows x 12 columns]

如何处理文本数据#

  • 将所有名字字符转换为小写。

    In [4]: titanic["Name"].str.lower()
Out[4]: 
0                                braund, mr. owen harris
1      cumings, mrs. john bradley (florence briggs th...
2                                 heikkinen, miss. laina
3           futrelle, mrs. jacques heath (lily may peel)
4                               allen, mr. william henry
                             ...                        
886                                montvila, rev. juozas
887                         graham, miss. margaret edith
888             johnston, miss. catherine helen "carrie"
889                                behr, mr. karl howell
890                                  dooley, mr. patrick
Name: Name, Length: 891, dtype: object

    要将 Name 列中的每个字符串转换为小写，请选择 Name 列（参见数据选择教程），添加 str 访问器，并应用 lower 方法。这样，每个字符串都会逐元素转换。

与时间序列教程中的 datetime 对象具有 dt 访问器类似，使用 str 访问器时，可以使用许多专门的字符串方法。这些方法通常与处理单个元素的内置字符串方法名称相匹配，但会逐元素地（还记得逐元素计算吗？）应用于列中的每个值。

  • 创建一个新列 Surname，通过提取逗号之前的部分来包含乘客的姓氏。

    In [5]: titanic["Name"].str.split(",")
Out[5]: 
0                             [Braund,  Mr. Owen Harris]
1      [Cumings,  Mrs. John Bradley (Florence Briggs ...
2                              [Heikkinen,  Miss. Laina]
3        [Futrelle,  Mrs. Jacques Heath (Lily May Peel)]
4                            [Allen,  Mr. William Henry]
                             ...                        
886                             [Montvila,  Rev. Juozas]
887                      [Graham,  Miss. Margaret Edith]
888          [Johnston,  Miss. Catherine Helen "Carrie"]
889                             [Behr,  Mr. Karl Howell]
890                               [Dooley,  Mr. Patrick]
Name: Name, Length: 891, dtype: object

    使用 Series.str.split() 方法，每个值都返回一个包含 2 个元素的列表。第一个元素是逗号之前的部分，第二个元素是逗号之后的部分。

    In [6]: titanic["Surname"] = titanic["Name"].str.split(",").str.get(0)

In [7]: titanic["Surname"]
Out[7]: 
0         Braund
1        Cumings
2      Heikkinen
3       Futrelle
4          Allen
         ...    
886     Montvila
887       Graham
888     Johnston
889         Behr
890       Dooley
Name: Surname, Length: 891, dtype: object

    由于我们只对表示姓氏的第一部分（元素 0）感兴趣，我们可以再次使用 str 访问器并应用 Series.str.get() 来提取相关部分。实际上，这些字符串函数可以串联起来，一次性组合多个函数！

转到用户指南

有关提取字符串部分的更多信息，请参阅用户指南中关于拆分和替换字符串的部分。

  • 提取关于泰坦尼克号上女伯爵的乘客数据。

    In [8]: titanic["Name"].str.contains("Countess")
Out[8]: 
0      False
1      False
2      False
3      False
4      False
       ...  
886    False
887    False
888    False
889    False
890    False
Name: Name, Length: 891, dtype: bool

    In [9]: titanic[titanic["Name"].str.contains("Countess")]
Out[9]: 
     PassengerId  Survived  Pclass  ... Cabin Embarked  Surname
759          760         1       1  ...   B77        S   Rothes

[1 rows x 13 columns]

    （想了解她的故事？请参阅 Wikipedia！）

    字符串方法 Series.str.contains() 检查 Name 列中的每个值是否包含单词 Countess，并为每个值返回 True（名字中包含 Countess）或 False（名字中不包含 Countess）。这个输出可以使用数据子集教程中介绍的条件（布尔型）索引来筛选数据。由于泰坦尼克号上只有一位女伯爵，我们得到一行结果。

注意

支持更强大的字符串提取功能，因为 Series.str.contains() 和 Series.str.extract() 方法接受正则表达式，但这超出了本教程的范围。

转到用户指南

有关提取字符串部分的更多信息，请参阅用户指南中关于字符串匹配和提取的部分。

  • 泰坦尼克号上哪位乘客的名字最长？

    In [10]: titanic["Name"].str.len()
Out[10]: 
0      23
1      51
2      22
3      44
4      24
       ..
886    21
887    28
888    40
889    21
890    19
Name: Name, Length: 891, dtype: int64

    要找到最长的名字，我们首先需要获取 Name 列中每个名字的长度。通过使用 pandas 字符串方法，Series.str.len() 函数会单独应用于每个名字（逐元素）。

    In [11]: titanic["Name"].str.len().idxmax()
Out[11]: 307

    接下来，我们需要获取表中名字长度最大值对应的位置，最好是索引标签。idxmax() 方法正是做这件事的。它不是一个字符串方法，应用于整数，因此不使用 str。

    In [12]: titanic.loc[titanic["Name"].str.len().idxmax(), "Name"]
Out[12]: 'Penasco y Castellana, Mrs. Victor de Satode (Maria Josefa Perez de Soto y Vallejo)'

    根据行的索引名称（307）和列名（Name），我们可以使用子集教程中介绍的 loc 运算符进行选择。

  • 在“Sex”列中，将“male”替换为“M”，将“female”替换为“F”。

    In [13]: titanic["Sex_short"] = titanic["Sex"].replace({"male": "M", "female": "F"})

In [14]: titanic["Sex_short"]
Out[14]: 
0      M
1      F
2      F
3      F
4      M
      ..
886    M
887    F
888    F
889    M
890    M
Name: Sex_short, Length: 891, dtype: object

    虽然 replace() 不是一个字符串方法，但它提供了一种方便的方式来使用映射或词汇表转换某些值。它需要一个 dictionary 来定义映射 {from : to}。

警告

还有一个 replace() 方法可用于替换特定字符集。然而，当有多个值的映射时，这将变得

titanic["Sex_short"] = titanic["Sex"].str.replace("female", "F")
titanic["Sex_short"] = titanic["Sex_short"].str.replace("male", "M")

这将变得繁琐且容易出错。只需想一想（或亲自尝试一下），如果这两个语句以相反的顺序应用会发生什么……

记住

  • 字符串方法通过 str 访问器可用。

  • 字符串方法逐元素工作，可用于条件索引。

  • replace 方法是根据给定字典转换值的便捷方法。

转到用户指南

用户指南中关于处理文本数据页面提供了完整概述。