In [1]: import pandas as pd
本教程使用的数据
  • 本教程使用泰坦尼克号数据集,存储为 CSV。数据包含以下数据列

    • PassengerId:每个乘客的 ID。

    • Survived: 表示乘客是否幸存。 0 表示幸存,1 表示未幸存。

    • Pclass: 三种票价等级之一:等级 1,等级 2 和等级 3

    • Name: 乘客姓名。

    • Sex: 乘客性别。

    • Age: 乘客年龄(以年为单位)。

    • SibSp: 同行兄弟姐妹或配偶数量。

    • Parch: 同行父母或子女数量。

    • Ticket: 乘客票号。

    • Fare: 表示票价。

    • Cabin: 乘客舱位号。

    • Embarked: 登船港口。

    原始数据
    In [2]: titanic = pd.read_csv("data/titanic.csv")
    
    In [3]: titanic.head()
    Out[3]: 
       PassengerId  Survived  Pclass  ...     Fare Cabin  Embarked
    0            1         0       3  ...   7.2500   NaN         S
    1            2         1       1  ...  71.2833   C85         C
    2            3         1       3  ...   7.9250   NaN         S
    3            4         1       1  ...  53.1000  C123         S
    4            5         0       3  ...   8.0500   NaN         S
    
    [5 rows x 12 columns]
    

如何操作文本数据#

  • 将所有姓名字符转换为小写。

    In [4]: titanic["Name"].str.lower()
    Out[4]: 
    0                                braund, mr. owen harris
    1      cumings, mrs. john bradley (florence briggs th...
    2                                 heikkinen, miss. laina
    3           futrelle, mrs. jacques heath (lily may peel)
    4                               allen, mr. william henry
                                 ...                        
    886                                montvila, rev. juozas
    887                         graham, miss. margaret edith
    888             johnston, miss. catherine helen "carrie"
    889                                behr, mr. karl howell
    890                                  dooley, mr. patrick
    Name: Name, Length: 891, dtype: object
    

    要将 Name 列中的每个字符串转换为小写,请选择 Name 列(参见 数据选择教程),添加 str 访问器并应用 lower 方法。这样,每个字符串都会逐元素转换。

类似于 时间序列教程 中的日期时间对象具有 dt 访问器,使用 str 访问器时可以使用许多专门的字符串方法。这些方法通常与单个元素的等效内置字符串方法具有相同的名称,但会逐元素应用(请记住 逐元素计算?)到列的每个值上。

  • 创建一个新的列 Surname,其中包含乘客的姓氏,方法是提取逗号之前的部分。

    In [5]: titanic["Name"].str.split(",")
    Out[5]: 
    0                             [Braund,  Mr. Owen Harris]
    1      [Cumings,  Mrs. John Bradley (Florence Briggs ...
    2                              [Heikkinen,  Miss. Laina]
    3        [Futrelle,  Mrs. Jacques Heath (Lily May Peel)]
    4                            [Allen,  Mr. William Henry]
                                 ...                        
    886                             [Montvila,  Rev. Juozas]
    887                      [Graham,  Miss. Margaret Edith]
    888          [Johnston,  Miss. Catherine Helen "Carrie"]
    889                             [Behr,  Mr. Karl Howell]
    890                               [Dooley,  Mr. Patrick]
    Name: Name, Length: 891, dtype: object
    

    使用 Series.str.split() 方法,每个值都将返回一个包含 2 个元素的列表。第一个元素是逗号之前的部分,第二个元素是逗号之后的部分。

    In [6]: titanic["Surname"] = titanic["Name"].str.split(",").str.get(0)
    
    In [7]: titanic["Surname"]
    Out[7]: 
    0         Braund
    1        Cumings
    2      Heikkinen
    3       Futrelle
    4          Allen
             ...    
    886     Montvila
    887       Graham
    888     Johnston
    889         Behr
    890       Dooley
    Name: Surname, Length: 891, dtype: object
    

    由于我们只对代表姓氏的第一部分(元素 0)感兴趣,我们可以再次使用 str 访问器并应用 Series.str.get() 来提取相关部分。事实上,这些字符串函数可以连接起来,一次组合多个函数!

到用户指南

有关提取字符串部分的更多信息,请参阅用户指南中关于 分割和替换字符串 的部分。

  • 提取关于泰坦尼克号上女伯爵的乘客数据。

    In [8]: titanic["Name"].str.contains("Countess")
    Out[8]: 
    0      False
    1      False
    2      False
    3      False
    4      False
           ...  
    886    False
    887    False
    888    False
    889    False
    890    False
    Name: Name, Length: 891, dtype: bool
    
    In [9]: titanic[titanic["Name"].str.contains("Countess")]
    Out[9]: 
         PassengerId  Survived  Pclass  ... Cabin Embarked  Surname
    759          760         1       1  ...   B77        S   Rothes
    
    [1 rows x 13 columns]
    

    (对她的故事感兴趣吗?请查看 维基百科)

    字符串方法 Series.str.contains() 检查 Name 列中的每个值是否包含单词 Countess,并为每个值返回 TrueCountess 是名字的一部分)或 FalseCountess 不是名字的一部分)。此输出可用于使用在 数据子集教程 中介绍的条件(布尔)索引来选择数据。由于泰坦尼克号上只有一位女伯爵,因此我们得到一行结果。

注意

支持更强大的字符串提取,因为 Series.str.contains()Series.str.extract() 方法接受 正则表达式,但这超出了本教程的范围。

到用户指南

有关提取字符串部分的更多信息,请参阅用户指南中关于字符串匹配和提取的部分。

  • 泰坦尼克号上哪个乘客的名字最长?

    In [10]: titanic["Name"].str.len()
    Out[10]: 
    0      23
    1      51
    2      22
    3      44
    4      24
           ..
    886    21
    887    28
    888    40
    889    21
    890    19
    Name: Name, Length: 891, dtype: int64
    

    为了获得最长的名字,我们首先需要获取Name列中每个名字的长度。通过使用 pandas 字符串方法,Series.str.len()函数被应用到每个名字上(逐元素)。

    In [11]: titanic["Name"].str.len().idxmax()
    Out[11]: 307
    

    接下来,我们需要获取对应的位置,最好是表格中的索引标签,其中名字长度最大。 idxmax()方法正是这样做的。它不是字符串方法,应用于整数,因此不使用str

    In [12]: titanic.loc[titanic["Name"].str.len().idxmax(), "Name"]
    Out[12]: 'Penasco y Castellana, Mrs. Victor de Satode (Maria Josefa Perez de Soto y Vallejo)'
    

    根据行的索引名称(307)和列(Name),我们可以使用loc运算符进行选择,该运算符在子集教程中介绍。

  • 在“Sex”列中,将“male”的值替换为“M”,将“female”的值替换为“F”。

    In [13]: titanic["Sex_short"] = titanic["Sex"].replace({"male": "M", "female": "F"})
    
    In [14]: titanic["Sex_short"]
    Out[14]: 
    0      M
    1      F
    2      F
    3      F
    4      M
          ..
    886    M
    887    F
    888    F
    889    M
    890    M
    Name: Sex_short, Length: 891, dtype: object
    

    虽然replace()不是字符串方法,但它提供了一种方便的方法来使用映射或词汇表来转换某些值。它需要一个dictionary来定义映射{from : to}

警告

还有一个replace()方法可用于替换特定的一组字符。但是,当有多个值的映射时,这将变得

titanic["Sex_short"] = titanic["Sex"].str.replace("female", "F")
titanic["Sex_short"] = titanic["Sex_short"].str.replace("male", "M")

这将变得很麻烦,很容易导致错误。只要想想(或者自己尝试一下)如果这两个语句以相反的顺序应用会发生什么……

记住

  • 可以使用str访问器获取字符串方法。

  • 字符串方法逐元素工作,可用于条件索引。

  • replace 方法是根据给定字典转换值的便捷方法。

到用户指南

用户指南页面中提供了完整的概述,请参阅 文本数据处理