In [1]: import pandas as pd
In [2]: import matplotlib.pyplot as plt
-
空气质量数据
In [3]: air_quality = pd.read_csv("data/air_quality_no2_long.csv") In [4]: air_quality = air_quality.rename(columns={"date.utc": "datetime"}) In [5]: air_quality.head() Out[5]: city country datetime location parameter value unit 0 Paris FR 2019-06-21 00:00:00+00:00 FR04014 no2 20.0 µg/m³ 1 Paris FR 2019-06-20 23:00:00+00:00 FR04014 no2 21.8 µg/m³ 2 Paris FR 2019-06-20 22:00:00+00:00 FR04014 no2 26.5 µg/m³ 3 Paris FR 2019-06-20 21:00:00+00:00 FR04014 no2 24.9 µg/m³ 4 Paris FR 2019-06-20 20:00:00+00:00 FR04014 no2 21.4 µg/m³
In [6]: air_quality.city.unique() Out[6]: array(['Paris', 'Antwerpen', 'London'], dtype=object)
如何轻松处理时间序列数据#
使用 pandas 的日期时间属性#
我想将
datetime列中的日期作为日期时间对象而不是纯文本进行处理。In [7]: air_quality["datetime"] = pd.to_datetime(air_quality["datetime"]) In [8]: air_quality["datetime"] Out[8]: 0 2019-06-21 00:00:00+00:00 1 2019-06-20 23:00:00+00:00 2 2019-06-20 22:00:00+00:00 3 2019-06-20 21:00:00+00:00 4 2019-06-20 20:00:00+00:00 ... 2063 2019-05-07 06:00:00+00:00 2064 2019-05-07 04:00:00+00:00 2065 2019-05-07 03:00:00+00:00 2066 2019-05-07 02:00:00+00:00 2067 2019-05-07 01:00:00+00:00 Name: datetime, Length: 2068, dtype: datetime64[ns, UTC]
最初，
datetime中的值是字符字符串，不提供任何日期时间操作（例如，提取年份、星期几等）。通过应用to_datetime函数，pandas 会解释这些字符串并将它们转换为日期时间（即datetime64[ns, UTC]）对象。在 pandas 中，我们称这些日期时间对象类似于标准库中的datetime.datetime，称为pandas.Timestamp。
注意
由于许多数据集在某一列中包含日期时间信息，pandas 的输入函数，例如 pandas.read_csv() 和 pandas.read_json()，可以使用 parse_dates 参数和要读取为时间戳的列列表，在读取数据时将信息转换为日期。
pd.read_csv("../data/air_quality_no2_long.csv", parse_dates=["datetime"])
为什么这些 pandas.Timestamp 对象很有用？让我们通过一些示例来说明其附加值。
我们正在处理的时间序列数据集的开始日期和结束日期是什么？
In [9]: air_quality["datetime"].min(), air_quality["datetime"].max()
Out[9]:
(Timestamp('2019-05-07 01:00:00+0000', tz='UTC'),
Timestamp('2019-06-21 00:00:00+0000', tz='UTC'))
使用 pandas.Timestamp 表示日期时间，使我们能够进行日期信息的计算并使其可比较。因此，我们可以用它来获取时间序列的长度。
In [10]: air_quality["datetime"].max() - air_quality["datetime"].min()
Out[10]: Timedelta('44 days 23:00:00')
结果是一个 pandas.Timedelta 对象，类似于标准 Python 库中的 datetime.timedelta，并定义时间持续时间。
pandas 支持的各种时间概念在用户指南中有关 时间相关概念 的部分进行了说明。
我想在
DataFrame中添加一列，该列仅包含测量的月份。In [11]: air_quality["month"] = air_quality["datetime"].dt.month In [12]: air_quality.head() Out[12]: city country datetime ... value unit month 0 Paris FR 2019-06-21 00:00:00+00:00 ... 20.0 µg/m³ 6 1 Paris FR 2019-06-20 23:00:00+00:00 ... 21.8 µg/m³ 6 2 Paris FR 2019-06-20 22:00:00+00:00 ... 26.5 µg/m³ 6 3 Paris FR 2019-06-20 21:00:00+00:00 ... 24.9 µg/m³ 6 4 Paris FR 2019-06-20 20:00:00+00:00 ... 21.4 µg/m³ 6 [5 rows x 8 columns]
通过使用
Timestamp对象表示日期，pandas 提供了许多与时间相关的属性。例如month，还有year、quarter等。所有这些属性都可以通过dt访问器访问。
有关现有日期属性的概述，请参见时间和日期组件概述表。有关dt访问器以返回类似日期时间的属性的更多详细信息，请参阅专门介绍dt 访问器的部分。
每个测量地点，每个星期几的平均\(NO_2\)浓度是多少？
In [13]: air_quality.groupby( ....: [air_quality["datetime"].dt.weekday, "location"])["value"].mean() ....: Out[13]: datetime location 0 BETR801 27.875000 FR04014 24.856250 London Westminster 23.969697 1 BETR801 22.214286 FR04014 30.999359 ... 5 FR04014 25.266154 London Westminster 24.977612 6 BETR801 21.896552 FR04014 23.274306 London Westminster 24.859155 Name: value, Length: 21, dtype: float64
还记得统计计算教程中提供的
groupby的拆分-应用-合并模式吗？在这里，我们希望计算给定的统计量（例如，平均\(NO_2\)）**对于每个工作日**和**对于每个测量地点**。为了对工作日进行分组，我们使用 pandasTimestamp的日期时间属性weekday（星期一=0，星期日=6），也可以通过dt访问器访问。可以在地点和工作日上进行分组，以拆分对这些组合中每个组合的平均值的计算。危险
由于我们在这些示例中使用的是非常短的时间序列，因此分析无法提供长期代表性结果！
绘制我们所有站点时间序列中一天内典型的\(NO_2\)模式。换句话说，一天中每个小时的平均值是多少？
In [14]: fig, axs = plt.subplots(figsize=(12, 4)) In [15]: air_quality.groupby(air_quality["datetime"].dt.hour)["value"].mean().plot( ....: kind='bar', rot=0, ax=axs ....: ) ....: Out[15]: <Axes: xlabel='datetime'> In [16]: plt.xlabel("Hour of the day"); # custom x label using Matplotlib In [17]: plt.ylabel("$NO_2 (µg/m^3)$");
与之前的情况类似，我们希望计算给定的统计量（例如，平均\(NO_2\)）**对于一天中的每个小时**，并且我们可以再次使用拆分-应用-合并方法。对于这种情况，我们使用 pandas
Timestamp的日期时间属性hour，也可以通过dt访问器访问。
以日期时间作为索引#
在重塑表格教程中，pivot() 被用来将数据表格重塑，每个测量位置作为单独的列。
In [18]: no_2 = air_quality.pivot(index="datetime", columns="location", values="value")
In [19]: no_2.head()
Out[19]:
location BETR801 FR04014 London Westminster
datetime
2019-05-07 01:00:00+00:00 50.5 25.0 23.0
2019-05-07 02:00:00+00:00 45.0 27.7 19.0
2019-05-07 03:00:00+00:00 NaN 50.4 19.0
2019-05-07 04:00:00+00:00 NaN 61.9 16.0
2019-05-07 05:00:00+00:00 NaN 72.4 NaN
注意
通过透视数据，日期时间信息成为了表格的索引。通常，将一列设置为索引可以通过 set_index 函数实现。
使用日期时间索引（即 DatetimeIndex）提供了强大的功能。例如，我们不需要 dt 访问器来获取时间序列属性，而是可以直接在索引上获取这些属性。
In [20]: no_2.index.year, no_2.index.weekday
Out[20]:
(Index([2019, 2019, 2019, 2019, 2019, 2019, 2019, 2019, 2019, 2019,
...
2019, 2019, 2019, 2019, 2019, 2019, 2019, 2019, 2019, 2019],
dtype='int32', name='datetime', length=1033),
Index([1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
...
3, 3, 3, 3, 3, 3, 3, 3, 3, 4],
dtype='int32', name='datetime', length=1033))
其他一些优势包括方便地对时间段进行子集选择，以及在绘图中使用自适应时间刻度。让我们将这些应用到我们的数据中。
绘制从 5 月 20 日到 5 月 21 日结束的不同站点 \(NO_2\) 值的图表。
In [21]: no_2["2019-05-20":"2019-05-21"].plot();
通过提供一个可以解析为日期时间的字符串，可以在
DatetimeIndex上选择数据的特定子集。
有关 DatetimeIndex 和使用字符串进行切片的更多信息，请参阅有关时间序列索引的部分。
将时间序列重采样到另一个频率#
将当前每小时时间序列值聚合到每个站点的每月最大值。
In [22]: monthly_max = no_2.resample("ME").max() In [23]: monthly_max Out[23]: location BETR801 FR04014 London Westminster datetime 2019-05-31 00:00:00+00:00 74.5 97.0 97.0 2019-06-30 00:00:00+00:00 52.5 84.7 52.0
对于具有日期时间索引的时间序列数据，一个非常强大的方法是能够
resample()将时间序列重采样到另一个频率（例如，将秒级数据转换为 5 分钟数据）。
resample() 方法类似于 groupby 操作。
它通过使用一个字符串（例如
M，5H，…）来定义目标频率，从而提供基于时间的分组。它需要一个聚合函数，例如
mean、max等。
有关用于定义时间序列频率的别名的概述，请参见 别名概述表。
定义后，时间序列的频率由 freq 属性提供。
In [24]: monthly_max.index.freq
Out[24]: <MonthEnd>
绘制每个站点的每日平均 \(NO_2\) 值。
In [25]: no_2.resample("D").mean().plot(style="-o", figsize=(10, 5));
有关时间序列 resampling 功能的更多详细信息，请参见用户指南中的 重采样 部分。
记住
可以使用
to_datetime函数或作为读取函数的一部分将有效的日期字符串转换为日期时间对象。pandas 中的日期时间对象支持使用
dt访问器进行计算、逻辑运算和方便的日期相关属性操作。DatetimeIndex包含这些日期相关属性，并支持方便的切片。Resample是一种强大的方法，可以更改时间序列的频率。
有关时间序列的完整概述，请参见有关 时间序列和日期功能 的页面。