In [1]: import pandas as pd
-
空气质量硝酸盐数据
In [2]: air_quality_no2 = pd.read_csv("data/air_quality_no2_long.csv", ...: parse_dates=True) ...: In [3]: air_quality_no2 = air_quality_no2[["date.utc", "location", ...: "parameter", "value"]] ...: In [4]: air_quality_no2.head() Out[4]: date.utc location parameter value 0 2019-06-21 00:00:00+00:00 FR04014 no2 20.0 1 2019-06-20 23:00:00+00:00 FR04014 no2 21.8 2 2019-06-20 22:00:00+00:00 FR04014 no2 26.5 3 2019-06-20 21:00:00+00:00 FR04014 no2 24.9 4 2019-06-20 20:00:00+00:00 FR04014 no2 21.4
-
空气质量颗粒物数据
In [5]: air_quality_pm25 = pd.read_csv("data/air_quality_pm25_long.csv", ...: parse_dates=True) ...: In [6]: air_quality_pm25 = air_quality_pm25[["date.utc", "location", ...: "parameter", "value"]] ...: In [7]: air_quality_pm25.head() Out[7]: date.utc location parameter value 0 2019-06-18 06:00:00+00:00 BETR801 pm25 18.0 1 2019-06-17 08:00:00+00:00 BETR801 pm25 6.5 2 2019-06-17 07:00:00+00:00 BETR801 pm25 18.5 3 2019-06-17 06:00:00+00:00 BETR801 pm25 16.0 4 2019-06-17 05:00:00+00:00 BETR801 pm25 7.5
如何合并来自多个表格的数据#
连接对象#
我想将 \(NO_2\) 和 \(PM_{25}\) 的测量值合并到一个表格中，这两个表格具有相似的结构。
In [8]: air_quality = pd.concat([air_quality_pm25, air_quality_no2], axis=0) In [9]: air_quality.head() Out[9]: date.utc location parameter value 0 2019-06-18 06:00:00+00:00 BETR801 pm25 18.0 1 2019-06-17 08:00:00+00:00 BETR801 pm25 6.5 2 2019-06-17 07:00:00+00:00 BETR801 pm25 18.5 3 2019-06-17 06:00:00+00:00 BETR801 pm25 16.0 4 2019-06-17 05:00:00+00:00 BETR801 pm25 7.5
concat()函数沿轴之一（逐行或逐列）执行多个表格的连接操作。
默认情况下，连接沿轴 0 进行，因此结果表格将输入表格的行合并在一起。让我们检查原始表格和连接后表格的形状以验证操作。
In [10]: print('Shape of the ``air_quality_pm25`` table: ', air_quality_pm25.shape)
Shape of the ``air_quality_pm25`` table: (1110, 4)
In [11]: print('Shape of the ``air_quality_no2`` table: ', air_quality_no2.shape)
Shape of the ``air_quality_no2`` table: (2068, 4)
In [12]: print('Shape of the resulting ``air_quality`` table: ', air_quality.shape)
Shape of the resulting ``air_quality`` table: (3178, 4)
因此，结果表格有 3178 = 1110 + 2068 行。
注意
axis 参数将在许多 pandas 方法中返回，这些方法可以 **沿轴** 应用。DataFrame 有两个对应的轴：第一个轴垂直向下穿过行（轴 0），第二个轴水平穿过列（轴 1）。大多数操作，如连接或摘要统计，默认都沿行（轴 0）进行，但也可以沿列进行。
按日期时间信息对表格进行排序也能说明两个表格的合并，其中 parameter 列定义了表格的来源（来自 air_quality_no2 表格的 no2 或来自 air_quality_pm25 表格的 pm25）。
In [13]: air_quality = air_quality.sort_values("date.utc")
In [14]: air_quality.head()
Out[14]:
date.utc location parameter value
100 2019-05-07 01:00:00+00:00 BETR801 pm25 12.5
1109 2019-05-07 01:00:00+00:00 London Westminster pm25 8.0
1003 2019-05-07 01:00:00+00:00 FR04014 no2 25.0
1098 2019-05-07 01:00:00+00:00 BETR801 no2 50.5
2067 2019-05-07 01:00:00+00:00 London Westminster no2 23.0
在此特定示例中，数据提供的 parameter 列确保了每个原始表格都可以被识别。情况并非总是如此。concat 函数提供了 keys 参数的便捷解决方案，它添加了一个额外的（分层）行索引。例如：
In [15]: air_quality_ = pd.concat([air_quality_pm25, air_quality_no2], keys=["PM25", "NO2"])
In [16]: air_quality_.head()
Out[16]:
date.utc location parameter value
PM25 0 2019-06-18 06:00:00+00:00 BETR801 pm25 18.0
1 2019-06-17 08:00:00+00:00 BETR801 pm25 6.5
2 2019-06-17 07:00:00+00:00 BETR801 pm25 18.5
3 2019-06-17 06:00:00+00:00 BETR801 pm25 16.0
4 2019-06-17 05:00:00+00:00 BETR801 pm25 7.5
注意
在这些教程中没有提到同一时间存在多个行/列索引。分层索引 或 MultiIndex 是 pandas 中用于分析更高维度数据的强大高级功能。
多索引超出了此 pandas 入门教程的范围。目前，请记住可以使用 reset_index 函数将索引的任何级别转换为列，例如 air_quality.reset_index(level=0)。
欢迎您深入了解多索引的世界，请参阅用户指南中关于 高级索引 的部分。
有关表格连接（逐行和逐列）的更多选项，以及 concat 如何用于定义其他轴上索引的逻辑（并集或交集），请参阅 对象连接 部分。
使用公共标识符连接表格#
将站点元数据表格提供的站点坐标添加到测量表格的相应行。
警告
空气质量测量站点的坐标存储在数据文件
air_quality_stations.csv中，该文件使用 py-openaq 包下载。In [17]: stations_coord = pd.read_csv("data/air_quality_stations.csv") In [18]: stations_coord.head() Out[18]: location coordinates.latitude coordinates.longitude 0 BELAL01 51.23619 4.38522 1 BELHB23 51.17030 4.34100 2 BELLD01 51.10998 5.00486 3 BELLD02 51.12038 5.02155 4 BELR833 51.32766 4.36226
注意
本例中使用的站点（FR04014、BETR801 和 London Westminster）只是元数据表格中列出的三个条目。我们只想将这三个站点的坐标添加到测量表格中，每个站点对应
air_quality表格中的相应行。In [19]: air_quality.head() Out[19]: date.utc location parameter value 100 2019-05-07 01:00:00+00:00 BETR801 pm25 12.5 1109 2019-05-07 01:00:00+00:00 London Westminster pm25 8.0 1003 2019-05-07 01:00:00+00:00 FR04014 no2 25.0 1098 2019-05-07 01:00:00+00:00 BETR801 no2 50.5 2067 2019-05-07 01:00:00+00:00 London Westminster no2 23.0
In [20]: air_quality = pd.merge(air_quality, stations_coord, how="left", on="location") In [21]: air_quality.head() Out[21]: date.utc ... coordinates.longitude 0 2019-05-07 01:00:00+00:00 ... 4.43182 1 2019-05-07 01:00:00+00:00 ... -0.13193 2 2019-05-07 01:00:00+00:00 ... 2.39390 3 2019-05-07 01:00:00+00:00 ... 2.39390 4 2019-05-07 01:00:00+00:00 ... 4.43182 [5 rows x 6 columns]
使用
merge()函数，对于air_quality表格中的每一行，都会从air_quality_stations_coord表格中添加相应的坐标。两个表格都有一个名为location的共同列，该列用作合并信息的键。通过选择left连接，只有air_quality（左侧）表格中存在的地点（即 FR04014、BETR801 和 London Westminster）会出现在结果表格中。merge函数支持与数据库样式操作类似的多项连接选项。
添加参数的完整描述和名称，这些信息来自参数元数据表格，并添加到测量表格中。
警告
空气质量参数元数据存储在数据文件
air_quality_parameters.csv中，该文件使用 py-openaq 包下载。In [22]: air_quality_parameters = pd.read_csv("data/air_quality_parameters.csv") In [23]: air_quality_parameters.head() Out[23]: id description name 0 bc Black Carbon BC 1 co Carbon Monoxide CO 2 no2 Nitrogen Dioxide NO2 3 o3 Ozone O3 4 pm10 Particulate matter less than 10 micrometers in... PM10
In [24]: air_quality = pd.merge(air_quality, air_quality_parameters, ....: how='left', left_on='parameter', right_on='id') ....: In [25]: air_quality.head() Out[25]: date.utc ... name 0 2019-05-07 01:00:00+00:00 ... PM2.5 1 2019-05-07 01:00:00+00:00 ... PM2.5 2 2019-05-07 01:00:00+00:00 ... NO2 3 2019-05-07 01:00:00+00:00 ... NO2 4 2019-05-07 01:00:00+00:00 ... NO2 [5 rows x 9 columns]
与前面的示例相比，这里没有共同的列名。然而，
air_quality表格中的parameter列和air_quality_parameters表格中的id列都以通用格式提供了测量变量。此处使用left_on和right_on参数（而不是仅使用on）来建立两个表格之间的联系。
请记住
可以使用
concat函数逐列或逐行连接多个表格。对于数据库式的表格合并/连接，请使用
merge函数。
有关各种 组合数据表格的工具 的完整描述，请参阅用户指南。