包概述#

pandas 是一个 Python 包，提供了快速、灵活且富有表达力的数据结构，旨在使处理“关系型”或“带标签”的数据变得简单直观。它致力于成为在 Python 中进行实际、现实世界数据分析的基础高层构建块。此外，它还有更广泛的目标，即成为所有语言中可用的最强大和灵活的开源数据分析/数据处理工具。它已经在实现这一目标的道路上稳步前进。

pandas 非常适合多种不同类型的数据

  • 具有异构类型列的表格数据，例如 SQL 表或 Excel 电子表格中的数据

  • 有序和无序（不一定是固定频率）的时间序列数据。

  • 具有行和列标签的任意矩阵数据（同构类型或异构类型）

  • 任何其他形式的观测/统计数据集。数据即使完全没有标签，也可以放入 pandas 数据结构中

pandas 的两个主要数据结构 Series（一维）和 DataFrame（二维）处理了金融、统计学、社会科学以及许多工程领域中绝大多数典型用例。对于 R 用户来说，DataFrame 提供了 R 的 data.frame 提供的一切，甚至更多。pandas 构建在 NumPy 之上，旨在与许多其他第三方库在科学计算环境中良好集成。

以下是 pandas 擅长的一些方面

  • 轻松处理浮点数据和非浮点数据中的缺失数据（表示为 NaN）

  • 大小可变：可以从 DataFrame 和更高维度的对象中插入和删除列

  • 自动和显式数据对齐：对象可以显式对齐到一组标签，或者用户可以简单地忽略标签，让 Series, DataFrame 等在计算中自动为您对齐数据

  • 强大、灵活的分组功能，用于对数据集执行拆分-应用-合并操作，用于聚合和转换数据

  • 使将其他 Python 和 NumPy 数据结构中不规则、不同索引的数据轻松转换为 DataFrame 对象

  • 基于标签的智能切片、高级索引和大型数据集的子集化

  • 直观地合并和连接数据集

  • 灵活地重塑和透视数据集

  • 轴的层级标签（每个刻度可能具有多个标签）

  • 强大的 IO 工具，用于从平面文件（CSV 和分隔符文件）、Excel 文件、数据库加载数据，以及从超快的 HDF5 格式保存/加载数据

  • 时间序列特有的功能：日期范围生成和频率转换、移动窗口统计、日期偏移和滞后。

这些原则中的许多旨在解决在使用其他语言/科学研究环境时经常遇到的不足。对于数据科学家来说，处理数据通常分为多个阶段：整理和清洗数据、分析/建模数据，然后将分析结果组织成适合绘图或表格显示的形式。pandas 是完成所有这些任务的理想工具。

其他一些注意事项

  • pandas 速度快。许多底层算法部分已经在 Cython 代码中进行了大量优化。然而，与其他任何事物一样，通用性通常会牺牲性能。因此，如果您的应用专注于某个特定功能，您可能可以创建一个更快的专用工具。

  • pandas 是 statsmodels 的一个依赖项，这使其成为 Python 统计计算生态系统的重要组成部分。

  • pandas 已在金融应用中被广泛用于生产环境。

数据结构#

维度

名称

描述

1

Series

一维带标签的同构类型数组

2

DataFrame

一般性的二维带标签、大小可变的表格结构，可能包含异构类型的列

为什么不止一种数据结构？#

思考 pandas 数据结构的最好方式是将其视为低维数据的灵活容器。例如，DataFrame 是 Series 的容器，而 Series 是标量的容器。我们希望能够以类似于字典的方式在这些容器中插入和移除对象。

此外，我们希望常见的 API 函数具有合理的默认行为，考虑到时间序列和截面数据集的典型方向。在使用 N 维数组 (ndarrays) 存储二维和三维数据时，用户在编写函数时需要考虑数据集的方向；轴或多或少被视为等价的（除了当 C 或 Fortran 连续性影响性能时）。在 pandas 中，轴旨在赋予数据更多语义意义；即，对于特定的数据集，很可能存在一种“正确”的方式来定位数据。因此，目标是减少在下游函数中编写数据转换所需的脑力。

例如，对于表格数据 (DataFrame)，将索引（行）和列而不是 axis 0 和 axis 1 来思考在语义上更有帮助。因此，迭代 DataFrame 的列会使代码更易读。

for col in df.columns:
    series = df[col]
    # do something with series

数据的可变性和复制#

所有 pandas 数据结构都是值可变的（它们包含的值可以更改），但并非总是大小可变。Series 的长度无法更改，但例如，可以向 DataFrame 中插入列。然而，绝大多数方法会生成新对象并保持输入数据不变。一般来说，我们倾向于在合理的情况下偏好不可变性。

获取支持#

解决 pandas 问题和提交想法的首选地是 GitHub 问题跟踪器。如果您有一般性问题，pandas 社区专家可以通过 Stack Overflow 进行解答。

社区#

pandas 目前由世界各地志同道合的社区成员积极支持，他们贡献宝贵的时间和精力，助力开源 pandas 项目。感谢我们所有的贡献者。

如果您有兴趣贡献，请访问贡献指南。

pandas 是一个 NumFOCUS 赞助的项目。这将有助于确保 pandas 作为世界级开源项目的成功开发，并使其能够接受捐赠。

项目治理#

pandas 项目自 2008 年成立以来一直非正式采用的治理过程，已在项目治理文档中正式确定。这些文档阐明了如何做出决策以及社区的各种要素如何互动，包括开源协作开发与可能由营利或非营利实体资助的工作之间的关系。

Wes McKinney 是终身仁慈独裁者 (BDFL)。

开发团队#

核心团队成员列表和更详细信息可在pandas 网站上找到。

机构合作伙伴#

有关当前机构合作伙伴的信息可在pandas 网站页面上找到。

许可证#

BSD 3-Clause License

Copyright (c) 2008-2011, AQR Capital Management, LLC, Lambda Foundry, Inc. and PyData Development Team
All rights reserved.

Copyright (c) 2011-2023, Open source contributors.

Redistribution and use in source and binary forms, with or without
modification, are permitted provided that the following conditions are met:

* Redistributions of source code must retain the above copyright notice, this
  list of conditions and the following disclaimer.

* Redistributions in binary form must reproduce the above copyright notice,
  this list of conditions and the following disclaimer in the documentation
  and/or other materials provided with the distribution.

* Neither the name of the copyright holder nor the names of its
  contributors may be used to endorse or promote products derived from
  this software without specific prior written permission.

THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS"
AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT HOLDER OR CONTRIBUTORS BE LIABLE
FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR
SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER
CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY,
OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.