技巧 1：给数据 "瘦个身"—— 优化数据类型

想象一下，你要搬运一堆东西，同样的物品，用大箱子装肯定比用小箱子费劲。Pandas 处理数据也是这个道理，数据类型就像是装数据的箱子，选对了箱子，既能节省空间，又能提高效率。

在 Pandas 中，最占空间的就是 object 类型，尤其是包含字符串的列。比如性别列，通常只有 "男" 和 "女" 两个值，但如果用 object 类型存储，就像每个值都用一个大箱子单独装起来，非常浪费。

优化方法：把重复值多的字符串列转换成 category 类型，把数值范围小的整数列转成更小的整数类型。

import pandas as pdimport numpy as np# 生成10万行测试数据df = pd.DataFrame({ 'gender': np.random.choice(['男', '女'], 100000), 'age': np.random.randint(0, 120, 100000), 'score': np.random.randint(0, 100, 100000)})# 查看原始数据类型和内存占用print("原始数据类型：")print(df.dtypes)print(f"原始内存占用：{df.memory_usage().sum() / 1024:.1f} KB")# 优化数据类型df['gender'] = df['gender'].astype('category') # 转换为category类型df['age'] = pd.to_numeric(df['age'], downcast='integer') # 向下转换整数类型df['score'] = pd.to_numeric(df['score'], downcast='integer')# 查看优化后的数据类型和内存占用print("\n优化后数据类型：")print(df.dtypes)print(f"优化后内存占用：{df.memory_usage().sum() / 1024:.1f} KB")

优化效果：原始数据内存占用约 755.5 KB，优化后仅需 466.7 KB，内存占用减少近 40%。更重要的是，后续的排序、分组等操作速度会提升 3-5 倍，因为 Pandas 对 category 类型有专门的优化算法。

适用场景：包含大量重复值的字符串列（如性别、职业、类别等），以及数值范围较小的整数列（如年龄、分数等）。

技巧 2：用管道 —— 使用向量化操作

很多刚接触 Pandas 的新手，习惯用循环逐行处理数据，就像用勺子一勺一勺地舀水浇田，效率极低。而向量化操作就像用管道输水，一次性处理整列数据，速度快得惊人。

优化方法：用 Pandas 的列运算代替 for 循环，让计算在底层 C 语言级别批量执行。

import pandas as pdimport numpy as np# 生成10万行测试数据df = pd.DataFrame({ 'a': np.random.rand(100000), 'b': np.random.rand(100000)})# 需求：计算a列和b列的乘积，并增加10%的提成# 方法1：循环处理（低效）result = []for i in range(len(df)): result.append(df['a'].iloc[i] * df['b'].iloc[i] * 1.1)df['result_loop'] = result# 处理10万行数据耗时约10秒# 方法2：向量化操作（高效）df['result_vector'] = df['a'] * df['b'] * 1.1# 处理10万行数据仅需0.005秒

优化效果：处理 10 万行数据时，向量化操作的速度是循环的 2000 倍！这是因为循环需要逐行读取数据并转换为 Python 对象，而向量化操作直接对底层数组执行批量计算，充分利用了 CPU 缓存和并行计算能力。

适用场景：算术运算、比较运算、条件判断等所有可以批量处理的操作。记住，能用列运算解决的问题，坚决不用循环。

技巧 3：给数据建个目录 —— 优化索引设置

如果把 DataFrame 比作一本没有目录的厚书，那么查询数据就像在这本厚书中逐页找内容，效率可想而知。而索引就相当于给这本书加了个目录，能让你瞬间定位到需要的内容。

优化方法：把频繁用于查询或关联的列设置为索引，尤其是在需要多次查询同一列时。

import pandas as pdimport numpy as np# 生成带用户ID的10万行测试数据df = pd.DataFrame({ 'user_id': np.random.randint(1000, 9999, 100000), 'score': np.random.randint(0, 100, 100000)})# 方法1：未设索引，按条件查询（逐页翻书）%timeit df[df['user_id'] == 5000]# 平均耗时：2.1 ms# 方法2：设置索引，按索引查询（按目录查找）df_indexed = df.set_index('user_id')%timeit df_indexed.loc[5000]# 平均耗时：0.02 ms（快100倍）

优化效果：设置索引后，查询速度提升了 100 倍！这是因为索引采用哈希表结构，能实现 O (1) 时间复杂度的快速查找，就像字典一样可以直接根据键找到值。

适用场景：频繁按某列查询数据（如按用户 ID 查询消费记录），或者需要关联多个 DataFrame（类似 SQL 的 JOIN 操作）时，给关联列设置索引能显著提高效率。

技巧 4：别动不动就 "原地修改"—— 慎用 inplace 参数

很多新手看到 inplace=True 这个参数时，会觉得它能节省内存，因为不需要创建新对象。但实际情况恰恰相反，这个参数不仅不会明显提升性能，还会带来很多潜在问题。

优化方法：放弃使用 inplace=True，改用变量接收新结果，既安全又高效。

import pandas as pdimport numpy as np# 生成10万行测试数据df = pd.DataFrame({ 'a': np.random.rand(100000), 'b': np.random.rand(100000)})# 不推荐：使用inplace=Truedf.drop(columns='a', inplace=True)# 问题1：破坏链式操作，无法连贯执行df.drop().fillna().groupby()# 问题2：如果操作失败，原数据可能被部分修改，排查困难# 推荐：用变量接收新结果df_new = df.drop(columns='a')# 优点1：可以进行链式操作，代码更简洁# 优点2：保留原数据，操作失败也不会影响原始数据

优化效果：虽然两种方法在速度上差别不大，但使用变量接收新结果的方式能让代码更健壮、更易读，也更便于调试。特别是在处理重要数据时，保留原始数据是一个好习惯。

避坑指南：浅拷贝（deep=False）和深拷贝（deep=True）也要注意区分。浅拷贝只复制数据的 "地址"，适合临时查看数据；深拷贝完整复制所有数据，仅在需要独立修改数据时使用。对 10 万行 DataFrame 拷贝，深拷贝耗时是浅拷贝的 8 倍（0.08 秒 vs 0.01 秒）。

技巧 5：让 Pandas"聪明" 一点 —— 使用 eval () 加速运算

当需要进行复杂的多列运算时，即使使用向量化操作，Pandas 也可能会创建临时变量，影响效率。这时，我们可以用 eval () 函数让 Pandas 直接解析表达式，减少中间步骤。

优化方法：用 pd.eval () 或 df.eval () 处理复杂表达式，特别是涉及多列运算时。

import pandas as pdimport numpy as np# 生成10万行测试数据df = pd.DataFrame({ 'a': np.random.rand(100000), 'b': np.random.rand(100000), 'c': np.random.rand(100000)})# 需求：计算(a + b) * (c - a)的结果# 方法1：常规向量化操作%timeit (df['a'] + df['b']) * (df['c'] - df['a'])# 平均耗时：0.5 ms# 方法2：使用eval()%timeit df.eval('(a + b) * (c - a)')# 平均耗时：0.25 ms（快2倍）

优化效果：对于复杂运算，eval () 函数能让速度提升约 2 倍。这是因为它会直接解析表达式，避免创建中间变量，减少了内存操作。

适用场景：包含多个列和运算符的复杂表达式，如多列之间的算术运算、条件判断等。但对于简单运算，普通的向量化操作已经足够高效。

5 个优化技巧总结

优化技巧

核心原理

适用场景

速度提升

优化数据类型

用 category 减少重复存储，用小类型存储数值

字符串列多、数值范围小

3-5 倍

向量化操作

批量处理替代逐行循环，利用底层 C 语言计算

算术运算、条件判断

2000 倍

优化索引设置

哈希表加速查询，实现 O (1) 时间复杂度

频繁按某列查询、关联操作

100 倍

慎用 inplace 参数

避免数据修改风险，便于链式操作

所有数据修改操作

小幅提升

使用 eval () 加速

直接解析表达式，减少中间变量

复杂多列运算

2 倍

不要过度优化：先确保代码正确运行，再根据实际情况优化。很多时候，简单明了的代码比过度优化的代码更有价值。避免循环嵌套：如果实在需要循环（比如调用外部 API），用 itertuples () 比 iterrows () 效率高 3-5 倍。注意 Pandas 版本：不同版本的 Pandas 在性能上有差异，建议使用较新版本（2.0 以上），对大数据处理有专门优化。批量操作优先：无论是读取数据还是处理数据，批量操作总是比零散操作高效。比如读取多个 CSV 文件时，先收集所有文件名再批量读取。及时释放内存：处理完的数据如果不再需要，及时用 del 删除，并调用 gc.collect () 释放内存，避免内存不足影响速度。

如果你有其他好用的 Pandas 优化技巧，欢迎在评论区留言分享。如果这篇文章对你有帮助，别忘了点赞、收藏，关注我获取更多数据分析技巧！