如何将数据库中的数据读取并添加到list列表里？

在软件开发与数据处理领域,将数据库中的数据加载到内存中的列表（List）里，是一项极其常见且基础的操作，这个过程通常是为了在应用程序中进行展示、计算、分析或进一步的业务逻辑处理，虽然在不同的编程语言和数据库系统中，具体的实现细节有所不同，但其核心思想与步骤是相通的，本文将以Python语言和轻量级数据库SQLite为例，系统性地讲解如何将数据库中的数据高效、规范地添加到列表中，并探讨不同数据结构的应用场景。

核心原理：数据库与内存数据交互的流程

无论使用何种技术栈,从数据库获取数据并存入列表的基本流程都可以概括为以下几个核心步骤：

1. 建立连接：应用程序需要通过数据库驱动程序建立一个到目标数据库的物理或逻辑连接，这就像是打通一条从你的程序到数据库服务器的数据通道。
2. 创建游标：连接建立后，需要创建一个“游标”对象，游标是一个控制数据结构的指针，它允许你逐行遍历和处理SQL查询返回的结果集，你可以把它想象成一个在查询结果上移动的光标。
3. 执行查询：使用游标对象执行一个SQL查询语句（通常是SELECT语句），这个语句会告诉数据库你想要检索哪些表、哪些字段以及满足什么条件的数据。
4. 获取数据：查询执行后，数据库会将结果集返回，你需要使用游标提供的方法（如fetchall(), fetchone(), fetchmany()）来将这些数据从数据库服务器“拉”到你的应用程序内存中。
5. 处理并添加到列表：获取到的原始数据（通常是元组或字典的集合）被逐条或批量地处理，然后使用列表的append()或extend()等方法，将其添加到预先定义好的列表中。
6. 关闭资源：数据操作完成后，必须关闭游标和数据库连接，以释放数据库资源，防止连接泄露，这是保证应用程序健壮性的重要一环。

实战演练：使用Python和SQLite填充列表

Python内置了sqlite3模块，使得我们可以无需安装任何额外依赖就能开始学习和实践，下面将通过一个完整的示例来演示上述流程。

准备数据库和数据

为了让示例可独立运行,我们首先创建一个SQLite数据库文件，并插入一些示例数据。

import sqlite3
# 创建一个内存中的数据库（也可以是文件，如 'example.db'）
conn = sqlite3.connect(':memory:')
cursor = conn.cursor()
# 创建一个名为 'users' 的表
cursor.execute('''
    CREATE TABLE users (
        id INTEGER PRIMARY KEY,
        name TEXT NOT NULL,
        email TEXT NOT NULL UNIQUE
    )
''')
# 插入一些示例数据
sample_data = [
    (1, 'Alice', 'alice@example.com'),
    (2, 'Bob', 'bob@example.com'),
    (3, 'Charlie', 'charlie@example.com')
]
cursor.executemany('INSERT INTO users (id, name, email) VALUES (?, ?, ?)', sample_data)
# 提交事务并关闭连接（仅为准备阶段）
conn.commit()
conn.close()
print("数据库准备完毕。")

连接、查询并添加到列表

我们将从这个准备好的数据库中读取数据,并以不同的形式存入列表。

import sqlite3
# 重新连接到数据库
conn = sqlite3.connect(':memory:') # 在实际应用中，这里应该是文件名
cursor = conn.cursor()
# 重新创建表并插入数据（为了让此代码块可独立运行）
cursor.execute('''CREATE TABLE users (id INTEGER PRIMARY KEY, name TEXT NOT NULL, email TEXT NOT NULL UNIQUE)''')
cursor.executemany('INSERT INTO users (id, name, email) VALUES (?, ?, ?)', [(1, 'Alice', 'alice@example.com'), (2, 'Bob', 'bob@example.com'), (3, 'Charlie', 'charlie@example.com')])
conn.commit()
# --- 方法一：使用 fetchall() 获取所有行，结果为元组列表 ---
print("--- 方法一：使用 fetchall() ---")
cursor.execute("SELECT id, name, email FROM users")
tuple_list = cursor.fetchall() # fetchall()直接返回一个包含所有行的列表
print(f"元组列表: {tuple_list}")
print(f"第一个用户（元组）: {tuple_list[0]}, 姓名: {tuple_list[0][1]}")
# --- 方法二：在循环中逐行获取，并转换为字典列表（推荐） ---
print("n--- 方法二：转换为字典列表 ---")
cursor.execute("SELECT id, name, email FROM users")
# 获取列名，用于构建字典
columns = [description[0] for description in cursor.description]
dict_list = []
for row in cursor:
    # 将每一行（元组）和列名（列表）打包成字典
    user_dict = dict(zip(columns, row))
    dict_list.append(user_dict)
print(f"字典列表: {dict_list}")
print(f"第一个用户（字典）: {dict_list[0]}, 姓名: {dict_list[0]['name']}")
# --- 最佳实践：使用 `with` 语句自动管理资源 ---
print("n--- 最佳实践：使用 `with` 语句 ---")
dict_list_safe = []
try:
    with sqlite3.connect(':memory:') as conn_safe:
        conn_safe.execute('''CREATE TABLE users (id INTEGER PRIMARY KEY, name TEXT NOT NULL, email TEXT NOT NULL UNIQUE)''')
        conn_safe.executemany('INSERT INTO users (id, name, email) VALUES (?, ?, ?)', [(1, 'Alice', 'alice@example.com')])
        conn_safe.commit()
        with conn_safe.cursor() as cursor_safe:
            cursor_safe.execute("SELECT id, name, email FROM users")
            columns = [desc[0] for desc in cursor_safe.description]
            for row in cursor_safe:
                dict_list_safe.append(dict(zip(columns, row)))
except sqlite3.Error as e:
    print(f"数据库错误: {e}")
print(f"使用`with`语句获取的字典列表: {dict_list_safe}")
# 注意：无需手动关闭连接，`with`语句块结束时自动完成

不同场景下的数据存储格式对比

将数据从数据库取出后,选择何种数据结构来存储它，对后续的开发效率和程序性能有直接影响，下表对比了三种常见的方式。

存储格式	示例	优点	缺点	适用场景
元组列表	[(1, 'Alice'), (2, 'Bob')]	内存占用小，存储紧凑，创建速度快。	数据可读性差，只能通过索引（如row[0]）访问，易出错。	数据传递，当不需要关心字段名，只关心数据值时。
字典列表	[{'id': 1, 'name': 'Alice'}, {'id': 2, 'name': 'Bob'}]	可读性极佳，通过键（如row['name']）访问，代码清晰不易错。	内存占用比元组稍大，创建和访问速度略慢于元组。	API返回数据、模板渲染、绝大多数业务逻辑处理场景。
自定义对象列表	[<User object at 0x...>, <User object at 0x...>]	面向对象，类型安全，IDE支持好，可封装行为和方法。	需要预先定义类，代码量最多，创建开销最大。	复杂的业务系统，当数据本身需要关联操作和状态时。

将数据库中的数据添加到列表中,是连接持久化存储与内存计算的关键桥梁，其核心在于掌握“连接-游标-查询-获取-处理-关闭”这一标准流程，在实际开发中，直接使用fetchall()获取元组列表虽然简单，但在追求代码可读性和健壮性的项目中，将数据转换为字典列表是更优的选择，务必养成使用with语句或try...finally块来管理数据库连接资源的良好习惯，以构建稳定可靠的应用程序，根据具体需求，灵活选择最合适的数据结构，将使你的代码更加高效和易于维护。

---

相关问答FAQs

问题1：如果数据库中的数据量非常大，一次性 fetchall() 会不会导致内存溢出？

解答： 是的，这是一个非常值得注意的问题，当查询结果包含数百万甚至上亿行数据时，fetchall()会尝试将所有数据一次性加载到内存中，这极有可能导致应用程序内存溢出而崩溃，对于大数据量的处理，推荐使用以下两种更内存友好的方式：

1. 逐行迭代：直接在游标上进行迭代，游标对象本身是可迭代的，它每次从数据库服务器拉取一行数据到内存中，处理完后再拉取下一行，这种方式内存占用极小，始终保持为处理单行数据所需的内存。

   cursor.execute("SELECT * FROM very_large_table")
   for row in cursor:
       process(row) # 在这里处理每一行

2. ：在循环中调用fetchone()可以一次获取一行，而fetchmany(size)可以一次获取指定数量的行（例如100行），这在批量处理时可以平衡网络开销和内存使用。

问题2：除了 SQLite，连接 MySQL 或 PostgreSQL 数据库的步骤一样吗？

解答： 核心逻辑（连接、创建游标、执行、获取、关闭）是完全一样的，这是数据库编程的通用范式，具体使用的库（驱动）以及建立连接时所需的参数（连接字符串）是不同的。

• 对于 MySQL，通常使用mysql-connector-python或PyMySQL库，连接代码示例如下：

  import mysql.connector
  conn = mysql.connector.connect(
      host="localhost",
      user="youruser",
      password="yourpassword",
      database="yourdatabase"
  )

• 对于 PostgreSQL，最流行的库是psycopg2，连接代码示例如下：

  import psycopg2
  conn = psycopg2.connect(
      host="localhost",
      database="yourdatabase",
      user="youruser",
      password="yourpassword"
  )

一旦连接成功,后续创建游标、执行SQL和获取数据的操作（cursor(), execute(), fetchall()等）与SQLite的API非常相似，因此可以平滑地将知识迁移到不同的数据库系统中。