FMDB如何高效取出相同数据库中的重复数据？

在使用FMDB操作SQLite数据库时,经常需要从同一数据库中提取重复或相同的数据，本文将详细介绍如何通过FMDB高效实现这一需求，涵盖基础查询、条件筛选及结果处理等关键步骤。

初始化FMDB数据库连接

首先需要确保已正确初始化FMDB的FMDatabase对象,通过指定数据库文件路径创建连接，

NSString *dbPath = [[NSBundle mainBundle] pathForResource:@"database" ofType:@"db"];  
FMDatabase *db = [FMDatabase databaseWithPath:dbPath];  

在执行查询前,务必通过[db open]方法打开数据库连接，并在操作完成后使用[db close]释放资源。

基础重复数据查询

若需查询表中完全相同的记录,可直接使用GROUP BY子句配合HAVING统计重复次数，例如查询重复的用户记录：

NSString *sql = @"SELECT * FROM users GROUP BY username HAVING COUNT(*) > 1";  
FMResultSet *rs = [db executeQuery:sql];  

遍历结果集rs即可获取所有重复数据，注意：此方法需确保比较字段已建立索引，否则查询效率较低。

按条件筛选重复数据

实际场景中常需按特定字段筛选重复项,例如查询重复邮箱的用户：

NSString *sql = @"SELECT email, COUNT(*) as count FROM users GROUP BY email HAVING count > 1";  

若需获取完整重复记录而非统计信息,可通过子查询实现：

NSString *sql = @"SELECT * FROM users WHERE email IN (SELECT email FROM users GROUP BY email HAVING COUNT(*) > 1)";  

高级重复数据处理

对于复杂重复场景,可结合JOIN或临时表优化查询，例如查询重复订单及用户信息：

NSString *sql = @"SELECT u.*, o.* FROM users u JOIN orders o ON u.id = o.user_id GROUP BY u.id HAVING COUNT(o.id) > 1";  

处理结果时,建议使用字典或模型对象存储数据，

while ([rs next]) {  
    NSString *email = [rs stringForColumn:@"email"];  
    NSLog(@"Duplicate email: %@", email);  
}  

性能优化建议

1. 索引优化：为常用查询字段（如username、email）添加索引，可显著提升查询速度。
2. 分页查询：对于大数据量表，使用LIMIT和OFFSET分页获取结果，避免内存溢出。
3. 事务处理：批量操作时通过[db beginTransaction]和[db commitTransaction]提高效率。

---

FAQs

Q1: 如何高效统计表中所有重复字段的数量？
A1: 可使用以下SQL语句统计各字段的重复情况：

NSString *sql = @"SELECT COUNT(*) as total, COUNT(DISTINCT email) as unique_count FROM users";  
FMResultSet *rs = [db executeQuery:sql];  
if ([rs next]) {  
    NSInteger duplicateCount = [rs intForColumn:@"total"] - [rs intForColumn:@"unique_count"];  
    NSLog(@"Duplicate emails: %ld", (long)duplicateCount);  
}  

Q2: 查询重复数据时如何避免内存溢出？
A2: 对于百万级数据表，建议采用分批查询策略：

1. 先获取重复字段的唯一值列表（如SELECT DISTINCT email FROM users）；
2. 遍历列表时每次查询100条记录,

   NSString *sql = @"SELECT * FROM users WHERE email IN (SELECT email FROM users GROUP BY email HAVING COUNT(*) > 1 LIMIT 100 OFFSET 0)";  

   通过调整OFFSET值分批次获取数据，避免一次性加载过多记录。