SQL 里怎么去重？DISTINCT、GROUP BY 和 ROW_NUMBER 有什么区别、怎么选？

一句话：先问「什么叫重复、留下哪一行」。整行（或选出的列）完全相同，用 DISTINCT；只要按键汇总，用 GROUP BY；同一业务键要留一条还带着其他字段的明细，用 ROW_NUMBER() OVER (PARTITION BY 键 ORDER BY 规则) 再滤 rn=1。

三种写法解决的不是同一件事。
- SELECT DISTINCT user_id, city：结果集里 (user_id, city) 这对值只出现一次。它不管「这个用户还有没有别的城市」，也不谈最新。
- SELECT user_id, COUNT(*) FROM t GROUP BY user_id：一行一个用户，其他列必须 COUNT/SUM/MAX，折叠掉明细。
- 窗口去重：同一 user_id 可能有多行城市、时间、来源，你要留下「最近一次登录的那一整行」，DISTINCT 做不到，因为各行其他列不同；GROUP BY 能 MAX(login_time)，但旁边的 city 用 MAX(city) 会拿错行。

窗口去重的口述级 SQL：

-- 同一用户留最近一次登录的整行
WITH ranked AS (
  SELECT
    user_id, city, device, login_time,
    ROW_NUMBER() OVER (
      PARTITION BY user_id
      ORDER BY login_time DESC, event_id DESC  -- 并列时再拿一个稳定键
    ) AS rn
  FROM login_event
)
SELECT user_id, city, device, login_time
FROM ranked
WHERE rn = 1;

ORDER BY 就是「留下哪一行」的规则。只写 login_time DESC、同一秒两条，引擎可能今天留 A 明天留 B，任务重跑结果会漂。并列时再加主键或事件 ID。

和 DISTINCT / GROUP BY 对照着说。

-- 1) 整行相同：日志重复投递、CDC 重放
SELECT DISTINCT user_id, city, login_time
FROM login_event;

-- 2) 只要人数或次数：折叠，不要明细
SELECT user_id, COUNT(*) AS login_cnt
FROM login_event
GROUP BY user_id;

-- 3) 同一用户留一行明细：必须窗口（或等价的 QUALIFY）
-- Snowflake/部分引擎：
-- SELECT * FROM login_event
-- QUALIFY ROW_NUMBER() OVER (PARTITION BY user_id ORDER BY login_time DESC) = 1;

Hive/Spark SQL 没有标准 QUALIFY 时，用上面的 CTE + rn=1。有的人用 GROUP BY user_id 再 MAX(city)，这不是去重，是「每个字段各自取最大」，行会被拼脏。

落地场景。
- ODS 抽数重复、Kafka 至少一次：先按事件主键 DISTINCT 或按主键 ROW_NUMBER 留最新版本。
- 拉链表/维表对账前：同一自然键先按版本号留一行，再和快照比。
- 漏斗、留存的人日表：GROUP BY user_id, dt 就够，那天只关心「来没来」，不关心当天第几次。

收尾：面试官听的是「重复定义 → 留下规则 → 选对工具」。能主动说「GROUP BY 聚合会拆开一行、窗口才能整行留下」，这题就过了。