数据分析与可视化

帮我构建一个交互式仪表板来分析用户留存数据:

数据源:
- 用户注册数据 (users.csv)
- 用户活动日志 (activity.csv)

功能要求:
- 显示 7 天、30 天和 90 天留存率曲线
- 按用户来源分组对比(广告、自然流量、推荐)
- 时间范围筛选器
- 显示每周活跃用户趋势的柱状图

技术栈: 使用 React + Recharts 生成一个可以
直接运行的网页。

帮我分析这份销售数据 (sales_2024.csv):

1. 给我数据概览(行数、列数、缺失值)
2. 生成描述性统计(均值、中位数、标准差)
3. 识别异常值
4. 做相关性分析,看哪些因素影响销售
5. 绘制关键指标的分布图和趋势图
6. 总结 3-5 个关键发现

使用这份客户流失数据 (churn_data.csv) 训练
预测模型:

1. 数据预处理(处理缺失值、标准化数值特征)
2. 特征工程(生成有用的新特征)
3. 训练几个模型(逻辑回归、随机森林、XGBoost)
4. 对比模型性能(准确率、召回率、F1、AUC)
5. 生成特征重要性分析
6. 给我最佳模型的预测代码,可以预测新客户

帮我设置自动监控:

- 每天早上 9 点检查这个 BigQuery 数据表
- 如果日活跃用户比 7 天平均值低 20%,发送警报
- 如果错误率超过 5%,发送警报
- 生成每日数据摘要并发送到我的邮箱

这个方法看起来太复杂了。尝试更简单的方法,
依赖更少。

用 Python 处理这些数据,然后用 JavaScript
使用 D3.js 可视化以获得交互式图表。

对这些数据执行客户细分分析:

[上传 customer_data.csv]

数据包括:
- 人口统计(年龄、位置、收入)
- 购买历史(频率、价值、最近购买)
- 参与度指标(邮件打开、网站访问)

任务:
1. 执行 RFM 分析(最近性、频率、金额)
2. 使用 K-means 聚类识别 4-5 个客户细分
3. 分析每个细分的特征(特点、行为)
4. 用散点图和雷达图可视化细分
5. 为每个细分推荐营销策略
6. 导出细分分配以在 CRM 中使用

创建销售预测模型:

数据: monthly_sales.csv (3 年历史数据)

要求:
1. 分解时间序列(趋势、季节性、残差)
2. 检查平稳性(ADF 测试)
3. 训练多个模型:
   - ARIMA
   - Prophet (Facebook 的预测工具)
   - LSTM (如果模式复杂)
4. 对比模型性能(RMSE、MAE、MAPE)
5. 预测未来 6 个月
6. 创建置信区间
7. 用交互式图表可视化历史数据 + 预测

解释哪个模型表现最佳以及原因。

分析我们的 A/B 测试结果:

[上传 ab_test_results.csv]

测试详情:
- 对照组: 当前结账流程
- 变体: 新的一键结账
- 指标: 转化率、平均订单价值、完成时间
- 样本大小: 每个变体 10,000 用户

需要的分析:
1. 计算统计显著性(p 值、置信区间)
2. 检查样本比例不匹配
3. 按用户细分分析(新用户 vs 回访用户、设备类型)
4. 计算实际显著性(效应量)
5. 如果推出变体,估计收入影响
6. 用清晰的图表可视化结果
7. 提供执行/不执行建议

在统计解释上保守。

构建队列留存分析:

数据: user_activity.csv 包含 user_id、signup_date、activity_date

分析:
1. 按注册月份分组用户(队列)
2. 计算每个队列的留存率:
   - 第 1、7、14、30、60、90 天
3. 创建队列留存热力图
4. 识别哪些队列留存最佳
5. 分析是否存在季节性模式
6. 对比重大功能发布前后的队列(2024 年 6 月)
7. 构建交互式仪表板探索不同队列分组

帮我理解是什么驱动了留存差异。

帮我优化这个慢速 SQL 查询:

[粘贴 SQL 查询]

数据库: PostgreSQL
表大小: 5000 万行
当前执行时间: 45 秒

请:
1. 解释查询在做什么
2. 识别性能瓶颈
3. 建议优化(索引、查询重写等)
4. 解释执行计划
5. 提供优化后的版本
6. 估计预期的性能改进

还建议我应该创建哪些索引。

创建自动化每周分析报告:

数据源:
- PostgreSQL 数据库(用户事件)
- Google Analytics (通过 API)
- Stripe (通过 API 获取收入数据)

报告部分:
1. 执行摘要
   - 关键指标 vs 上周
   - 显著变化(标记 >10% 的变化)

2. 用户增长
   - 新注册(每日趋势)
   - 激活率
   - 按渠道的增长率

3. 参与度
   - DAU/WAU/MAU 趋势
   - 功能使用分解
   - 会话持续时间分析

4. 收入
   - MRR 和增长率
   - 新客户 vs 扩展 vs 流失
   - 按队列的客户 LTV

输出:
- 带嵌入式图表的 HTML 报告
- 用于分发的 PDF 版本
- 每周一上午 8 点通过邮件发送

自动化这个每周运行。(Pro/Max 套餐)

设置数据质量检查:

数据集: user_events 表 (BigQuery)

要实施的检查:
1. 完整性
   - 关键字段无空值
   - 预期行数(7 天平均值的 ±20%)

2. 唯一性
   - 无重复的 event_ids
   - User_id 格式验证

3. 及时性
   - 事件在 1 小时内处理
   - 无 >30 分钟的数据间隙

4. 有效性
   - 时间戳在合理范围内
   - 数值字段在预期范围内
   - 类别值匹配允许列表

如果任何检查失败,通知我。每小时运行检查。
提供显示数据质量趋势的仪表板。

帮我为 ML 模型构建特征存储:

原始数据: user_profiles.csv、transactions.csv、events.csv

要工程化的特征:
1. 用户特征:
   - 总交易数(所有时间)
   - 平均交易价值
   - 距上次交易的天数
   - 交易频率(每月)
   - 偏好类别

2. 行为特征:
   - 最近 7/30 天的页面浏览量
   - 最近 7/30 天的会话数
   - 参与度分数(自定义计算)

3. 时间特征:
   - 星期几模式
   - 一天中的时间模式

要求:
- 每天更新特征
- 以可用于模型训练的格式存储
- 适当处理缺失值
- 包括特征文档
- 特征版本控制

创建计算和更新这些特征的管道。

创建一个交互式仪表板,用户可以:
- 用滑块按日期范围筛选
- 在不同指标之间切换
- 悬停查看详细值
- 点击细分进行深入
- 将当前视图导出为 PNG

使用 Plotly 或 Recharts 实现交互性。

我有一个 10GB 的 CSV 文件,太大无法在内存中处理。

帮我:
1. 分块处理
2. 高效执行聚合
3. 创建汇总统计
4. 为可视化采样数据
5. 在不加载所有内容的情况下识别异常值

使用适当的工具(dask、polars 或分块策略)。

这个仪表板查询加载需要 30 秒以上。

当前查询: [粘贴 SQL]

请通过以下方式优化:
1. 识别不必要的连接
2. 建议适当的索引
3. 用更好的结构重写
4. 如果适当,使用物化视图
5. 实施缓存策略

目标: <5 秒加载时间