智岗洞察 Job Insight

AI 岗位需求、技能画像与薪资趋势大数据分析及可视化系统。

项目定位

围绕大模型、AIGC、AI 相关岗位展开招聘数据分析，同时覆盖数据开发、数据分析、算法、Python、Java、前端、后端等技术岗位作为对照组，把 AI 人才市场趋势整理成可解释、可追踪的分析工作台。

系统不只是几张图表：它有完整的登录鉴权、用户管理、操作日志审计、数据链路监控和固定意图智能问答，是一套按正式商用软件形态打磨的完整产品。

数据链路

raw 岗位数据（智联 + 腾讯，2 万条混合样本）
  → cleaner（Python 数据清洗，34 字段标准明细层）
  → clean JSONL / CSV
  → Flume spooldir → HDFS
  → Spark 批处理分析（11 类指标）
  → DataX → MariaDB（明细 + 指标 + 系统表，共 21 张）
  → Spring Boot API（JWT 鉴权，26 个接口）
  → Vue 3 + ECharts 前端（15 个页面）
  → 固定意图智能问答

• cleaner：纯规则清洗 + 可选 LLM 兜底切分，152 个单元测试护航的 34 字段冻结合同
• 大数据链路：Flume / Hadoop / Spark / DataX 脚本与命令手册齐备，可在 CentOS7 虚拟机复现
• 后端：Spring Boot 3.3.6 + MyBatis，JWT 鉴权、角色授权、操作审计，15 单测 + 11 集成测试
• 前端：Vue 3.5 + Naive UI + ECharts，工作台 / 数据分析中心 / 数据链路监控 / 智能问答等 15 个视图

功能亮点

• 工作台：岗位规模、AI 占比、技能热度、城市机会与最近一次链路运行状态一屏聚合
• 数据分析中心：城市薪资、岗位类别、学历经验、技能画像、数据来源五大分析维度，支持导出视图与摘要
• 数据链路监控：Clean → Flume → HDFS → Spark → DataX → MariaDB 全链路六阶段追踪，同步结果一目了然
• 智能问答：城市机会、技能画像、学历经验、应届友好等固定意图即问即答，可选接入任意 OpenAI 兼容端点

技术栈

分层	技术
数据清洗	Python 3.12、pandas、uv
大数据	Hadoop HDFS、Flume、Spark（PySpark）、DataX
数据库	MariaDB（21 张表）
后端	Spring Boot 3.3.6、Java 17、MyBatis、JWT
前端	Vue 3.5、TypeScript、Vite、Pinia、Naive UI、ECharts、Tailwind CSS

预览与源码

在线预览为本站同服务器的真实部署（演示账号 admin / admin123，数据接入中部分图表为空属预期）：

• 在线预览：http://49.232.230.194:8080
• 源码：https://github.com/HaJicong/job-insight （MIT License）