AI“数据”不仅是燃料，更决定了AI大模型的“天花板”，所以数据非常的重要@mikechen

第一类：互联网网页（Web Data）

互联网是目前最大的数据来源。

主要包括：

• 新闻网站
• 技术博客
• Wikipedia
• Stack Overflow
• Reddit
• GitHub Pages
• 企业官网
• 开源文档
• 教程网站

例如：

Java教程

Spring官方文档

Linux命令

数据库文章

AI博客

互联网数据最大的优势：

数量极大。

通常占整个训练数据的大部分。

优点：

• 覆盖知识广
• 更新快
• 数据规模巨大

缺点：

• 广告多
• 重复多
• 错误内容多
• 质量参差不齐

因此不能直接用于训练。

第二类：图书（Books）

图书是高质量知识的重要来源。

包括：

• 教材
• 专业书籍
• 文学作品
• 历史书籍
• 科普读物
• 数学教材

例如：

算法

操作系统

计算机网络

数据库

Java

Python

优势：

知识系统化。

比网页质量更高。

很多推理能力，

都来自于高质量书籍。

第三类：论文（Academic Papers）

科研论文提供：

最前沿知识。

例如：

• AI
• 数学
• 医学
• 生物
• 金融
• 物理

很多模型：

都会学习：

ACL

NeurIPS

ICML

CVPR

ICLR

论文特点：

• 专业
• 严谨
• 逻辑完整

能够提升：

推理能力。

第四类：代码（Code）

这是 GPT 系列、

Claude、

Codex、

DeepSeek-Coder、

Qwen-Coder 等编程模型的重要数据来源。

主要来自：

• GitHub
• GitLab
• 开源项目
• 官方 SDK
• API 文档
• 技术文档

包括：

Java

Python

Go

Rust

C  

SQL

Shell

代码数据决定：

AI 是否真正会写代码。

第五类：百科知识

例如：

• Wikipedia
• 百科知识库
• 词典
• 专业知识图谱

优势：

事实准确率较高。

能够提供：

大量基础知识。

第六类：对话数据（Instruction Data）

这是 ChatGPT 成功的重要因素之一。

例如：

用户：

如何学习Java？

AI：

建议从......

这种：

Question

↓

Answer

就是：

Instruction Data（指令数据）。

它让模型：

学会：

如何回答问题。

而不是：

仅仅预测下一个词。

第七类：多模态数据

现代 AI 不仅学习：

文字。

还学习：

• 图片
• 视频
• 音频
• PDF
• 表格
• OCR
• 数学公式

例如：

图片

↓

文字描述

视频

↓

字幕

↓

知识

最终形成：

多模态训练。