统计词频是文本分析中的基础操作，可通过以下两种方式实现：

一、手动统计

适用于小规模文本处理，步骤包括：

阅读与分词：

人工阅读文本，按空格、标点符号等规则分割成词语；

去除停用词：

删除如“的”“是”等对意义贡献较小的词；

计数与排序：

使用表格或电子表格软件统计每个词语出现次数，并按频率排序。

示例：统计短篇文档的词频，可手动记录每个词的出现次数，最后汇总排序。

二、自动统计

适用于大规模文本处理，推荐使用编程语言或工具实现，主要方法包括：

1. 使用Python脚本

Python提供简洁的语法和丰富的库，适合快速开发词频统计工具。以下是基本步骤：

文本预处理：将文本转为小写，去除标点符号，并进行分词（如使用`split（）`或正则表达式）；

统计词频：利用字典或`collections.Counter`统计每个词的出现次数；

排序与展示：按频率降序排序，并输出结果（可保存为文件或生成词云图）。

示例代码：

```python

import re

from collections import Counter

def word_frequency(text, top_k=10):

转为小写并去除标点

text = re.sub(r'[^\w\s]', '', text.lower())

分词

words = text.split()

统计词频

word_count = Counter(words)

排序并返回前k个词

return word_count.most_common(top_k)

示例使用

text = "Knowledge engineering is a core part of AI research. Machines can often act and react like humans only if they have abundant information relating to the world."

top_words = word_frequency(text, top_k=5)

print(top_words)

```

2. 使用专业工具

Excel：适用于小规模数据，可通过宏实现批量统计（如按字符分词、排序去重）；

在线工具：如“词频统计器”支持导入文件、选择统计方式（中英文）、排序输出等；

开源软件：如`nltk`库（自然语言处理库）提供分词、词频统计等功能。

三、注意事项

分词准确性：

中文分词需使用专业库（如`jieba`）处理，避免按空格简单分词导致错误；

停用词选择：

根据具体场景调整停用词列表，避免遗漏重要词汇；

结果验证：

对比手动统计结果与自动化工具输出，确保准确性。

通过以上方法，可灵活选择适合的场景进行词频统计。