第3章：知识获取与抽取
知识获取与抽取是知识图谱构建的核心环节，它负责从各种数据源中提取结构化的知识，包括实体、属性和关系。本章将介绍不同类型数据的知识获取方法，包括结构化数据、非结构化数据和多模态数据。
3.1 结构化数据知识提取
结构化数据是指具有明确结构和格式的数据，如关系型数据库、XML文件、JSON数据等。这类数据的知识提取相对容易，主要涉及数据转换和映射。
3.1.1 数据库转换方法
关系型数据库是最常见的结构化数据源之一，将数据库转换为知识图谱需要将表结构和数据映射为知识图谱的实体、属性和关系。
3.1.1.1 转换原则
- 表映射：将数据库表映射为知识图谱的实体类型（Entity Type）
- 字段映射：将表字段映射为实体的属性（Attribute）
- 主键映射：将表主键映射为实体的唯一标识（ID）
- 外键映射：将表之间的外键关系映射为实体之间的关系（Relation）
3.1.1.2 转换方法
1. 直接映射法
直接将数据库表结构映射为知识图谱，不改变原有数据结构。
2. 本体驱动法
先定义知识图谱的本体，然后将数据库数据映射到本体中，这种方法更加灵活，适合复杂的业务场景。
3.1.1.3 代码示例：数据库到知识图谱转换
import sqlite3
import json
from py2neo import Graph, Node, Relationship
# 连接到SQLite数据库
conn = sqlite3.connect('company.db')
cursor = conn.cursor()
# 连接到Neo4j图数据库
graph = Graph("bolt://localhost:7687", auth=(", "password"))
# 读取员工表数据
cursor.execute("SELECT * FROM employees")
employees = cursor.fetchall()
# 读取部门表数据
cursor.execute("SELECT * FROM departments")
departments = cursor.fetchall()
# 读取员工-部门关系数据
cursor.execute("SELECT employee_id, department_id FROM employee_department")
employee_dept = cursor.fetchall()
# 创建部门节点
dept_nodes = {}
for dept in departments:
dept_id, dept_name, dept_location = dept
node = Node("Department", id=dept_id, name=dept_name, location=dept_location)
graph.create(node)
dept_nodes[dept_id] = node
# 创建员工节点和关系
for emp in employees:
emp_id, emp_name, emp_age, emp_title = emp
node = Node("Employee", id=emp_id, name=emp_name, age=emp_age, title=emp_title)
graph.create(node)
# 添加员工-部门关系
for rel in employee_dept:
if rel[0] == emp_id:
dept_id = rel[1]
if dept_id in dept_nodes:
works_in = Relationship(node, "WORKS_IN", dept_nodes[dept_id])
graph.create(works_in)
# 关闭数据库连接
conn.close()
print("数据库到知识图谱转换完成！")3.1.2 API数据整合
API是获取结构化数据的重要来源，许多服务提供商都提供RESTful API接口，用于获取各种类型的数据。
3.1.2.1 API数据特点
- 结构化程度高：API返回的数据通常为JSON或XML格式，结构化程度高
- 实时性强：API可以获取最新的数据
- 标准化：API通常遵循一定的规范，如RESTful API
3.1.2.2 API数据整合流程
- API调研与选择：根据需求选择合适的API服务
- API认证与授权：获取API访问凭证，如API Key、OAuth令牌等
- 数据请求与获取：发送HTTP请求，获取API返回的数据
- 数据解析与转换：解析API返回的数据，转换为知识图谱的三元组
- 数据质量检查：检查数据的完整性、准确性和一致性
- 数据加载：将处理后的数据加载到知识图谱中
3.1.2.3 代码示例：从API获取数据并构建知识图谱
import requests
from py2neo import Graph, Node, Relationship
# 连接到Neo4j图数据库
graph = Graph("bolt://localhost:7687", auth=(", "password"))
# 调用GitHub API获取用户信息
def get_github_user(username):
url = f"https://api.github.com/users/{username}"
response = requests.get(url)
if response.status_code == 200:
return response.json()
else:
return None
# 调用GitHub API获取用户的仓库信息
def get_github_repos(username):
url = f"https://api.github.com/users/{username}/repos"
response = requests.get(url)
if response.status_code == 200:
return response.json()
else:
return []
# 获取用户信息
user_data = get_github_user("octocat")
if user_data:
# 创建用户节点
user_node = Node("GitHubUser",
id=user_data["id"],
login=user_data["login"],
name=user_data["name"],
bio=user_data["bio"],
location=user_data["location"],
followers=user_data["followers"],
following=user_data["following"])
graph.create(user_node)
# 获取用户的仓库信息
repos = get_github_repos("octocat")
for repo in repos:
# 创建仓库节点
repo_node = Node("GitHubRepo",
id=repo["id"],
name=repo["name"],
description=repo["description"],
language=repo["language"],
stars=repo["stargazers_count"],
forks=repo["forks_count"])
graph.create(repo_node)
# 创建用户-仓库关系
owns = Relationship(user_node, "OWNS", repo_node)
graph.create(owns)
print("从GitHub API构建知识图谱完成！")3.2 非结构化数据知识抽取
非结构化数据是指没有固定结构的数据，如文本、图像、音频等。这类数据的知识抽取难度较大，需要使用自然语言处理、计算机视觉等技术。
3.2.1 实体识别技术（NER）
实体识别（Named Entity Recognition，NER）是从文本中识别出命名实体的过程，如人名、地名、组织名、时间、日期等。
3.2.1.1 实体识别的主要方法
1. 基于规则的方法
- 使用正则表达式、词典匹配等规则识别实体
- 优点：简单易实现，准确率高（针对特定领域）
- 缺点：需要人工编写大量规则，可移植性差，难以处理复杂情况
2. 基于统计的方法
- 隐马尔可夫模型（HMM）
- 条件随机场（CRF）
- 优点：不需要人工编写大量规则，可移植性较好
- 缺点：需要大量标注数据，特征工程复杂
3. 基于深度学习的方法
- 循环神经网络（RNN）+ CRF
- 长短时记忆网络（LSTM）+ CRF
- 双向LSTM（BiLSTM）+ CRF
- Transformer + CRF
- 优点：自动学习特征，性能优异
- 缺点：需要大量标注数据，计算资源消耗大
3.2.1.2 代码示例：使用spaCy进行实体识别
import spacy
# 加载预训练模型
nlp = spacy.load("zh_core_web_sm") # 中文模型
# nlp = spacy.load("en_core_web_sm") # 英文模型
# 待处理文本
text = "张三是北京大学的学生，他在2023年获得了计算机科学硕士学位。"
# 处理文本
doc = nlp(text)
# 打印识别出的实体
print("识别出的实体：")
for ent in doc.ents:
print(f"{ent.text} -> {ent.label_}")3.2.1.3 代码示例：使用Hugging Face Transformers进行实体识别
from transformers import AutoTokenizer, AutoModelForTokenClassification, pipeline
# 加载预训练模型和分词器
model_name = "dbmdz/bert-large-cased-finetuned-conll03-english"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForTokenClassification.from_pretrained(model_name)
# 创建NER管道
ner_pipeline = pipeline("ner", model=model, tokenizer=tokenizer, grouped_entities=True)
# 待处理文本
text = "Apple was founded by Steve Jobs, Steve Wozniak, and Ronald Wayne in April 1976."
# 进行实体识别
results = ner_pipeline(text)
# 打印识别结果
print("识别出的实体：")
for result in results:
print(f"{result['word']} -> {result['entity_group']} (score: {result['score']:.4f})")3.2.2 关系抽取方法
关系抽取是从文本中识别出实体之间关系的过程，如"张三"和"北京大学"之间的"毕业于"关系。
3.2.2.1 基于规则的方法
通过定义规则来识别实体之间的关系，如使用正则表达式匹配特定的句式结构。
代码示例：基于规则的关系抽取
import re
import spacy
# 加载中文模型
nlp = spacy.load("zh_core_web_sm")
# 定义关系抽取规则
def extract_relations(text):
# 处理文本
doc = nlp(text)
# 存储抽取的关系
relations = []
# 规则1：[人物]是[组织]的[身份]
pattern1 = re.compile(r"(\w+)是(\w+)的(\w+)")
matches1 = pattern1.finditer(text)
for match in matches1:
person = match.group(1)
org = match.group(2)
title = match.group(3)
relations.append((person, "是", org, "的", title))
# 规则2：[人物]毕业于[学校]
pattern2 = re.compile(r"(\w+)毕业于(\w+)")
matches2 = pattern2.finditer(text)
for match in matches2:
person = match.group(1)
school = match.group(2)
relations.append((person, "毕业于", school))
return relations
# 测试文本
text = "张三是北京大学的学生，他在2023年毕业于北京大学。李四是清华大学的教授，王五毕业于复旦大学。"
# 抽取关系
relations = extract_relations(text)
# 打印结果
print("抽取的关系：")
for relation in relations:
print(relation)3.2.2.2 基于机器学习的方法
将关系抽取视为分类问题，使用机器学习算法从标注数据中学习关系抽取模型。
主要步骤：
- 数据标注：标注文本中的实体对和关系类型
- 特征提取：提取实体对的上下文特征
- 模型训练：使用分类算法（如SVM、Random Forest等）训练模型
- 关系预测：使用训练好的模型预测新文本中的关系
3.2.2.3 基于深度学习的方法
1. 基于序列标注的方法
将关系抽取视为序列标注问题，使用RNN、LSTM、Transformer等模型进行标注。
2. 基于远程监督的方法
利用现有的知识库（如知识图谱）自动生成标注数据，解决标注数据不足的问题。
3. 基于预训练语言模型的方法
使用BERT、RoBERTa等预训练语言模型进行关系抽取，取得了当前最好的性能。
代码示例：使用BERT进行关系抽取
from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch
# 加载预训练模型和分词器
model_name = "bert-base-uncased-finetuned-mnli"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name)
# 定义关系抽取函数
def extract_relation(sentence, entity1, entity2):
# 构建输入文本
input_text = f"[CLS] {sentence} [SEP] {entity1} [SEP] {entity2} [SEP]"
# 分词
inputs = tokenizer(input_text, return_tensors="pt", truncation=True, padding=True)
# 模型预测
outputs = model(**inputs)
logits = outputs.logits
# 获取预测结果
predicted_class = torch.argmax(logits, dim=1).item()
# 映射到关系类型
relation_map = {0: "无关系", 1: "因果关系", 2: "从属关系", 3: "位置关系"} # 示例映射
relation = relation_map.get(predicted_class, "未知关系")
return relation
# 测试
text = "张三在北京大学学习计算机科学。"
entity1 = "张三"
entity2 = "北京大学"
relation = extract_relation(text, entity1, entity2)
print(f"{entity1} 和 {entity2} 之间的关系是：{relation}")3.2.3 事件抽取技术
事件抽取是从文本中识别出事件信息的过程，包括事件类型、事件触发词、事件参与者等。
3.2.3.1 事件抽取的主要任务
- 事件触发词识别：识别文本中触发事件的词语
- 事件类型分类：确定事件的类型，如"出生"、"死亡"、"会议"等
- 事件参与者识别：识别事件中的参与者及其角色
- 事件属性提取：提取事件的时间、地点等属性
3.2.3.2 事件抽取的主要方法
1. 基于规则的方法
使用规则匹配事件模式，如触发词、参与者角色等。
2. 基于机器学习的方法
将事件抽取分解为多个分类任务，如触发词识别、角色分类等。
3. 基于深度学习的方法
使用神经网络模型（如CNN、RNN、Transformer）进行端到端的事件抽取。
代码示例：使用spaCy进行简单的事件抽取
import spacy
from spacy.matcher import Matcher
# 加载中文模型
nlp = spacy.load("zh_core_web_sm")
# 初始化匹配器
matcher = Matcher(nlp.vocab)
# 定义事件模式
# 模式1：[人物]在[时间]获得了[奖项]
pattern1 = [
{"POS": "PROPN"}, # 人物
{"TEXT": "在"},
{"POS": "DATE"}, # 时间
{"TEXT": "获得了"},
{"POS": "PROPN"} # 奖项
]
# 模式2：[组织]于[时间]在[地点]举办了[活动]
pattern2 = [
{"POS": "PROPN"}, # 组织
{"TEXT": "于"},
{"POS": "DATE"}, # 时间
{"TEXT": "在"},
{"POS": "PROPN"}, # 地点
{"TEXT": "举办了"},
{"POS": "NOUN"} # 活动
]
# 添加模式到匹配器
matcher.add("AWARD_EVENT", [pattern1])
matcher.add("ORGANIZE_EVENT", [pattern2])
# 待处理文本
text = "张三在2023年获得了诺贝尔奖。北京大学于2024年在北京举办了国际人工智能大会。"
# 处理文本
doc = nlp(text)
# 匹配事件
matches = matcher(doc)
# 打印匹配结果
print("抽取的事件：")
for match_id, start, end in matches:
event_type = nlp.vocab.strings[match_id]
event_text = doc[start:end].text
print(f"事件类型：{event_type}，事件文本：{event_text}")3.3 多模态知识获取
多模态知识获取是从图像、音频、视频等非文本数据中提取知识的过程。
3.3.1 图像中的知识提取
图像中的知识提取主要包括图像分类、目标检测、图像 captioning 等任务。
3.3.1.1 图像分类
图像分类是将图像归类到预定义的类别中，如识别图像中的物体类型。
代码示例：使用ResNet进行图像分类
from PIL import Image
import torch
from torchvision import transforms, models
# 加载预训练模型
model = models.resnet50(pretrained=True)
model.eval()
# 定义图像预处理
preprocess = transforms.Compose([
transforms.Resize(256),
transforms.CenterCrop(224),
transforms.ToTensor(),
transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]),
])
# 加载并预处理图像
image_path = "cat.jpg"
image = Image.open(image_path)
input_tensor = preprocess(image)
input_batch = input_tensor.unsqueeze(0) # 添加批次维度
# 如果有GPU则使用GPU
if torch.cuda.is_available():
input_batch = input_batch.to('cuda')
model.to('cuda')
# 模型预测
with torch.no_grad():
output = model(input_batch)
# 获取预测结果
probabilities = torch.nn.functional.softmax(output[0], dim=0)
# 加载ImageNet类别标签
with open("imagenet_classes.txt") as f:
classes = [line.strip() for line in f.readlines()]
# 获取top-5预测结果
top5_prob, top5_catid = torch.topk(probabilities, 5)
for i in range(top5_prob.size(0)):
print(f"{classes[top5_catid[i]]}: {top5_prob[i].item() * 100:.2f}%")3.3.1.2 目标检测
目标检测是识别图像中多个物体的位置和类别。
代码示例：使用YOLOv5进行目标检测
import torch
from PIL import Image
import cv2
import numpy as np
# 加载YOLOv5模型
model = torch.hub.load('ultralytics/yolov5', 'yolov5s')
# 加载图像
image_path = "street.jpg"
image = Image.open(image_path)
# 模型预测
results = model(image)
# 显示预测结果
results.print() # 打印检测结果
results.show() # 显示检测结果图像
# 保存检测结果
results.save(save_dir="./")
# 提取检测到的物体信息
detections = results.pandas().xyxy[0]
print("检测到的物体：")
for index, row in detections.iterrows():
class_name = row["name"]
confidence = row["confidence"]
xmin, ymin, xmax, ymax = row["xmin"], row["ymin"], row["xmax"], row["ymax"]
print(f"{class_name}: 置信度 {confidence:.2f}，位置 ({xmin:.0f}, {ymin:.0f}) - ({xmax:.0f}, {ymax:.0f})")3.3.2 音视频内容理解
音视频内容理解包括语音识别、音频分类、视频分类、动作识别等任务。
3.3.2.1 语音识别
语音识别是将音频中的语音转换为文本的过程。
代码示例：使用SpeechRecognition进行语音识别
import speech_recognition as sr
# 创建识别器对象
r = sr.Recognizer()
# 加载音频文件
audio_file = "speech.wav"
with sr.AudioFile(audio_file) as source:
audio_data = r.record(source)
# 使用Google Web Speech API进行语音识别
try:
text = r.recognize_google(audio_data, language="zh-CN")
print(f"识别结果：{text}")
except sr.UnknownValueError:
print("无法识别音频内容")
except sr.RequestError as e:
print(f"无法连接到Google Web Speech API: {e}")3.3.2.2 视频分类
视频分类是将视频归类到预定义的类别中，如识别视频中的动作类型。
代码示例：使用PyTorchVideo进行视频分类
import torch
from torchvision.transforms import Compose, Lambda
from torchvision.transforms._transforms_video import (
CenterCropVideo,
NormalizeVideo,
RandomHorizontalFlipVideo,
RandomResizedCropVideo,
ResizeVideo,
)
from pytorchvideo.data.encoded_video import EncodedVideo
from pytorchvideo.models.hub import slowfast_r50_detection
# 加载预训练模型
model = slowfast_r50_detection(pretrained=True)
model = model.eval()
# 定义视频预处理
def video_transform():
return Compose([
Lambda(lambda x: x / 255.0),
NormalizeVideo([0.45, 0.45, 0.45], [0.225, 0.225, 0.225]),
ResizeVideo((256, 256)),
CenterCropVideo(256),
])
# 加载视频
video_path = "sample_video.mp4"
video = EncodedVideo.from_path(video_path)
# 设置视频采样参数
clip_duration = 2.0 # 采样片段的持续时间（秒）
frames_per_second = 30 # 视频帧率
sample_frames = int(clip_duration * frames_per_second)
# 采样视频片段
video_data = video.get_clip(start_sec=0, end_sec=clip_duration)
video_data = video_transform()(video_data["video"])
video_data = video_data.unsqueeze(0) # 添加批次维度
# 模型预测
with torch.no_grad():
outputs = model(video_data)
# 处理预测结果
# 注意：实际应用中需要根据具体模型调整结果处理方式
print("视频分类结果：")
print(outputs)小结
本章介绍了知识获取与抽取的主要方法，包括：
- 结构化数据知识提取：数据库转换方法和API数据整合
- 非结构化数据知识抽取：实体识别、关系抽取和事件抽取技术
- 多模态知识获取：图像中的知识提取和音视频内容理解
知识获取与抽取是知识图谱构建的基础，它直接影响知识图谱的质量和规模。随着AI技术的发展，尤其是深度学习和大语言模型的应用，知识抽取的自动化程度和准确率不断提高，为大规模知识图谱的构建提供了有力支持。
在下一章中，我们将探讨知识表示与存储技术，包括知识表示方法、知识存储方案和知识融合与对齐。