一、概述
计算机操作系统中的进程状态与切换可以作为 DFA 算法的一种近似理解。如下图所示,其中椭圆表示状态,状态之间的连线表示事件,进程的状态以及事件都是可确定的,且都可以穷举。
DFA 算法具有多种应用,在此先介绍在匹配关键词领域的应用。
二、匹配关键词
我们可以将每个文本片段作为状态,例如“匹配关键词”可拆分为“匹”、“匹配”、“匹配关”、“匹配关键”和“匹配关键词”五个文本片段。
【过程】:
- 初始状态为空,当触发事件“匹”时转换到状态“匹”;
- 触发事件“配”,转换到状态“匹配”;
- 依次类推,直到转换为最后一个状态“匹配关键词”。
再让我们考虑多个关键词的情况,例如“匹配算法”、“匹来4源gaodaimacom搞#代%码*网配关键词”以及“信息抽取”。
可以看到上图的状态图类似树形结构,也正是因为这个结构,使得 DFA 算法在关键词匹配方面要快于关键词迭代方法(for 循环)。经常刷 LeetCode 的读者应该清楚树形结构的时间复杂度要小于 for 循环的时间复杂度。
for 循环:
keyword_list = [] for keyword in ["匹配算法", "匹配关键词", "信息抽取"]: if keyword in "DFA 算法匹配关键词": keyword_list.append(keyword)
for 循环需要遍历一遍关键词表,随着关键词表的扩充,所需的时间也会越来越长。
DFA 算法:找到“匹”时,只会按照事件走向特定的序列,例如“匹配关键词”,而不会走向“匹配算法”,因此遍历的次数要小于 for 循环。具体的实现放在下文中。
【问】:那么如何构建状态图所示的结构呢?
【答】:在 Python 中我们可以使用 dict 数据结构。
state_event_dict = { "匹": { "配": { "算": { "法": { "is_end": True }, "is_end": False }, "关": { "键": { "词": { "is_end": True }, "is_end": False }, "is_end": False }, "is_end": False }, "is_end": False }, "信": { "息": { "抽": { "取": { "is_end": True }, "is_end": False }, "is_end": False }, "is_end": False } }
用嵌套字典来作为树形结构,key 作为事件,通过 is_end
字段来判断状态是否为最后一个状态,如果是最后一个状态,则停止状态转换,获取匹配的关键词。
【问】:如果关键词存在包含关系,例如“匹配关键词”和“匹配”,那么该如何处理呢?
【答】:我们仍然可以用 is_end
字段来表示关键词的结尾,同时添加一个新的字段,例如 is_continue
来表明仍可继续进行匹配。除此之外,也可以通过寻找除 is_end
字段外是否还有其他的字段来判断是否继续进行匹配。例如下面代码中的“配”,除了 is_end
字段外还有“关”,因此还需要继续进行匹配。
state_event_dict = { "匹": { "配": { "关": { "键": { "词": { "is_end": True }, "is_end": False }, "is_end": False }, "is_end": True }, "is_end": False } }