河南艾特 网站建设,腾讯云手动搭建wordpress个人站点,培训网站建设方案说明,上海中学地址在现代软件开发中#xff0c;模块化设计是提高代码可维护性和可扩展性的关键技术之一。本文将探讨如何使用注册表#xff08;Registry#xff09;和装饰器函数#xff08;Decorator Function#xff09;来实现模块化设计#xff0c;提升代码的灵活性和可扩展性。
什么是…在现代软件开发中模块化设计是提高代码可维护性和可扩展性的关键技术之一。本文将探讨如何使用注册表Registry和装饰器函数Decorator Function来实现模块化设计提升代码的灵活性和可扩展性。
什么是注册表Registry
注册表是一种设计模式用于集中管理和访问不同模块。在 Python 中注册表通常是一个字典用来存储模块名称和模块类对象的映射关系。通过注册表可以方便地对模块进行注册、获取和列出操作从而实现模块化管理。
基本的注册表实现
以下是一个基本的注册表实现
from loguru import loggerclass Registry(object):This class is used to register some modules to registry by a repo name.def __init__(self, name: str):self._name nameself._modules {}propertydef name(self):return self._namepropertydef modules(self):return self._modulesdef list(self):for m in self._modules.keys():logger.info(f{self._name}\t{m})def get(self, module_key):return self._modules.get(module_key, None)def _register_module(self, module_nameNone, module_clsNone, forceFalse):if module_name is None:module_name module_cls.__name__if module_name in self._modules and not force:raise KeyError(f{module_name} is already registered in {self._name})self._modules[module_name] module_clsmodule_cls._name module_namedef register_module(self, module_name: str None, module_cls: type None, forceFalse):if not (module_name is None or isinstance(module_name, str)):raise TypeError(fmodule_name must be either of None, str, got {type(module_name)})if module_cls is not None:self._register_module(module_namemodule_name, module_clsmodule_cls, forceforce)return module_clsdef _register(module_cls):self._register_module(module_namemodule_name, module_clsmodule_cls, forceforce)return module_clsreturn _register特别注意register_module中的_registerregister_module 方法根据传入的 module_name 和 module_cls 参数返回一个装饰器函数 _register。
使用装饰器函数注册模块
装饰器函数是一种高阶函数可以在不改变原函数或类的前提下动态地增加功能。在注册表模式中装饰器函数可以用于注册模块简化模块注册的过程。
以下是如何使用装饰器函数注册模块的示例
DATASETS Registry(Datasets)DATASETS.register_module(ChineseDataset)
class ChineseDataset:def __init__(self, oss_dir, max_sample_per_cat50, shuffleFalse):self.oss_dir oss_dirself.max_sample_per_cat max_sample_per_catself.shuffle shuffledef info(self):# 实现具体的逻辑passdef format(self, res):# 实现具体的逻辑pass在这个示例中ChineseDataset 类通过装饰器函数 DATASETS.register_module(ChineseDataset) 自动注册到 DATASETS 注册表中。
装饰器函数的工作原理
在上面的代码中DATASETS.register_module(ChineseDataset) 是一个装饰器函数调用。这个装饰器函数的工作原理如下
DATASETS.register_module(ChineseDataset) 返回一个装饰器函数 _register。_register 装饰器应用于 ChineseDataset 类将其作为参数传递给 _register 函数。_register 函数内部调用 _register_module 方法将 ChineseDataset 类注册到 DATASETS 注册表中。
具体的 _register 函数定义如下
def register_module(self, module_name: str None, module_cls: type None, forceFalse):if not (module_name is None or isinstance(module_name, str)):raise TypeError(fmodule_name must be either of None, str, got {type(module_name)})if module_cls is not None:self._register_module(module_namemodule_name, module_clsmodule_cls, forceforce)return module_clsdef _register(module_cls):self._register_module(module_namemodule_name, module_clsmodule_cls, forceforce)return module_clsreturn _register在这个实现中register_module 方法根据传入的 module_name 和 module_cls 参数返回一个装饰器函数 _register。当 ChineseDataset 类被装饰时_register 函数将其注册到 DATASETS 注册表中。
实例化 ChineseDataset 类
实例化 ChineseDataset 类的步骤发生在 deal_one_dataset 函数中通过以下代码实现
ds DATASETS.get(name)(oss_path)这段代码首先通过 DATASETS.get(name) 获取注册的 ChineseDataset 类然后通过 (oss_path) 对其进行实例化。这样ChineseDataset 类的一个实例就被创建并存储在 ds 变量中用于后续的数据处理操作。
为了更清晰地解释让我们回顾一下实例化 ChineseDataset 类的完整过程。在下面的代码片段中实例化过程发生在 deal_one_dataset 函数中
import os, json, argparse
from tqdm import tqdm
import multiprocessing as mp
from src import DATASETS, utilsdef parse_args():parser argparse.ArgumentParser(descriptiondata_parsing, formatter_classargparse.RawTextHelpFormatter)parser.add_argument(--name, typestr, defaultChineseDataset, helpdataset name)parser.add_argument(--oss-dir, typestr, default/root/dengbing/bigdata/benchmark/extract/ChineseDataset/, helposs directory of the dataset)parser.add_argument(--save-path, typestr, defaultoutput.jsonl, helppath for the generated jsonl)args parser.parse_args()return argsdef deal_one_dataset(name, oss_path):ds DATASETS.get(name)(oss_path) # 这里实例化 ChineseDataset 类res ds.info()res ds.format(res)return resif __name__ __main__:args parse_args()with open(args.save_path, w) as outfile:res deal_one_dataset(args.name, args.oss_dir)for r in res:j utils.format_decimals(r)outfile.write(json.dumps(j, ensure_asciiFalse) \n)具体步骤 解析命令行参数 parse_args 函数解析命令行参数获取数据集名称--name、OSS 目录--oss-dir和保存路径--save-path。 处理单个数据集 deal_one_dataset 函数根据传入的 name 和 oss_path 参数处理单个数据集。在这一步中DATASETS.get(name) 获取已经注册的 ChineseDataset 类然后通过 (oss_path) 对其进行实例化。 实例化 ChineseDataset 类 ds DATASETS.get(name)(oss_path) 实际上是两步操作 DATASETS.get(name) 获取注册在 DATASETS 注册表中的 ChineseDataset 类。(oss_path) 调用类的构造函数创建一个 ChineseDataset 类的实例并传递 oss_path 参数。 调用数据集方法 res ds.info() 调用实例的 info 方法获取数据集信息。res ds.format(res) 调用实例的 format 方法格式化数据集信息。 保存结果 主程序部分将处理后的数据集结果保存到指定的 JSONL 文件中。
总结
通过使用装饰器函数ChineseDataset 类可以自动注册到 DATASETS 注册表中而不需要显式地调用注册方法。这种方式简化了模块的注册过程使代码更加简洁和易于维护。
装饰器函数和注册表的结合使用提高了代码的灵活性和可扩展性使得模块化设计更加高效。在实际开发中这种设计模式可以广泛应用于插件系统、数据处理管道和其他需要动态管理模块的场景。
