DoF - 深度模型核心输出框架

这是什么？

DoF 是一种高度可扩展的数据集格式，可帮助深度学习科学家处理外国和/或敏感数据。DoF 同时提供快速的数据集共享和数据安全。

这个怎么运作？

理论上的基本工作流程如下所示由两部分组成。

创建自由度数据集

• 收集或查找原始数据集。
• 进行所需的数据扩充和预处理。
• 选择要使用的预训练模型。（现在大多数用例都有最好的做法。）
• 用空层替换架构的最终分类器或量词部分。
• 通过预训练的模型核心转发整个数据集。
• 在自由度文件中保存并发布输出。

使用自由度数据集

• 加载自由度数据集
• 构建自己的分类器模块
• 训练你的分类器模块

数据流

正常训练过程与DoF训练过程最显着的区别在于原始输入数据和数据增强的特性，预处理必须单独注意以供进一步使用。这些附加数据在整个数据集中具有共同和独特的水平。

景深的优点

安全和私密

仅使用大量完全连接的节点会使计算输入数据的原始值变得更加困难。其他一些处理方法会对原始数据造成不可逆转的破坏，例如使用池化层。处理图像有一种独特的方法：原始值不等于原始数据，因为原始图像在处理之前已被转换和标准化。庞大而复杂的网络和池化层包含了安全的可能性。这可用于保护个人、敏感或与健康相关的数据。在欧洲，通用数据保护条例 (GDPR) 对使用来自欧洲人民的数据制定了严格的界限。DoF 有助于在不与 GDPR 或任何其他数据保护法规冲突的情况下跨国家传输和共享数据。

高效的

在使用预训练模型时，一种常见的解决方案是简单地剪切分类器并用另一个分类器更改它。这效率不高，因为预训练模型的冻结（未训练）核心在每个时期一遍又一遍地执行相同的计算。使用自由度可以保存未训练模型的结果。只有经过训练的层在这些时期中执行新的计算。根据预训练模型核心和自定义分类器之间的大小比率，这花费的时间要少得多。

在大多数情况下，将数据集存储在自由度中比将数据集存储为自己的存储大小更有效。数据的大小可以精确估计，因为它仅取决于预训练模型核心输出的形状。

要求

python 模块 DoF 只需要标准库中的库。

自由度 2.0.0 中的新功能

• 自由度文件的新结构
• 新的自由度文件类型：DoFJSON
• 新程序结构：core.py、data.py、datamodel.py、file.py、error.py、information.py、services.py、storage.py
• 对每个输入参数使用本机类型 ( >= Python 3.7)
• 使用 init.py
• 数据集信息部分可以重写
• 自由度终于final