Few-Shot Learning (FSL): 小样本学习简介及其应用翻译

1. 什么是小样本学习？

小样本学习(Few-shot learning, FSL)，在少数资料中也被称为low-shot learning(LSL)。小样本学习是一种训练数据集包含有限信息的机器学习问题。

对于机器学习应用来说，通常的做法是提供尽可能多的数据。这是因为在大多数机器学习应用中，输入更多的数据训练能使模型的预测效果更好。然而，小样本学习的目标是使用数量较少的训练集来构建准确的机器学习模型。由于输入数据的维度是一个决定资源消耗成本(如，时间成本，计算成本等)的因素，公司可以通过使用小样本学习来降低数据分析/机器学习消耗成本。

2. 小样本学习为什么重要？

类人的学习方式：人在看过少量例子后就可以认出手写字符之间的不同。然而，计算机需要大量的数据去“分类”它看到的东西，并识别出手写字符之间的不同。小样本学习是一种test base的方法，我们期望它能像人一样从少量的样本中学习。
稀有案例学习：小样本学习能用于稀有案例的学习。例如，当对动物图片进行分类时，用小样本学习训练的机器学习模型，在只得到少量的先验信息后，可以正确地对稀有物种的图像进行分类。
降低数据收集和计算成本：由于小样本学习仅需要少量的数据来训练模型，消除了数据收集和标记相关的高成本。训练数据量少意味着训练数据集的维数低，这可以显著降低计算成本。

3. 小样本学习(Few-shot Learning)和零样本学习(Zero-shot Learning)的区别

小样本学习的目的是在有少量训练数据的情况下能获得准确分类测试样本的模型。零样本学习的目的是预测训练数据集中没有出现过的类。零样本学习和小样本学习有很多共同的应用，例如：

图像分类(image classification)
语义分割(semantic segmentation)
图像生成(image generation)
目标检测(object detection)
自然语言处理(natural language processing)

还有一种叫单样本学习(one-shot learning)的，它经常会和零样本学习混在一起。单样本学习是小样本学习问题的一个特例，它的目的是从一个训练样本或图片中学习到有关物体类别的信息。单样本学习的一个例子是，智能手机中使用的人脸识别技术。

4. 小样本学习的方法

关于相似性的先验知识：机器学习模型在训练数据中学习模式(patterns)，这些模式倾向于分离不同的类，即使是没有见过的数据。传统机器学习模型不能分出没有在训练数据集中出现过的类。然而，对于小样本学习技术，它能使机器学习模型对没有在训练集中出现的类别进行分类。
- 二分类判别
1. 孪生网络(Siamese Networks) 。Python实现代码： https://github.com/tensorfreitas/Siamese-Networks-for-One-Shot-Learning
2. 三胞胎网络(Triplet Networks) 。Python实现代码： https://github.com/asparagus/triplet-net
- 多分类判别
1. 匹配网络(Matching Networks) 。Python实现代码： https://github.com/schatty/matching-networks-tf
2. 原形网络(Prototypical Network) 。Python实现代码： https://github.com/jakesnell/prototypical-networks
3. 关系网络(Relation Networks) 。Python实现代码： https://github.com/mesnico/RelationNetworks-CLEVR
关于学习的先验知识：机器学习模型利用先验知识约束学习算法，从少量的样本中选择泛化良好的参数。
- 在小样本学习中用于超参数调整的技术有：
1. MAML(Model-agnostic Meta-learning) 。Python实现代码： https://github.com/cbfinn/maml
2. FOMAML(First-order Model-agnostic Meta-learning) 。Python实现代码： https://github.com/samringer/FOMAML/blob/master/SineWave.ipynb
3. Reptile 。Python实现代码： https://github.com/openai/supervised-reptile
- 学习更新规则也可以使小数据集获得良好性能：
1. LSTMs 。Python实现代码： https://github.com/twitter/meta-learning-lstm
2. 强化学习(Reinforcement learning) 。Python实现代码： https://github.com/dennybritz/reinforcement-learning
3. Optimization rules 。Python实现代码： https://github.com/mogolola/neural_optimizer_search
- 序列方法使用整个数据集和测试示例，并预测测试样本标签的值：
1. Memory-augmented NN 。Python实现代码： https://github.com/hmishra2250/NTM-One-Shot-TF
2. SNAIL 。Python实现代码： https://github.com/sagelywizard/snail
关于数据的先验知识：机器学习模型利用了关于数据的结构和可变性的先验知识，这使得可以从很少的例子中构建可行的模型。
- 生成模型：
1. Pen-stroke models 。Python实现代码： https://github.com/brendenlake/omniglot
2. Neural statistician 。Python实现代码： https://github.com/conormdurkan/neural-statistician
- 合成新的训练集样本:
1. Analogies (Facebook AI Research)。Python实现代码： https://github.com/facebookresearch/low-shot-shrink-hallucinate
2. End-to-end 。Python实现代码： https://github.com/yjxiong/temporal-segment-networks

5. 小样本学习的应用

5.1 计算机视觉 ：计算机视觉探索如何从数字图像或视频中获得高级理解。小样本学习在计算机视觉中主要用于处理以下问题：

字符识别-Character recognition。NIPS 2016： Learning feed-forward one-shot learners
图像分类-Image classification。ICML 2017： Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks
物体识别-Object recognition。 NIPS*
其他图像应用：
- 图像检索-image retrieval。 NIPS**
- 目标跟踪-object tracking。 NIPS***
- 图像中特定物体计数-specific object counting in images。 ECCV
- 场景位置识别-scene location recognition。 IEEE
- 手势识别-gesture recognition。 Oxford
- part labeling。 IEEE*
- 图像生成-image generation。 NIPS****
- 三维物体的形状视图重建-shape view reconstruction for 3D objects。 ICLR
- 图像描述-image captioning。 Association for Computing Machinery
视频应用：
- 视频分类-video classification。 ECCV*
- 动作预测-motion predicion。 ECCV**
- 行为检测-action localization。 IEEE**
- 行人再识别-person re-identification。 IEEE***
- 事件检测-event detection。 British Machine Vision Conference

5.2 自然语言处理 ：小样本学习使自然语言处理应用程序能够用很少的文本数据样本来完成任务。例如：

句法分析-parsing。 Association for Computational Linguistics
翻译-translation。 ICLR
句子填空-sentence completion。 Google
短文本的情感分类-sentiment classification from short reviews。 NAACL
对话系统的用户意图分类-user intent classification for dialog systems。 IBM Research
罪名预测-criminal charge prediction。代码： https://github.com/thunlp/attribute_charge 。 Association for Computer Linguistics
单词相似度任务-word similarity tasks。 Association for Computer Linguistics*
多标签文本分类-multi-label text classification。 Association for Computer Linguistics**

5.3 机器人 ：为了让机器人的行为更像人类，它们应该能够从少量的示例中归纳出信息。因此，小样本学习在训练机器人完成特定任务中扮演了一个关键角色，例如：

通过模仿一个动作来学习该动作-learning a movement by imitating a single demonstration。 IEEE****
从少量示例中学习操作动作-learning manipulation actions from a few demonstrations。 IEEE*****
视觉导航-visual navigation。 PMLR
连续控制-continuous control。 NIPS*****

5.4 声信号处理 ：包含有关声音信息的数据可以通过声信号处理进行分析，小样本在该方向的应用有：

从用户少量的音频样本中克隆声音( voice cloneing )，如导航app中的声音、Siri等。
变声- voice conversion
不同语言之前的声音转换

5.5 其它应用 ：

医学应用(如， few-shot drug discovery )。
单样本结构搜索- one-shot architecture search ：通过一次训练超网(超网是几个Internet Protocol (IP)网络或子网的组合，组成一个具有单一无分类域间路由(CIDR)前缀的网络)来寻找体系结构。
数学应用
- 曲线拟合- curve-fitting
- 理解数字类推，通过逻辑推理( logic reasoning )来执行计算

6. Python实现

Pytorch – Torchmeta ：一个用于小样本分类和回归问题的库，可以作为多个问题的基线。
FewRel ：一个大规模的小样本关系提取数据集，包含了100+关系和很多已标注的跨领域的实例。
Meta Transfer Learning ：这个库包含了基于元迁移学习的小样本学习的TensorFlow和PyTorch实现。
Few Shot ：纯净、易读、有测试代码的小样本学习研究复现库。
Few-Shot Object Detection ( FsDet )：包含基于小样本的物体检测“ Simple Few-Shot Object Detection ”的官方实现。
Prototypical Networks on the Omniglot Dataset ： “Prototypical Networks for Few-shot Learning” 的Pytorch实现。

机器学习的未来

IBM 研究表明，机器学习在未来将围绕以下领域发展：

经典机器学习：一次处理一个数据集、一个任务和一个繁重训练的问题
基于小样本的机器学习：处理大量的离线训练，然后在类似的任务上轻松学习
发展中的机器学习：持续学习各种任务。

小样本学习（ few-shot learning ， FSL ）旨在从有限的标记实例（通常只有几个）中学习，并对新的、未见过的实例进行识别。首先，在 FSL 设置中，通常有三组数据集，包括支持集S、查询集Q和辅助集A。S中的实例类别已知，Q中实例类别未知但一定属于S，S和A的实例类别一定不相交，即S中的类别一定不会出现在A中。 FSL 任务通常被设定为 N-way K-shot 的形式，其中N是类别的数量，K是每个类别中标记的样本数量，表示支持集 S有N个类，每个类有K个标记样本。N通常为5。K通常设为1或5

小样本学习（ few-shot learning ）是什么：就是使用很少的样本来进行分类或回归 Few-shot Learning 的目标：让机器学会自己学习小样本学习的直观理解： ① 前提：首先要知道，训练一个模型的目的不是为了让模型如何分辨大象和蚂蚁，而是让模型具有判断图片“异同”的能力，即让模型看到两张图片后，它能分别出这俩是不是一个类别。这样，当我们在用大数据集训练出一个分类器后，在测试阶段给. 来源：我们人类是具有快速从少量（单）样本中快速学习能力的，其实在我们学习的过程中，人类的大脑将对象和类别组成有用的信息将之分类。首先需要声明的是，小样本学习属于迁移学习。接着，举个例子详细阐述。人类从未见到过“澳大利亚的鸭嘴兽”，给我们一张鸭嘴兽的照片后，人类就认识了！有的朋友可能会想，为什么我们人类总是能快速的学习到未知的事物？简单的说，是因为人类生活中各种知识的积累以...

原文：https://blog.csdn.net/mao_feng/article/details/78939864 原博地址：https://blog.csdn.net/xhw205/article/details/79491649 小样本学习来源：我们人类是具有快速从少量（单）样本中快速学习能力的，其实在我们学习的过程中，人类的大脑将对象和类别组成有用的信息将之分类。首先需要声明的是，小样 ...

您在使用 FSL -BET的bet2命令时遇到了"Segmentation fault"的提示。这个错误通常是由于内存访问错误或者程序崩溃引起的。可能的原因有以下几种： 1. 输入文件错误：请确保输入文件的路径和名称正确，并且文件是可读的。 2. 内存不足：如果您的计算机内存不足，可能会导致程序运行时出现内存访问错误。您可以尝试关闭其他占用大量内存的程序，或者增加计算机的内存容量。 3. FSL 版本不兼容：请确保您正在使用的 FSL 版本与您的操作系统兼容，并且已正确安装。 4. 软件损坏：如果您的 FSL 安装文件损坏或者存在错误，可能会导致程序运行时出现问题。您可以尝试重新下载并安装 FSL 。建议您检查上述可能的原因，并尝试解决问题。如果问题仍然存在，请参考 FSL 官方文档或者咨询 FSL 支持团队以获取更多帮助。123 #### 引用[.reference_title] - *1* *2* *3* [MRI数据预处理--使用 FSL -BET轻松去头骨，提取脑组织](https://blog.csdn.net/u014264373/article/details/124617863)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

PaddlePaddle: AssertionError: In PaddlePaddle 2.x, we turn on dynamic graph mode by default RooKiChen: 加上这行代码后，我的paddlepaddle问题解决了，我在Ubuntu上下载的版本是这个：python -m pip install paddlepaddle-gpu==2.3.1.post112 -f https://www.paddlepaddle.org.cn/whl/linux/mkl/avx/stable.html 希望能帮助到你 ImportError: DLL load failed while importing ie_api 仅自己可见‘’: 为什么我的还是不行哭了