Henry Zhu hzhu212

记录 Transformer 模型中几种典型位置编码的实现。

1. 默认位置编码

略

2. 旋转位置编码

class RotaryPositionalEncoding(nn.Module):

在分类问题中，FocalLoss 是一种解决标签分布不均的方法，并使模型专注于学习困难样本。例如，在医学影像检测中，负样本数量显著大于正样本。FocalLoss 原始论文中只讨论了二分类任务，缺少针对多分类问题的相应实现，这里记录一下实现方法。

方法1

class MultiClassFocalLoss(nn.Module):
    def __init__(self, gamma: float = 2.0, alpha: torch.Tensor = None, reduction: str = 'mean', ignore_index: int = -100):
        """
        Args:
            gamma (float): 调制因子，越大越关注困难样本 (γ >= 0)。

在多目标学习中，其中一个难题是如何平衡不同目标之间的 loss 及其学习速率，从而避免模型被其中一个目标所主导，导致其他目标不能得到充分学习。这里简要介绍几种方法。

1. 简单平均法

直接将多个 Loss 加权平均，权重为超参数（通常初始化为等权重）。

公式：

$$\mathcal{L}{\text{total}} = \sum{i=1}^N w_i \mathcal{L}_i \quad \text{（默认 } w_i=1.0 \text{）}$$

Wrap shell command with subprocess

create a simple HDFS client for example:

import logging
import subprocess
from typing import List, Tuple, Union, TextIO, BinaryIO

A simple Python retrying decorator

Define:

import functools
import logging

logger = logging.getLogger(__name__)

任意一个 cell 出现异常执行 callback

# this function will be called on exceptions in any cell
def when_exception(shell, etype, evalue, tb, tb_offset=None):
    # still show the error within the notebook, don't just swallow it
    shell.showtraceback((etype, evalue, tb), tb_offset=tb_offset)

    err_msg = f'Unexpected exception occured: {repr(evalue)}'
 logger.error(err_msg)

A wrapper for Python protobuf object:

class PbMessage(object):
    """protobuf 消息的包装类，封装一些通用方法"""

    def __init__(self, pb_class):
        self._pb_class = pb_class
        self._pb_obj = None
        self._raw_msg = None

	from concurrent.futures import as_completed
	from concurrent.futures.process import ProcessPoolExecutor
	import os
	import psutil
	import time


	def kill_child_processes(parent_pid):
	try:
	parent = psutil.Process(parent_pid)

	package com.example.udf;

	import com.google.common.base.Throwables;
	import org.apache.hadoop.hive.ql.exec.Description;
	import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
	import org.apache.hadoop.hive.ql.exec.UDFArgumentLengthException;
	import org.apache.hadoop.hive.ql.exec.UDFArgumentTypeException;
	import org.apache.hadoop.hive.ql.metadata.HiveException;
	import org.apache.hadoop.hive.ql.udf.generic.GenericUDF;
	import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;