pytorch(Pillow)与tensorflow图片resize行为的差异性

前言

打算把clip模型转成tensorflow，并且将输入修改成web友好地的base64（模型内置预处理层）以便tf-serving上部署供外部api调用。

问题描述

clip代码库中图片预处理是使用pytorch的transforms库完成的，实际上这个库属于pillow的包装库，最后仍然是使用pillow完成的图像处理。

from torchvision.transforms import Compose, Resize, CenterCrop, ToTensor, Normalize

def _transform(n_px):
    return Compose([
        Resize(n_px, interpolation=BICUBIC),
        CenterCrop(n_px),
        _convert_image_to_rgb,
        ToTensor(),
        Normalize((0.48145466, 0.4578275, 0.40821073), (0.26862954, 0.26130258, 0.27577711)),
    ])

整个处理流程是以较小边为基准，将较小边缩放到npx，且保持整体比例不变，缩放的插值算法为bicubic，再进行居中裁剪，再将图片转为rgb模型，最后除255转为tensor后再使用指定均值和方差进行了标准化。

对应的缩放代码，将其改为tensorflow代码，直觉上应该是使用

tf.image.resize()

但是这个resize方法默认会进行压缩，如果选择保持比例，则会将更大的边和你预定值对齐。


	tf.image.resize(imgs_map, [224, 224],method='bicubic',antialias=True,preserve_aspect_ratio=False)
	tf.image.resize(imgs_map, [224, 224],method='bicubic',antialias=True,preserve_aspect_ratio=True)