Imagemagickを抹殺

Dockerfile

@@ -22,9 +22,7 @@ RUN --mount=type=cache,target=/go/pkg/mod --mount=type=cache,target=/tmp/go/cach
 FROM alpine:3.19.0
 WORKDIR /app
 
-RUN apk add --no-cache --update ca-certificates imagemagick && \
-  update-ca-certificates
-ENV TRAQ_IMAGEMAGICK=/usr/bin/convert
+RUN apk add --no-cache --update ca-certificates && update-ca-certificates
 
 COPY --from=build /traQ ./
 

cmd/config.go

@@ -51,9 +51,6 @@ type Config struct {
 		Enabled bool `mapstructure:"enabled" yaml:"enabled"`
 	} `mapstructure:"accessLog" yaml:"accessLog"`
 
-	// ImageMagick ImageMagick実行ファイルパス
-	ImageMagick string `mapstructure:"imagemagick" yaml:"imagemagick"`
-
 	// Imaging 画像処理設定
 	Imaging struct {
 		// MaxPixels 処理可能な最大画素数 (default: 2560*1600)
@@ -263,7 +260,6 @@ func init() {
 	viper.SetDefault("gzip", true)
 	viper.SetDefault("allowSignUp", false)
 	viper.SetDefault("accessLog.enabled", true)
-	viper.SetDefault("imagemagick", "")
 	viper.SetDefault("imaging.maxPixels", 2560*1600)
 	viper.SetDefault("imaging.concurrency", 1)
 	viper.SetDefault("mariadb.host", "127.0.0.1")
@@ -470,7 +466,6 @@ func provideImageProcessorConfig(c *Config) imaging.Config {
 		MaxPixels:        c.Imaging.MaxPixels,
 		Concurrency:      c.Imaging.Concurrency,
 		ThumbnailMaxSize: image.Pt(360, 480),
-		ImageMagickPath:  c.ImageMagick,
 	}
 }
 

router/utils/process_image.go

@@ -12,8 +12,7 @@ import (
 	"github.com/traPtitech/traQ/router/consts"
 	"github.com/traPtitech/traQ/router/extension/herror"
 	"github.com/traPtitech/traQ/service/file"
-	imaging2 "github.com/traPtitech/traQ/service/imaging"
-	"github.com/traPtitech/traQ/utils/imaging"
+	"github.com/traPtitech/traQ/service/imaging"
 )
 
 const (
@@ -24,16 +23,16 @@ const (
 )
 
 // SaveUploadIconImage MultipartFormでアップロードされたアイコン画像ファイルを保存
-func SaveUploadIconImage(p imaging2.Processor, c echo.Context, m file.Manager, name string) (uuid.UUID, error) {
+func SaveUploadIconImage(p imaging.Processor, c echo.Context, m file.Manager, name string) (uuid.UUID, error) {
 	return saveUploadImage(p, c, m, name, model.FileTypeIcon, iconMaxFileSize, iconMaxImageSize)
 }
 
 // SaveUploadStampImage MultipartFormでアップロードされたスタンプ画像ファイルを保存
-func SaveUploadStampImage(p imaging2.Processor, c echo.Context, m file.Manager, name string) (uuid.UUID, error) {
+func SaveUploadStampImage(p imaging.Processor, c echo.Context, m file.Manager, name string) (uuid.UUID, error) {
 	return saveUploadImage(p, c, m, name, model.FileTypeStamp, stampMaxFileSize, stampMaxImageSize)
 }
 
-func saveUploadImage(p imaging2.Processor, c echo.Context, m file.Manager, name string, fType model.FileType, maxFileSize int64, maxImageSize int) (uuid.UUID, error) {
+func saveUploadImage(p imaging.Processor, c echo.Context, m file.Manager, name string, fType model.FileType, maxFileSize int64, maxImageSize int) (uuid.UUID, error) {
 	const (
 		tooLargeImage = "too large image"
 		badImage      = "bad image"
@@ -61,17 +60,17 @@ func saveUploadImage(p imaging2.Processor, c echo.Context, m file.Manager, name
 		img, err := p.Fit(src, maxImageSize, maxImageSize)
 		if err != nil {
 			switch err {
-			case imaging2.ErrInvalidImageSrc:
+			case imaging.ErrInvalidImageSrc:
 				return uuid.Nil, herror.BadRequest(badImage)
-			case imaging2.ErrPixelLimitExceeded:
+			case imaging.ErrPixelLimitExceeded:
 				return uuid.Nil, herror.BadRequest(tooLargeImage)
 			default:
 				return uuid.Nil, herror.InternalServerError(err)
 			}
 		}
 
 		// PNGに変換
-		var b = bytes.Buffer{}
+		b := bytes.Buffer{}
 		if err := png.Encode(&b, img); err != nil {
 			return uuid.Nil, herror.InternalServerError(err)
 		}
@@ -86,10 +85,7 @@ func saveUploadImage(p imaging2.Processor, c echo.Context, m file.Manager, name
 		b, err := p.FitAnimationGIF(src, maxImageSize, maxImageSize)
 		if err != nil {
 			switch err {
-			case imaging.ErrImageMagickUnavailable:
-				// gifは一時的にサポートされていない
-				return uuid.Nil, herror.BadRequest("gif file is temporarily unsupported")
-			case imaging2.ErrInvalidImageSrc, imaging2.ErrTimeout:
+			case imaging.ErrInvalidImageSrc:
 				// 不正なgifである
 				return uuid.Nil, herror.BadRequest(badImage)
 			default:

router/v1/router_test.go

@@ -61,7 +61,6 @@ func TestMain(m *testing.M) {
 			MaxPixels:        1000 * 1000,
 			Concurrency:      1,
 			ThumbnailMaxSize: image.Pt(360, 480),
-			ImageMagickPath:  "",
 		})
 		env.FileManager, _ = file.InitFileManager(env.Repository, storage.NewInMemoryFileStorage(), env.ImageProcessor, zap.NewNop())
 

router/v3/router_test.go

@@ -109,7 +109,6 @@ func TestMain(m *testing.M) {
 			MaxPixels:        1000 * 1000,
 			Concurrency:      1,
 			ThumbnailMaxSize: image.Pt(360, 480),
-			ImageMagickPath:  "",
 		})
 		env.FM, _ = file.InitFileManager(repo, storage.NewInMemoryFileStorage(), env.IP, l.Named("FM"))
 

service/imaging/config.go

@@ -8,7 +8,6 @@ import (
 var (
 	ErrPixelLimitExceeded = errors.New("the image exceeds max pixels limit")
 	ErrInvalidImageSrc    = errors.New("invalid image src")
-	ErrTimeout            = errors.New("processing timeout")
 )
 
 type Config struct {
@@ -19,6 +18,4 @@ type Config struct {
 	Concurrency int
 	// ThumbnailMaxSize サムネイル画像サイズ
 	ThumbnailMaxSize image.Point
-	// ImageMagickPath imagemagickの実行パス
-	ImageMagickPath string
 }

service/imaging/processor_default.go

@@ -5,17 +5,22 @@ import (
 	"context"
 	"fmt"
 	"image"
+	"image/color"
+	"image/draw"
+	"image/gif"
 	_ "image/jpeg" // image.Decode用
 	_ "image/png"  // image.Decode用
 	"io"
-	"time"
+	"math"
+	"sync"
 
 	_ "golang.org/x/image/webp" // image.Decode用
 
 	"github.com/disintegration/imaging"
 	"github.com/go-audio/wav"
 	"github.com/hajimehoshi/go-mp3"
 	"github.com/motoki317/go-waveform"
+	"golang.org/x/sync/errgroup"
 	"golang.org/x/sync/semaphore"
 
 	imaging2 "github.com/traPtitech/traQ/utils/imaging"
@@ -73,21 +78,148 @@ func (p *defaultProcessor) Fit(src io.ReadSeeker, width, height int) (image.Imag
 }
 
 func (p *defaultProcessor) FitAnimationGIF(src io.Reader, width, height int) (*bytes.Reader, error) {
-	ctx, cancel := context.WithTimeout(context.Background(), 10*time.Second) // 10秒以内に終わらないファイルは無効
-	defer cancel()
-
-	b, err := imaging2.ResizeAnimationGIF(ctx, p.c.ImageMagickPath, src, width, height, false)
+	srcImage, err := gif.DecodeAll(src)
 	if err != nil {
-		switch err {
-		case context.DeadlineExceeded:
-			return nil, ErrTimeout
-		case imaging2.ErrInvalidImageSrc:
-			return nil, ErrInvalidImageSrc
-		default:
-			return nil, err
+		return nil, ErrInvalidImageSrc
+	}
+
+	srcWidth, srcHeight := srcImage.Config.Width, srcImage.Config.Height
+	// 画素数チェック
+	if srcWidth*srcHeight > p.c.MaxPixels {
+		return nil, ErrPixelLimitExceeded
+	}
+	// 画像が十分小さければスキップ
+	if srcWidth <= width && srcHeight <= height {
+		return imaging2.GifToBytesReader(srcImage)
+	}
+
+	// 元の比率を保つよう調整 & 拡大・縮小比率を計算
+	floatSrcWidth, floatSrcHeight, floatWidth, floatHeight := float64(srcWidth), float64(srcHeight), float64(width), float64(height)
+	ratio := floatWidth / floatSrcWidth
+	if floatSrcWidth/floatSrcHeight > floatWidth/floatHeight {
+		ratio = floatWidth / floatSrcWidth
+		height = int(math.Round(floatSrcHeight * ratio))
+	} else if floatSrcWidth/floatSrcHeight < floatWidth/floatHeight {
+		ratio = floatHeight / floatSrcHeight
+		width = int(math.Round(floatSrcWidth * ratio))
+	}
+
+	destImage := &gif.GIF{
+		Image:     make([]*image.Paletted, len(srcImage.Image)),
+		Delay:     srcImage.Delay,
+		LoopCount: srcImage.LoopCount,
+		Disposal:  srcImage.Disposal,
+		Config: image.Config{
+			ColorModel: srcImage.Config.ColorModel,
+			Width:      width,
+			Height:     height,
+		},
+		BackgroundIndex: srcImage.BackgroundIndex,
+	}
+
+	var (
+		gifBound = image.Rect(0, 0, srcWidth, srcHeight)
+
+		// フレームを重ねるためのキャンバス
+		//	差分最適化されたGIFに対応するための処置
+		// 	差分最適化されたGIFでは、1フレーム目以外、周りが透明ピクセルのフレームを
+		// 	次々に重ねていくことでアニメーションを表現する
+		// 	周りが透明ピクセルのフレームをそのまま縮小すると、周りの透明ピクセルと
+		// 	混ざった色が透明色ではなくなってフレームの縁に黒っぽいノイズが入ってしまう
+		// 	ため、キャンバスでフレームを重ねてから縮小する
+		tempCanvas = image.NewNRGBA(gifBound)
+		// DisposalPreviousに対応するため、Disposeされていないフレームを保持
+		unDisposedFrame = image.NewNRGBA(gifBound)
+
+		// destImage.ImageのためのMutex
+		destImageMutex = &sync.Mutex{}
+		eg, _          = errgroup.WithContext(context.Background())
+	)
+
+	for i, srcFrame := range srcImage.Image {
+		// 元のフレームのサイズと位置
+		//  差分最適化されたGIFでは、これが元GIFのサイズより小さいことがある
+		srcBounds := srcFrame.Bounds()
+		// 縮小後のフレームのサイズと位置を計算
+		destBounds := image.Rect(
+			int(math.Round(float64(srcBounds.Min.X)*ratio)),
+			int(math.Round(float64(srcBounds.Min.Y)*ratio)),
+			int(math.Round(float64(srcBounds.Max.X)*ratio)),
+			int(math.Round(float64(srcBounds.Max.Y)*ratio)),
+		)
+
+		switch srcImage.Disposal[i] {
+		case gif.DisposalBackground:
+			// Disposalが2に設定されていたらキャンバスを初期化
+			tempCanvas = image.NewNRGBA(gifBound)
+
+		case gif.DisposalPrevious:
+			// Disposalが3に設定されていたら、Disposeされていないフレームまでキャンバスを戻す
+			tempCanvas = unDisposedFrame
 		}
+
+		// キャンバスに読んだフレームを重ねる
+		draw.Draw(tempCanvas, srcBounds, srcFrame, srcBounds.Min, draw.Over)
+
+		// Disposalが1に設定されていたら、Disposeされていないフレームを更新
+		if srcImage.Disposal[i] == gif.DisposalNone {
+			unDisposedFrame = &image.NRGBA{
+				Pix:    append([]uint8{}, tempCanvas.Pix...),
+				Stride: tempCanvas.Stride,
+				Rect:   tempCanvas.Rect,
+			} // tempCanvasはポインタを使い回しているので、Deep Copyする
+		}
+
+		// 拡縮用GoRoutineを起動
+		eg.Go(resizeRoutine(frameData{
+			index: i,
+			tempCanvas: &image.NRGBA{
+				Pix:    append([]uint8{}, tempCanvas.Pix...),
+				Stride: tempCanvas.Stride,
+				Rect:   tempCanvas.Rect,
+			}, // tempCanvasはポインタを使い回しているので、Deep Copyする
+			resizeWidth:  width,
+			resizeHeight: height,
+			srcBounds:    srcBounds,
+			destBounds:   destBounds,
+			srcPalette:   srcImage.Image[i].Palette,
+		}, destImage, destImageMutex))
+	}
+
+	err = eg.Wait()
+	if err != nil {
+		return nil, err
+	}
+
+	return imaging2.GifToBytesReader(destImage)
+}
+
+// GIFのリサイズ時、拡縮用GoRoutineに渡すフレームのデータ
+type frameData struct {
+	index        int
+	tempCanvas   *image.NRGBA
+	resizeWidth  int
+	resizeHeight int
+	srcBounds    image.Rectangle
+	destBounds   image.Rectangle
+	srcPalette   color.Palette
+}
+
+func resizeRoutine(data frameData, destImage *gif.GIF, destImageMutex *sync.Mutex) func() error {
+	return func() error {
+		// 重ねたフレームを縮小
+		fittedImage := imaging.Resize(data.tempCanvas, data.resizeWidth, data.resizeHeight, mks2013Filter)
+
+		// destBoundsに合わせて、縮小されたイメージを切り抜き
+		destFrame := image.NewPaletted(data.destBounds, data.srcPalette)
+		draw.Draw(destFrame, data.destBounds, fittedImage.SubImage(data.destBounds), data.destBounds.Min, draw.Src)
+
+		destImageMutex.Lock()
+		defer destImageMutex.Unlock()
+		destImage.Image[data.index] = destFrame
+
+		return nil
 	}
-	return b, nil
 }
 
 func (p *defaultProcessor) WaveformMp3(src io.ReadSeeker, width, height int) (r io.Reader, err error) {