CleanerScheduler.kt
/*
Copyright (C) 2026 Sber
Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at
http://www.apache.org/licenses/LICENSE-2.0
In any derivative products, you must retain the information of
owner of the original code and provide clear attribution to the project
https://dochub.info
The use of this product or its derivatives for any purpose cannot be a secret.
Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.
Maintainers:
Sergeev Viktor <sergeevviktor017@gmail.com>, Sber - 2025
Contributors:
Sergeev Viktor <sergeevviktor017@gmail.com>, Sber - 2025
*/
package org.archtool.archloader.service.scheduler
import jakarta.annotation.PostConstruct
import java.nio.file.Files
import java.nio.file.Path
import java.util.concurrent.Executors
import java.util.concurrent.Future
import java.util.concurrent.RejectedExecutionException
import kotlin.io.path.exists
import org.slf4j.LoggerFactory
import org.springframework.scheduling.concurrent.ThreadPoolTaskScheduler
import org.springframework.stereotype.Component
import org.archtool.archloader.configuration.properties.CleanerSchedulerProperties
import org.archtool.archloader.service.TaskStoreService
import org.archtool.archloader.service.dto.UploadTask
import org.archtool.archloader.utils.TraceIdWrapper
@Suppress("unused") // запускается как бин, внутри init запускается шедулер
@Component
class CleanerScheduler(
private val taskStoreService: TaskStoreService,
private val cleanerProperties: CleanerSchedulerProperties,
private val traceIdWrapper: TraceIdWrapper
) {
private val executor = Executors.newFixedThreadPool(cleanerProperties.workerThreadCount)
private val log = LoggerFactory.getLogger(javaClass)
// Нужный хак: cleaner должен работать в 1 потоке, т.к. не меняет статус задачи и чтобы не удалять одну задачу дважды
// сделана блокировка ожидания, пока все задачи завершатся, это будет блокировать работу других шедулеров
// поэтому он выведен в свой отдельный шедулер
private val scheduler = ThreadPoolTaskScheduler().apply {
poolSize = 1
setThreadNamePrefix("cleaner-")
initialize()
}
@PostConstruct
fun postConstruct() {
log.info(
"Шедулер запущен с {} потоками воркерами, частотой запуска {}, ttl задач {}",
cleanerProperties.workerThreadCount,
cleanerProperties.rate.toString(),
cleanerProperties.taskTtl,
)
if (cleanerProperties.deleteFiles) {
log.info(
"Шедулер запущен с флагом удаления файлов, это нормальное поведение, отключить удаление " +
"для отладки можно флагом seaf.schedulers.cleaner.delete-files"
)
} else {
log.warn(
"Шедулер запущен с выключенным удалением файлов, все файлы останутся на диске! Полезно для отладки," +
" но для прода лучше включить удаление установив true для флага seaf.schedulers.cleaner.delete-files"
)
}
scheduler.scheduleAtFixedRate({ scheduleTask() }, cleanerProperties.rate)
}
private fun scheduleTask() {
val taskToWait = mutableListOf<Future<*>>()
val taskByTTLAfterNow = taskStoreService.taskByTTLAfterNow()
if (taskByTTLAfterNow.isEmpty()) {
return
}
log.debug("Начали очистку старых задач по ttl, всего таких {}", taskByTTLAfterNow.size)
taskByTTLAfterNow.forEach { nextTask ->
try {
executor.submit {
traceIdWrapper(nextTask.traceHeaders) {
try {
exec(task = nextTask)
} catch (e: Exception) {
log.error("Непойманная ошибка при очистке задачи {}", nextTask.id, e)
}
}
}.let { taskToWait.add(it) }
} catch (e: RejectedExecutionException) {
log.warn(
"Пул не принял задачу {} на очистку, эту итерацию шедулера пропускаем, ждем пока очередь " +
"разберется, если ошибка повторяется часто, надо проверять количество запросов и время обработки",
nextTask.id, e
)
return@forEach
} catch (e: Exception) {
log.error("Ошибка при попытке запустить задачу {} на очистку", nextTask.id, e)
}
}
// дожидаемся когда все задачи будут завершены, чтобы случайно не взять их повторно
taskToWait.forEach {
it.get()
}
log.debug("Все задачи на очистку обработаны")
}
private fun exec(task: UploadTask) {
log.debug("Начали удаление задачи {} со статусом {}", task.id, task.status)
// Если дата завершения не установлена - устанавливаем её
log.debug("Для мониторинга, тайминги по задаче {} такие {}", task.id, task.timing)
// Проверяем флаг удаления файлов
if (cleanerProperties.deleteFiles && !task.filesDeleted) {
val isFilesDeleted = deleteTaskFiles(task)
if (isFilesDeleted) {
log.debug("Для задачи {} все файлы удалены в процессе удаления задачи", task.id)
} else {
log.debug("Для задачи {} не удалось удалить файлы, надо понять что помешало удалению с диска", task.id)
}
task.filesDeleted = isFilesDeleted
}
// Если файлы уже удалены и дата завершения установлена - проверяем таймаут
if (!task.filesDeleted) {
if (cleanerProperties.deleteFiles) {
log.error(
"Для задачи {} время хранения истекло, но файли с диска не были удалены, не можем удалить задачу",
task.id
)
return
} else {
log.info(
"Для задачи {} файл не удалены, т.к. в настройках отключено их удаление (seaf.schedulers.cleaner.delete-files)",
task.id
)
}
}
log.debug(
"У задачи {} закончился срок хранения после завершения ({}), удаляем из хранилища",
task.id,
cleanerProperties.taskTtl
)
taskStoreService.delete(task.id)
}
private fun deleteTaskFiles(task: UploadTask): Boolean {
val isIncomeDeleted = deleteFileSafe(task.incomeFile.path)
val gitZipPath = task.gitZipFile?.path
val isZipDeleted = if (gitZipPath != null) {
deleteFileSafe(gitZipPath)
} else {
log.info("Файл gitZipFile не указан в task для задачи {} поэтому удалять нечего", task.id)
true // файла нет, удалять нечего, т.е. файл удален (т.к. фактически его нет)
}
return isIncomeDeleted && isZipDeleted
}
/**
* Безопасное удаление файла
* @return true - файл удален или не существует
* false - файл не удален
*/
private fun deleteFileSafe(path: Path): Boolean {
// Удаляем incomeFilePath если существует
if (!path.exists()) {
return true
}
try {
Files.deleteIfExists(path)
log.trace("Удален файл {}", path)
return true
} catch (e: Exception) {
log.error("Ошибка при удалении файла {}", path, e)
return false
}
}
}