5 Commits

Author SHA1 Message Date
s4luorth
c73109b8ca FTP: Passwort base64-sicher via SKRIFT_FTP_PASSWORD_B64
All checks were successful
Build & Deploy / deploy (push) Successful in 9s
Passwoerter mit Sonderzeichen ($ # @) werden in .env-Dateien verstuemmelt
(bestaetigt durch falsche pw_len -> 530 Login incorrect). Neue Variable
SKRIFT_FTP_PASSWORD_B64 nimmt den base64-kodierten Wert (env-sicher) und
wird dekodiert; hat Vorrang vor SKRIFT_FTP_PASSWORD.

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
2026-09-28 11:33:33 +02:00
s4luorth
2c2282e05a FTP-Diagnose: user + Passwort-Laenge beim Login loggen (kein Leak)
All checks were successful
Build & Deploy / deploy (push) Successful in 11s
Bei "530 Login incorrect" trotz FileZilla-OK zeigt pw_len im Backend-Log,
ob das Passwort im .env die falsche Laenge hat (Quotes/CRLF/Leerzeichen).

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
2026-09-28 10:59:50 +02:00
s4luorth
3bef26b332 FTP: Zugangsdaten robust einlesen (Quotes/CRLF entfernen)
All checks were successful
Build & Deploy / deploy (push) Successful in 12s
Gegen "530 Login incorrect" trotz korrekter Daten (FileZilla ok): host/
user/password werden von versehentlich umschliessenden Anfuehrungszeichen
und CR/LF bereinigt (haeufige .env-/docker-env_file-Fallen unter Windows).

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
2026-09-28 10:54:07 +02:00
s4luorth
94751c12ff Batch-Buendelung: gezielte Auswahl per ids (FTP-Upload aus dem Board)
All checks were successful
Build & Deploy / deploy (push) Successful in 11s
/api/batch/build akzeptiert jetzt ids:[...] und buendelt genau diese
Uebermittlungen (je Zugang, xlsx + Sammel-PDF + FTP). Der Board-Knopf
"Per FTP hochladen" wirkt damit auf die Auswahl.

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
2026-09-28 10:23:58 +02:00
s4luorth
a6eb41f996 Batch: FTP-Cron standardmaessig aus (Standardweg = Uebernahme in Produktion)
All checks were successful
Build & Deploy / deploy (push) Successful in 16s
Der taegliche 03:00-FTP-Buendel-Lauf laeuft nur noch, wenn
SKRIFT_BATCH_FTP_CRON=true gesetzt ist. Ohne Flag kein automatischer
FTP-Upload; Uebermittlungen laufen ueber die Uebernahme ins Board.

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
2026-09-28 10:15:01 +02:00
4 changed files with 44 additions and 25 deletions

View File

@@ -69,6 +69,9 @@ async function buildMergedPdf(subs) {
async function ftpUpload(dateien) {
const { host, port, user, password, secure, rejectUnauthorized } = config.ftp;
if (!host || !user) throw new Error('FTP nicht konfiguriert (SKRIFT_FTP_HOST/USER fehlen).');
// Diagnose ohne Passwort-Leak: bei „530 Login incorrect" trotz korrekter Daten
// ist meist die Passwort-Laenge im .env falsch (Quotes/CRLF/Leerzeichen).
console.log(`[batch] FTP-Login: host=${host}:${port} user="${user}" pw_len=${(password || '').length} secure=${secure}`);
const client = new ftp.Client(30000);
// client.ftp.verbose = true;
try {
@@ -96,8 +99,8 @@ async function buendleZugang(clientId, subs, label, zeitSuffix) {
}
/** Bündelt alle offenen Datensätze (optional nur ein Zugang), gruppiert je Zugang. */
async function buendleAlle({ clientId = null, label, zeitSuffix = '' }) {
const alle = await fetchBatchPending(clientId);
async function buendleAlle({ clientId = null, ids = null, label, zeitSuffix = '' }) {
const alle = await fetchBatchPending(clientId, ids);
const proZugang = new Map();
for (const s of alle) {
const k = String(s.api_client);
@@ -117,12 +120,13 @@ async function buendleAlle({ clientId = null, label, zeitSuffix = '' }) {
async function buildBundles(req, res) {
try {
const clientId = (req.body && req.body.client_id != null && String(req.body.client_id).trim()) ? String(req.body.client_id).trim() : null;
const ids = (req.body && Array.isArray(req.body.ids) && req.body.ids.length) ? req.body.ids : null;
const label = (req.body && req.body.label) ? String(req.body.label) : berlinParts().date;
// Manuelle Bündelung mit Uhrzeit-Suffix, damit sie den Cron-Tageslauf (nur Datum) nicht überschreibt.
const zeitSuffix = (req.body && req.body.time_suffix !== undefined)
? String(req.body.time_suffix)
: `${String(berlinParts().hour).padStart(2, '0')}${String(berlinParts().minute).padStart(2, '0')}`;
const ergebnis = await buendleAlle({ clientId, label, zeitSuffix });
const ergebnis = await buendleAlle({ clientId, ids, label, zeitSuffix });
return res.json({ ok: true, bundles: ergebnis });
} catch (err) {
console.error('[batch] build fehlgeschlagen:', err);

View File

@@ -59,14 +59,25 @@ module.exports = {
// Alternativer Übermittlungsweg (batch_submissions): Ziel-FTP für die täglichen
// Bündel (xlsx + Sammel-Druck-PDF). Passwort NUR über ENV.
ftp: {
host: process.env.SKRIFT_FTP_HOST || '',
port: parseInt(process.env.SKRIFT_FTP_PORT, 10) || 21,
user: process.env.SKRIFT_FTP_USER || '',
password: process.env.SKRIFT_FTP_PASSWORD || '',
// envClean entfernt versehentliche umschließende Anführungszeichen und CR/LF
// (häufige .env-Fallen unter Windows/docker env_file), die sonst zu „530
// Login incorrect" führen, obwohl die Daten korrekt sind.
ftp: (() => {
const envClean = (v) => String(v || '').replace(/[\r\n]+/g, '').replace(/^(['"])([\s\S]*)\1$/, '$2');
// Passwoerter mit Sonderzeichen ($ # @ …) werden in .env-Dateien oft
// verstuemmelt ($ = Variable, # = Kommentar). Deshalb bevorzugt base64:
// SKRIFT_FTP_PASSWORD_B64 wird dekodiert und ist damit env-sicher.
const pwB64 = envClean(process.env.SKRIFT_FTP_PASSWORD_B64);
const password = pwB64 ? Buffer.from(pwB64, 'base64').toString('utf8') : envClean(process.env.SKRIFT_FTP_PASSWORD);
return {
host: envClean(process.env.SKRIFT_FTP_HOST),
port: parseInt(process.env.SKRIFT_FTP_PORT, 10) || 21,
user: envClean(process.env.SKRIFT_FTP_USER),
password,
// explizites FTP über TLS (wie im FTP-Client eingestellt). 'false' schaltet ab.
secure: String(process.env.SKRIFT_FTP_SECURE || 'true').toLowerCase() !== 'false',
// Selbstsigniertes Zertifikat zulassen (viele FTP-Server) – auf 'false' setzen für strikte Prüfung.
rejectUnauthorized: String(process.env.SKRIFT_FTP_REJECT_UNAUTHORIZED || 'false').toLowerCase() === 'true',
},
rejectUnauthorized: String(process.env.SKRIFT_FTP_REJECT_UNAUTHORIZED || 'false').toLowerCase() === 'true',
};
})(),
};

View File

@@ -84,18 +84,21 @@ app.listen(config.port, () => {
refreshRenderFormats();
setInterval(refreshRenderFormats, 60 * 60 * 1000);
// Batch-Bündelung: täglich um 03:00 (Europe/Berlin) den Vortag bündeln + FTP.
// Sa+So werden gemeinsam am Montag verarbeitet (Sonntag-Lauf wird übersprungen).
// Minuten-Tick; einmal pro Tag im 3-Uhr-Fenster (idempotent über letzterBatchTag).
let letzterBatchTag = null;
setInterval(() => {
try {
const { date, hour } = berlinParts();
if (hour !== 3 || letzterBatchTag === date) return;
letzterBatchTag = date; // markiert den Lauf für heute – auch bei Fehler kein Doppel-Lauf.
runScheduledBatch().catch((e) => console.error('[batch-cron] Fehler:', e.message));
} catch (e) { console.error('[batch-cron] Tick-Fehler:', e.message); }
}, 60 * 1000);
// Batch-FTP-Bündelung nur, wenn ausdrücklich aktiviert (Standardweg ist die
// Übernahme in die Produktion, nicht FTP). SKRIFT_BATCH_FTP_CRON=true schaltet
// den täglichen 03:00-Lauf (Europe/Berlin) wieder ein; Sa+So am Montag.
if (String(process.env.SKRIFT_BATCH_FTP_CRON || '').toLowerCase() === 'true') {
let letzterBatchTag = null;
setInterval(() => {
try {
const { date, hour } = berlinParts();
if (hour !== 3 || letzterBatchTag === date) return;
letzterBatchTag = date;
runScheduledBatch().catch((e) => console.error('[batch-cron] Fehler:', e.message));
} catch (e) { console.error('[batch-cron] Tick-Fehler:', e.message); }
}, 60 * 1000);
console.log('Batch-FTP-Cron: aktiv (03:00 Europe/Berlin)');
}
});
// Graceful shutdown

View File

@@ -112,9 +112,10 @@ async function fetchRenderFormats() {
/** Offene (pending) Batch-Übermittlungen MIT Druck-PDF, optional je Zugang.
* Text-only-Datensätze (ohne PDF) werden bewusst NICHT gebündelt. */
async function fetchBatchPending(clientId) {
const filter = 'filter[status][_eq]=pending&filter[pdf_file][_nnull]=true'
+ (clientId != null ? `&filter[api_client][_eq]=${encodeURIComponent(clientId)}` : '');
async function fetchBatchPending(clientId, ids) {
let filter = 'filter[status][_eq]=pending&filter[pdf_file][_nnull]=true';
if (clientId != null) filter += `&filter[api_client][_eq]=${encodeURIComponent(clientId)}`;
if (Array.isArray(ids) && ids.length) filter += `&filter[id][_in]=${ids.map(encodeURIComponent).join(',')}`;
const fields = 'id,api_client,firma,vorname,nachname,zeile1,zeile2,zeile3,plz,stadt,land,pdf_file';
return (await directusFetch(`/items/batch_submissions?${filter}&sort=date_created&limit=-1&fields=${fields}`)) || [];
}