Tuxi ⁂ via Friendica Support

gestern, 06:13

(34.0838475 -118.3566772)

Tuxi ⁂
gestern, 06:13 — (34.0838475 -118.3566772)

Guten Morgen !Friendica Support, seit gut zwei Tagen baut sich bei mir (Stable) die verzögerte Warteschlange langsam aber sich auf. Mittlerweile bin ich bei über 5000. Die normale Wartschlange hingegen arbeitet ganz normal.

Das Einzige, was mir auffällt, sind in den Logs eine Menge "Uncaught exception in worker method execution":
Friendica\Util\JsonLD::isValidObject(): Argument #1 ($data) must be of type array, false given, called in /var/www/html/src/Util/JsonLD.php on line 221

#0 /var/www/html/src/Util/JsonLD.php(221): Friendica\Util\JsonLD::isValidObject()
#1 /var/www/html/src/Model/APContact.php(219): Friendica\Util\JsonLD::compact()
#2 /var/www/html/src/Protocol/ActivityPub.php(163): Friendica\Model\APContact::getByURL()
#3 /var/www/html/src/Network/Probe.php(208): Friendica\Protocol\ActivityPub::probeProfile()
#4 /var/www/html/src/Model/Contact.php(2739): Friendica\Network\Probe::uri()
#5 /var/www/html/src/Worker/UpdateContact.php(34): Friendica\Model\Contact::updateFromProbe()
#6 [internal function]: Friendica\Worker\UpdateContact::execute()
#7 /var/www/html/src/Core/Worker.php(570): call_user_func_array()
#8 /var/www/html/src/Core/Worker.php(378): Friendica\Core\Worker::execFunction()
#9 /var/www/html/src/Core/Worker.php(112): Friendica\Core\Worker::execute()
#10 /var/www/html/src/Console/Worker.php(91): Friendica\Core\Worker::processQueue()
#11 /var/www/html/vendor/asika/simple-console/src/Console.php(86): Friendica\Console\Worker->doExecute()
#12 /var/www/html/src/Core/Console.php(177): Asika\SimpleConsole\Console->execute()
#13 /var/www/html/vendor/asika/simple-console/src/Console.php(86): Friendica\Core\Console->doExecute()
#14 /var/www/html/src/App.php(233): Asika\SimpleConsole\Console->execute()
#15 /var/www/html/bin/console.php(25): Friendica\App->processConsole()
#16 {main}

Hat von euch jemand Tipps wie ich dieses Problem lösen kann?

!Friendica Support

Als Antwort auf Tuxi ⁂

tom s

Als Antwort auf Tuxi ⁂ gestern, 06:28

@Tuxi ⁂ Ist Dein DNS ok, können die Sachen also korrekt aufgelöst werden?

@Tuxi ⁂

Als Antwort auf tom s

Tuxi ⁂

Als Antwort auf tom s gestern, 06:48

Hi @tom s, habe gerade ein paar Tests gemacht. der DNS sprich die Namensauflösung funktioniert ohne Probleme.

@tom s

Als Antwort auf Tuxi ⁂

Tuxi ⁂

Als Antwort auf Tuxi ⁂ gestern, 10:42

Auch nach der Aktualisierung auf die RC steigt die Warteschlange an.

Als Antwort auf Tuxi ⁂

friendica (DFRN) - Link zum Originalbeitrag

Steffen 🦉🇪🇺

Als Antwort auf Tuxi ⁂ gestern, 11:50

Wir hatten ein sehr ähnlich gelagertes Problem und haben dazu herausgefunden, dass der User-Agent gotosocial/0.22.1+git-fdff42b (+https://social.thingsandcode.com) und ein weiterer unsere Friendica-Instanz bzw. den gesamten Server sukzessive mehr und mehr geschwächt hat. Unter anderen füllte sich dadurch auch die verzögerte Warteschlange.

Zuerst haben wir via ufw die IP's gesperrt und danach in der .htaccess im Friendica-Verzeichnis unter RewriteEngine on folgenden Eintrag eingefügt:

# Problematischer GoToSocial-Build
RewriteCond %{HTTP_USER_AGENT} ^gotosocial/0\.22\.1\+git-fdff42b [NC]
RewriteRule ^(?:friendica|robots\.txt)$ - [F,L]

Danach normalisierte sich alles wieder. Die "Normalisierung" dauerte allerdings einige Stunden.

Friendica Support hat dies geteilt.

Als Antwort auf Steffen 🦉🇪🇺

Tuxi ⁂

Als Antwort auf Steffen 🦉🇪🇺 gestern, 12:29

@Steffen 🦉🇪🇺
Habe mal in den Logs nachgesehen. Heute waren lediglich vier Zugriffe von diesem User-Agent. Ich denke, das kann nicht die Ursache sein?

@Steffen 🦉🇪🇺

Als Antwort auf Tuxi ⁂

Steffen 🦉🇪🇺

Als Antwort auf Tuxi ⁂ gestern, 12:38

Nein, dann ist es dieser User-Agent bei dir nicht. Eventuell etwas ähnliches? Ich habe unsere Querelen lediglich als beispielhafte Systematik erläutert.

Derzeit vernehmen wir über alle unsere Webserver verstärke "Schädlinge" in Aktionen. Dabei können wir keine gleichen Vorgehensweisen bestätigen. Es ist immer wieder etwas anderes und wir sind gefordert die "Störquelle" immer weiter einzugrenzen, bis wir sie lokalisieren können.

Das ist zeitraubend und ärgerlich. Aber wir müssen reagieren. Wenn so ein Fehler, wie von dir beschrieben, von einem Moment auf den anderen einfach auftaucht, ohne vorherige Veränderungen (z.B.: durch Updates) liegt es nahe mit einer "Störquelle" / "Schädling" zu tun zu haben.

Friendica Support hat dies geteilt.

Als Antwort auf Steffen 🦉🇪🇺

Tuxi ⁂

Als Antwort auf Steffen 🦉🇪🇺 gestern, 12:42

@Steffen 🦉🇪🇺
Das mit den Störquellen gebe ich dir recht. Diese treten immer häufiger auf.
Aber das mit der verzögerten Warteschlange ist echt seltsam. Die normale wird ganz normal abgebaut. Die verzögerte hingegen nicht. Ansonsten verhält sich die Instanz auch ganz normal.

@Steffen 🦉🇪🇺

Als Antwort auf Tuxi ⁂

Steffen 🦉🇪🇺

Als Antwort auf Tuxi ⁂ gestern, 12:49

In der verzögerten Warteschlange sind unter anderen (bei uns) auch solche Einträge:

wall-new: 20727751: nrw.social/inbox: 4: {101140: 101422: 103654: 103656: 103657: 192159}: 12757612

Wenn du Stichproben auf die Erreichbarkeit machst, kannst du unter Umständen auch feststellen, dass einige Instanzen derzeit nicht wie gefordert erreichbar sind.

Friendica Support hat dies geteilt.

Als Antwort auf Steffen 🦉🇪🇺

Tuxi ⁂

Als Antwort auf Steffen 🦉🇪🇺 gestern, 12:59

@Steffen 🦉🇪🇺
Klar, nrw.social ist aktuell nicht erreichbar. Das sind gute 500 Treffer in der Warteschlange.
Der Rest ist ziemlich gemischt. Manche sind erreichbar manche nicht.

@Steffen 🦉🇪🇺

Als Antwort auf Tuxi ⁂

Steffen 🦉🇪🇺

Als Antwort auf Tuxi ⁂ gestern, 13:13

So auch bei uns. Allerdings lag dieser Fakt mit "Schädlingen" zusammen, sodass sich die Situation erst wieder beruhigen konnte, als wir wieder Ruhe in's System gebracht haben.

Friendica Support hat dies geteilt.

Als Antwort auf Tuxi ⁂

Steffen 🦉🇪🇺

Als Antwort auf Tuxi ⁂ gestern, 13:16

Hier mal ein Bild von Monit, wie die Situation bei uns war:

Friendica Support hat dies geteilt.

Als Antwort auf Steffen 🦉🇪🇺

tom s

Als Antwort auf Steffen 🦉🇪🇺 gestern, 15:16

@Steffen 🦉🇪🇺 monit oder munin-node?

@Steffen 🦉🇪🇺

Als Antwort auf tom s

Steffen 🦉🇪🇺

Als Antwort auf tom s gestern, 18:14

Natürlich Munin. Sorry. Ein Schreibfehler / Gedankenschussligkeit.

Friendica Support hat dies geteilt.

Als Antwort auf Steffen 🦉🇪🇺

tom s

Als Antwort auf Steffen 🦉🇪🇺 gestern, 18:23

@Steffen 🦉🇪🇺 😀 Hast Dir das selbst gebastelt, oder gibt es evtl. sogar plugins? Das Bild ist schick, meine Auswertungen sehen dagegen sehr fade aus.

@Steffen 🦉🇪🇺

Als Antwort auf tom s

Steffen 🦉🇪🇺

Als Antwort auf tom s gestern, 19:17

Ja, das habe ich mir für Munin selbst erstellt. Notwendig dafür ist die von Michael erstellte "stats". Sie ist via Browser aufrufbar (bei uns) unter:

https://friendica-deutschland.de/stats?key=strenggeheim

"strenggeheim" ist eine Zeichenfolge, die du speziell für dich erstellen solltest (unter: config/local.config.php).

'system' => [
...
'stats_key' => 'strenggeheim'
....
],

Mit diesen Daten konnte ich dann die Munin-Charts erstellen.
Mit einem Cron-Job rufe ich die stats regelmäßig neu ab, damit sich der Chart entwickeln kann.

Alles in allen etwas aufwendig, aber nützlich für einen groben Überblick.

Friendica Support hat dies geteilt.

Als Antwort auf Tuxi ⁂

Tuxi ⁂

Als Antwort auf Tuxi ⁂ gestern, 13:32

Folgende Exceptions tauchen in den Logs auf. Ob das was damit zu tun haben kann?

2026-09-04T13:15:20Z worker [ERROR]: Uncaught exception in worker method execution {"class":"GuzzleHttp\\Psr7\\Exception\\MalformedUriException","message":"Invalid host: \"merveill\u0004s.town\"","code":0,"file":"/var/www/html/vendor/guzzlehttp/psr7/src/Uri.php:76","trace":"#0 /var/www/html/src/Worker/UpdateBlockedServers.php(28): GuzzleHttp\\Psr7\\Uri->__construct()\n#1 [internal function]: Friendica\\Worker\\UpdateBlockedServers::execute()\n#2 /var/www/html/src/Core/Worker.php(569): call_user_func_array()\n#3 /var/www/html/src/Core/Worker.php(377): Friendica\\Core\\Worker::execFunction()\n#4 /var/www/html/src/Core/Worker.php(111): Friendica\\Core\\Worker::execute()\n#5 /var/www/html/src/Console/Worker.php(87): Friendica\\Core\\Worker::processQueue()\n#6 /var/www/html/vendor/asika/simple-console/src/Console.php(86): Friendica\\Console\\Worker->doExecute()\n#7 /var/www/html/src/Core/Console.php(172): Asika\\SimpleConsole\\Console->execute()\n#8 /var/www/html/vendor/asika/simple-console/src/Console.php(86): Friendica\\Core\\Console->doExecute()\n#9 /var/www/html/src/App.php(233): Asika\\SimpleConsole\\Console->execute()\n#10 /var/www/html/bin/console.php(26): Friendica\\App->processConsole()\n#11 {main}","previous":"InvalidArgumentException: Invalid host: \"merveill\u0004s.town\" in /var/www/html/vendor/guzzlehttp/psr7/src/Uri.php:466\nStack trace:\n#0 /var/www/html/vendor/guzzlehttp/psr7/src/Uri.php(743): GuzzleHttp\\Psr7\\Uri::assertValidHost()\n#1 /var/www/html/vendor/guzzlehttp/psr7/src/Uri.php(667): GuzzleHttp\\Psr7\\Uri->filterHost()\n#2 /var/www/html/vendor/guzzlehttp/psr7/src/Uri.php(72): GuzzleHttp\\Psr7\\Uri->applyParts()\n#3 /var/www/html/src/Worker/UpdateBlockedServers.php(28): GuzzleHttp\\Psr7\\Uri->__construct()\n#4 [internal function]: Friendica\\Worker\\UpdateBlockedServers::execute()\n#5 /var/www/html/src/Core/Worker.php(569): call_user_func_array()\n#6 /var/www/html/src/Core/Worker.php(377): Friendica\\Core\\Worker::execFunction()\n#7 /var/www/html/src/Core/Worker.php(111): Friendica\\Core\\Worker::execute()\n#8 /var/www/html/src/Console/Worker.php(87): Friendica\\Core\\Worker::processQueue()\n#9 /var/www/html/vendor/asika/simple-console/src/Console.php(86): Friendica\\Console\\Worker->doExecute()\n#10 /var/www/html/src/Core/Console.php(172): Asika\\SimpleConsole\\Console->execute()\n#11 /var/www/html/vendor/asika/simple-console/src/Console.php(86): Friendica\\Core\\Console->doExecute()\n#12 /var/www/html/src/App.php(233): Asika\\SimpleConsole\\Console->execute()\n#13 /var/www/html/bin/console.php(26): Friendica\\App->processConsole()\n#14 {main}","worker_id":"cc72881","worker_cmd":"UpdateBlockedServers"} - {"file":"Worker.php","line":571,"function":"execFunction","request-id":"6a9ac4631d415","stack":"Worker::execFunction (571), Worker::execute (377), Worker::processQueue (111), Worker::doExecute (87), Console::execute (86), Console::doExecute (172), Console::execute (86), App::processConsole (233)","uid":"2a0fee","process_id":734921}

Als Antwort auf Tuxi ⁂

Steffen 🦉🇪🇺

Als Antwort auf Tuxi ⁂ gestern, 13:57

Sieht für mich eher nach einem separaten Problem aus. In der gespeicherten Server-URL steckt mit \u0004 ein ungültiges Steuerzeichen, deshalb bricht Guzzle beim Parsen ab.

Ich würde den betreffenden gserver-Eintrag prüfen, am besten auch mit HEX(url). Wichtig wäre noch zu sehen, ob UpdateBlockedServers bei so einem Eintrag komplett abbricht oder nur diesen Datensatz überspringt. Falls er komplett abbricht, könnte das zumindest die Wartungsarbeiten teilweise behindern.

Friendica Support hat dies geteilt.

Als Antwort auf Steffen 🦉🇪🇺

Tuxi ⁂

Als Antwort auf Steffen 🦉🇪🇺 gestern, 14:11

@Steffen 🦉🇪🇺
Sorry..... aber ich verstehe nur Bahnhof. 🙃😬

@Steffen 🦉🇪🇺

Als Antwort auf Tuxi ⁂

Steffen 🦉🇪🇺

Als Antwort auf Tuxi ⁂ gestern, 18:20

Der Fehler entsteht im Friendica-Worker UpdateBlockedServers. Dieser Worker läuft als tägliche Wartungsaufgabe und geht die bekannten Server aus der gserver-Tabelle durch, um deren Blockierungsstatus neu zu bewerten.

\u0004 ist kein normales Zeichen, sondern das ASCII-Steuerzeichen EOT / End of Transmission, Bytewert 0x04.

Der String sieht also intern ungefähr so aus: merveill<0x04>s.town und nicht etwa wie ein regulärer Hostname.

Guzzle macht deshalb genau das Richtige und verweigert die URI.

Friendica Support hat dies geteilt.

Als Antwort auf Tuxi ⁂

tom s

Als Antwort auf Tuxi ⁂ gestern, 15:33

@Tuxi ⁂

bei uns dasselbe:

bandwagon.fm - alle 5 Kontakte:

ID Name URL
876851 Jimmy Halliday bandwagon.fm/@68253...
876855 HYPNOSOVIET bandwagon.fm/@66b2a...
876866 Cucuy bandwagon.fm/@66b11...
876876 Bound To The Earth bandwagon.fm/@6862d...
876884 Atemptat Sonor bandwagon.fm/@67a1f...

Der Server liefert defekte/ungültige ActivityPub-Daten, die JsonLD::compact() zum Absturz bringen. Bei jedem Retry steigt retrial.

Schnell-"Lösung" bei uns: Serverblock und in mysql gelöscht.

$ bin/console serverblock add bandwagon.fm .
The domain pattern 'bandwagon.fm' is now blocked. (Reason: '.')

@Tuxi ⁂

Als Antwort auf tom s

tom s

Als Antwort auf tom s gestern, 15:52

@Tuxi ⁂
Ok, die Schnell-"Lösung" war also keine.
Ursache war ein General-Relay, das defekte Activities geliefert hat.

relay gelöscht, Ruhe

+----------------+---------+--------+
| command | retrial | anzahl |
+----------------+---------+--------+
| DelayedPublish | ...| ... |
| ProcessQueue | 0 | 1 |
+----------------+---------+--------+

@Tuxi ⁂

Als Antwort auf tom s

Tuxi ⁂

Als Antwort auf tom s gestern, 16:02

@tom s
Da ich nicht weitergekommen bin, habe ich die KI befragt.
Bei mir sind es tatsächlih auch Instanzen die aktuell Probleme haben.

Laut DB Abfrage sind das folgende:

+----------------------------+------+-------------+
| inbox_host                 | jobs | max_retrial |
+----------------------------+------+-------------+
| nrw.social                 | 2709 |          15 |
| mastodon-swiss.org         | 1151 |          15 |

@tom s

Als Antwort auf Tuxi ⁂

Tuxi ⁂

Als Antwort auf Tuxi ⁂ gestern, 16:04

@tom s
Hab die beiden Instanzen vorrübergehend blockiert und hoffe, dass die Warteschlange nun abgearbeitet wird.

@tom s

Als Antwort auf Tuxi ⁂

tom s

Als Antwort auf Tuxi ⁂ gestern, 16:27

@Tuxi ⁂ Das wird sie vermutlich nicht, es kommen nur keine neuen dazu. Die bestehende Queue bleibt voll bis zum retrial-Maximum. Ohne Löschen dauert es Tage wegen delay bei der hohen Anzahl.

@Tuxi ⁂

Als Antwort auf tom s

Tuxi ⁂

Als Antwort auf tom s gestern, 17:00

@tom s
Hm okay....

Hier die Anzahl der offenen:

Ziel	offene Zustellungen	davon Retrial ≥14
nrw.social	                2.744	1.045
mastodon-swiss.org	1.164	483

Könnte man denn die offenen Anfragen der beiden Domains gefahrlos löschen?

@tom s

Als Antwort auf Tuxi ⁂

Steffen 🦉🇪🇺

Als Antwort auf Tuxi ⁂ gestern, 18:02

Das kann ich dir nicht sagen. Ich habe es nicht getan. Sie reduzieren sich nach einer Weile. Und ehrlich gesagt lasse ich die Datenbank lieber in Ruhe. Dort einzugreifen erfordert einiges an Wissen darüber. Ich meine Friendica-Datenbank-Wissen. Und das ist bei mir zu gering.

Friendica Support hat dies geteilt.

Als Antwort auf Tuxi ⁂

Steffen 🦉🇪🇺

Als Antwort auf Tuxi ⁂ gestern, 18:10

Nachtrag: Bei unserer Friendica-Instanz haben die nicht zustellbaren Einträge definitiv ohne mein Zutun abgenommen. Auch gut zu sehen in meinem oben eingebrachten Bildschirmfoto (Munin - friendica worker queue).

Friendica Support hat dies geteilt.

Als Antwort auf Tuxi ⁂

tom s

Als Antwort auf Tuxi ⁂ gestern, 18:21

@Tuxi ⁂ Ja, ist gefahrlos. Weil die beiden Domains geblockt, sind alle offenen Zustellversuche an sie eh zwecklos.

Wenn Du mariabackup nimmst, dann mach halt fix ein backup der db.

@Tuxi ⁂

Hinweis in eigener Sache:
Diese Friendica-Instanz wird vom Betreiber mit Freude und auf freiwilliger Basis betrieben. Eine dauerhafte oder unterbrechungsfreie Verfügbarkeit kann nicht garantiert werden – der Dienst kann zeitweise eingeschränkt oder auch eingestellt werden. Es gelten die Nutzungsbedingungen.

Bitte gehen Sie im Fediverse achtsam mit persönlichen Daten um. Inhalte können grundsätzlich von anderen eingesehen oder gespeichert werden. Dies betrifft auch private Nachrichten (Direct Messages / DMs).

⇧

Tuxi ⁂ via Friendica Support

Tuxi ⁂ gestern, 06:13 — (34.0838475 -118.3566772) • •

Tuxi ⁂
gestern, 06:13 — (34.0838475 -118.3566772)