diff --git a/FrOSCon26/Antrag.txt b/FrOSCon26/Antrag.txt index 46a6b70..a8c610c 100644 --- a/FrOSCon26/Antrag.txt +++ b/FrOSCon26/Antrag.txt @@ -4,28 +4,55 @@ Antrag für einen Vortrag auf der FrOSCon 26 :date: 23.5.2026 -TODO -- Title TODO ------------------- -.Untertitel -In diesem Vortrag geht es nicht um abgefahrene C++ Features, sondern um eine Darstellung praktischer Herausforderungen, wenn eine große und komplexe Codebasis die Möglichkeiten der Sprache nutzt und sich gleichzeitig mit der Sprache weiterentwickelt. Ich werde dazu drei konkrete Fälle herausgreifen, jeweils mit leicht abstrahierten vorher / nachher Code-Beispielen. Die C++-Features werden soweit erläutert, wie es zum Verständnis des Themas notwendig ist. +Reading Video data with IO_URING +-------------------------------- +.putting a new kernel framework into practical use +In diesem Vortrag geht es um eine technische Herausforderung, die wir für unser +OpenSource-Projekt lösen mussten: eine große Menge Video-Daten effizient einlesen. +Vor diesem Hintergrund möchte ich das neue IO_URING Kernel-Interface erläutern +und mit vereinfachten Code-Beispielen in C++ zeigen, wie es in eine Applikation +eingebunden werden kann. Rudimentäre C++ Kenntnisse sollten genügen, um dem +Vortrag zu folgen. Für die eigentliche Darstellung rechne ich mit 40 Minuten. Kurzfassung ~~~~~~~~~~~ +IO_URING is a fairly new IO interface in the Linux kernel. +It marks a paradigm shift in how the kernel is interacted with. +Instead of passing control thorough an interface function to enter into kernel mode, +messages are passed asynchronously. -Blah. +In this talk, patterns for dealing with asynchronous IO are discussed and a setup to handle +high volume file reading using this framework is demonstrated with code examples in C++. + +Lumiera is a video editing application under development in C++ -- and is used here to +illustrate that asynchronous I/O can play a key role in achieving high throughput for video processing. Langfassung ~~~~~~~~~~~ +The usual simple way of reading data from a file is to just invoke a `read()` function, directly +getting the data in response. This function is accessible as part of the programming language's +standard library, yet in the end it maps down onto a function of the OS kernel. And while this +form of reading data from a file is easy to handle, in terms of program logic, it has the downside +that the current thread is blocked, for an unknown period of time, until the data is ready. -Blubb. +Blocking is particularly problematic in high-performance computing, as it means losing control +over the timings and leaving resources unused. Various interfaces and frameworks have been +developed over time to improve this, both for network communication and for file operations. +The Linux kernel system call interface IO_URING, adopted in kernel version 5.1 (2019) and +gradually expanded since then, takes these efforts one step further and provides an uniform +framework for various kinds of IO operations: The client code instructs the kernel to perform +some IO related task by sending it a message, and the kernel returns the completed work items +via a different queue. -Beispiele hierfür sind: - -Jaleck. +In theory, it is possible to achieve an extreme throughput or very low latency; yet in practice, +it proves quite challenging to structure the client code accordingly to achieve these goals. +In our use case, related to rendering video frames based on the arrangement made by the film +editor, expensive computations need to be chained-up behind the IO operations, all involving +a massive amount of data. The talk will discuss some common solution patterns, and the approach +taken by the Lumiera project to cope with this situation. A simplified demo level setup will +then be explained with code examples in C++ diff --git a/FrOSCon26/FrOSCon.26.mm b/FrOSCon26/FrOSCon.26.mm index 81ab4b8..93c2680 100644 --- a/FrOSCon26/FrOSCon.26.mm +++ b/FrOSCon26/FrOSCon.26.mm @@ -43,7 +43,6 @@ - @@ -202,8 +201,7 @@ neues Git-Repo nur für den Demo-Code anlegen

- - + @@ -263,7 +261,6 @@ - @@ -305,12 +302,162 @@ - + + + + + + + + + + + + + + + + + + +

+ man setzt einen Socket auf "asynchron". Durch cleveres Polling bekommt man mit, wann die IO-Operation »ready« wird. Aber das ist readyness-semantics, not completion-semantics. Und es ist sehr limitiert, und setzt eine komplexe State-Machine im Userland vorraus +

+ + + + + + + + + + + +

+ Arbeitet in einem speziellen Modus, IO_DIRECT +

+

+ Kann nur bereits allozierte/ geöffnete Files bearbeiten +

+

+ kann nicht mit generischen Sockets arbeiten ⟶ auch kein Networking +

+

+ geht am Page Cache vorbei +

+ + + + + + + + + + + + + +

+ Aus einem Kommentar auf LWN +

+

+ https://lwn.net/Articles/810898/ +

+

+ What it says about the state of hardware is easy.
+

+

+ Meltdown mitigations made context switching more expensive, and SSDs made the actual I/O cheaper. At some point, you're spending almost as much time context switching as you are doing actual work, and there's nothing Linux can do about it because it's all tied up in the architecture of the MMU and the processor's cache. Thus, it now makes sense to design the interface around reducing the number of context switches at all cost, instead of just assuming that the cost of doing the actual I/O will dominate. +

+ + + + + + + + + + + +

+ extended Berkeley Package Filter: ein Framework, das Code als Reaktion auf Events direkt im Kernel-Kontext ausführt +

+ + + + + + + + + + +

+ Es wurde alsbald erheblich als Einfallstor für Exploits genutzt, da das bestehende Security-Tooling diese neuen Mechanismen überhaupt nicht »auf dem Schirm« hat. Im Jahr 2023 hat das Google-Security-Team 60% aller Linux-Exploits dem IO_URING subsystem zugeordnet. Daher ist es auf Android und ChromeOS und unter Docker in der Standard-Konfiguration deaktiviert (und hat einen schlechten Ruf unter den »Oldtimern«) +

+ + + + + + + + + + + + + + + + + + +
    +
  • + adoption is rising +
    • +
  • + io_uring is not going away anywhere soon +
    • +
+ + + + + + + + + + + +

+ ...denn das bedeutet, da ist nichts »mainstreamiges« unterwegs, von dem ich noch nichts wüßte. +

+ + + + + + + + + + + + + + + @@ -385,14 +532,19 @@ -----END PGP MESSAGE-----

- - + - - + + + + + + + +