Un po' di storia

Mi occupo di compressione video dal 1987: a quel tempo collaboravo in quota Stet in Eikon, una joint venture Microsoft-Stet.

Quell'anno Intel rilascio' il DVI, acronimo per Digital Video Interactive (da non confondere con la interfaccia fisica Digital Visual Interface dallo stesso acronimo che sarebbe venuta fuori oltre 10 anni dopo e che ora e' stata pressoche' eliminata dall'HDMI), una compressione che adesso si definirebbe a dir poco rozza, che su un intel 386 con windows aveva bisogno di tre doughtercard computazionali per effettuare la compressione in tempo reale. Malgrado i roboanti annunci di Intel, cio' che si otteneva era poco piu' di una curiosita'.
La qualita' a 1.2 Mbps era piuttosto scarsa (15 fotogrammi al secondo), la risoluzione, sebbene nominalmente full D1 (720x576) era praticamente limitata dalla instabilita' termica del sistema (le tre schede erano un vero ferro da stiro), ma anche se il sistema Intel DVI costava circa 20000 dollari (un'ira d'iddio per il tempo, ma visti gli azionisti, spesso non c'erano problemi di soldi) il risultato oggi sarebbe stato giudicato assolutamente insufficiente.
Ma era un primo passo, denotava la voglia di occuparsi della compressione video che avrebbe portato in breve allo standard Mpeg1 (Eikon collaborava con lo Cselt di Chiariglione, il papa' dell'MPEG).
Lo stesso h261 - che non era ancora standardizzato - non era gran che, l'MPEG non c'era e ancora per un paio d'anni non ci sarebbe stato.
Solo due anni dopo sarebbe stata rilasciata una scheda con due Risc-array processor per la compressione in motion-jpeg e in mpeg1.

Il sistema DVI dell'Intel a 1 Mbps riusciva a realizzare un 360x240 fluido. Vedi comunque l'articolo citato.
Seppure pensato per la distribuzione video su CD (bitrate 1.2 Mbps) era sicuramente inadatto alla distribuzione di massa, anche perche' nel 1989 i CD 4x (in grado di leggere circa 5 Mbps) erano un'altra curiosita' da patiti della tecnologia.

E' tipico di chi si e' trovato a lavorare negli sviluppi della tecnologia dalla fine degli anni 80 ripensare a cio' che al tempo sembrava all'avanguardia ed ora non sarebbe nemmeno degno di un portachiavi.
Ricordo verso la fine degli anni '70 con quale emozione il professore di elettronica ci porto' a vedere uno dei primi display LCD prodotti nel suo laboratorio: circa un pollice di diagonale, scarso contrasto (si sarebbero detti grigio e grigio scuro), inadatto quindi anche agli orologi che sarebbero usciti di li a qualche anno.
Ed ora abbiamo gli OLED HDR 8k arrotolabili!

Le modalita' di realizzazione erano a dir poco artigianali: si utilizzava una scheda (prodotta dalla inglese videologic, inventrice - tra l'altro - della VGA, Video Graphical Array, il cui connettore a 15 poli e' oggi sinonimo di video analogico per computer)in grado di acquisire fino al full-D1 e la compressione software impiegava fino a 24 ore per 8 minuti.

    

A little bit of my story

I have been involved in video compression since 1987: at that time I was collaborating in Eikon a joint venture Microsoft-Stet.

That year Intel released DVI, an acronym for Digital Video Interactive (not to be confused with the physical interface Digital Visual Interface of the same acronym that would have emerged over 10 years later and which is now almost removed from HDMI), a compression platform that would now be defined to say the least crude , which on an intel 386 with windows needed three computational doughtercards to perform the compression in real time.
Despite the bombastic announcements from Intel, what was achieved was little more than a curiosity.
The quality at 1.2 Mbps was rather poor (15 frames per second), the resolution, although nominally full D1 (720x576) was practically limited by the thermal instability of the system (the three cards were a real iron), but even if the Intel DVI system cost around $ 20,000 (a god's wrath for the time, but given the shareholders, there were often no money problems) the result today would have been deemed absolutely insufficient. br> But it was a first step, it denoted the desire to deal with video compression that would soon lead to the MPEG1 standard (Eikon collaborated with the Chiariglione's CSELT, the dad of MPEG).
The same h261 - which wasn't standardized yet - wasn't that great, MPEG wasn't there and still for a couple of years there wouldn't be.
Just two years later, a card with two Risc-array processors would be released for compression in motion-jpeg and mpeg1.

Intel's 1 Mbps DVI system was able to achieve a smooth 360x240. See however the article mentioned above.
Although designed for video distribution on CD (1.2 Mbps bitrate) it was certainly unsuitable for mass distribution, also because in 1989 4x CDs (capable of reading about 5 Mbps) were another curiosity for technology freaks.

I remember towards the end of the 70s with what emotion the electronics professor took us to see one of the first LCD displays produced in his laboratory: about an inch diagonal, low contrast (they could have been defined in gray and dark gray), therefore unsuitable even for watches that would be released a few years later.
And now we have rollable 8k HDR OLEDs!

The workflow was quite crafty: a card (produced by the English videologic , inventor - among other things - of the VGA, Video Graphical Array, whose 15-pin connector is now synonymous of analog video for computers) capable to acquire up to the full-D1 was used and software compression took up to 24 hours for 8 minutes.


In order to reduce the noise of this video heavily damaged by the old compression
it has been resized one third SD (240x540).
The number of macroblock are reduced to 1/3 mantaining the aspect ratio at 4:3
with an overall bitrate of 353 Kbps


Il video originale di questo piccolo segmento era compresso in IV32
(derivato dal DVI nei primi anni '90) un video 320x240 era un flusso a 1.2 Mbps
(qui l'ho quadruplicato)
link al file originale Multimedia 2 Go people (19950222).avi

    

The original video of this small segment was compressed in IV32
(derived from DVI in the early 90's) a 320x240 video was a 1.2 Mbps stream
(here I quadrupled it)
link to the original file Multimedia 2 Go people (19950222).avi


avi format (1995) codec IV32


.mp4 format codec h264 low bitrate

The small video (320x240) of 1995 is about 20 MB at 1257 Kbps with a chroma 4:1:0.
The audio is a PCM 8 88 Kbps add a further weight to the job.

The same video may be delivered at 200 Kbps (1/6),
with the chroma in 4:2:0 and the audio in mp3 @56 Kbps
(unluckily already bandlimited @11 KHz in 1995).

l'inizio della compressione video industriale

Nel 1995 entrai in Stream dove divenni responsabile del laboratorio MPEG del Digital Production Studio.

Stream - lo stesso nome era un avventura - era una iniziativa mirabolante di Miro Allione, precedente amministratore delegato di Stet (nominato da Prodi).
Lo stesso nome della societa' (ora un normale concetto, 25 anni fa un sogno) era futuribile, il logo era ricavato dalle due mani di Dio e Adamo dal giudizio universale di Michelangelo.

Miro Allione incastro' la Bell Atlantic (oramai solo uno dei telecom operator di New York, dopo lo spezzatino imposto da Reagan alla Bell) e fregandola sul tempo le impose - contrattualmente - di attivare il sistema VideoMagic (clone del sistema Stargazer progettato dalla stessa Bell Atlantic), primo Video Over Dialtone del mondo, prima che negli USA stessi: insomma VideoMagic fu il primo sistema di Video On Demand (VoD) digitale del mondo, la prima applicazione commerciale (commercialmente molte attivita' di Stream furono fallimentari) di Video Over Dialtone.

Video Over Dialtone (era anche il titolo del libro di Daniel Minoli pubblicato da McGraw-Hill nel 1995 con questo nome), perche' per la prima volta si usavano dei doppini telefonici per la distribuzione mediante ADSL di larga banda (al tempo 1.5 Mbps), circa 500 volte in piu' della banda nominale del doppino di 3 KHz che mi avevano fatto studiare a scuola
Tra l'altro la rete SIP (che poi divenne Telecom Italia) con una distribuzione capillare sul territorio - specie in citta' - possedeva una rete particolarmente adatta all'ADSL per la capillare diffusione di nodi di rete a su tutto il territorio nazionale.
Stargazer-Videomagic prevedeva inizialmente lo streaming di mpeg1 (358x288, un quarto di PAL, CIF) a circa 1.5 Mbps di banda. Poi al momento della commercializzazione dei servizi via cavo e satellite si uso' l'halfD1, 720x288.
I contenuti erano wrappati in transport stream mpeg2 (esattamente come il contemporaneo DVB), ma non c'era gran che a parte un elementary stream video a 1200 Mbps ed un elementary stream audio mpeg1 layer2 a 192 Kbps (sembra una cosa fossile ed incredibile, ma il layer3 era considerato ancora troppo complesso).

Quando ho cominciato ad occuparmi in modo industriale di compressione video MPEG (a quel tempo 1&2) il problema era riuscire a fare la DCT (Trasformata Discreto-Coseno) molto velocemente, almeno quanto bastava a trattare tutti i macroblocchi nei quali i singoli field erano suddivisi (circa 160000 al secondo in PAL, che - con la DCT inversa - corrisponde a doverne calcolare circa 600 mila al secondo).
Per questo si potevano sfruttare dei mainframe/mini (come voleva fare l'IBM e la Digital) oppure dei RISC array processor: circuiti integrati contenenti matrici di calcolatori molto semplici (circuiti integrati RISC a set di istruzioni ridotto, appunto) prodotti dalla C-cube.
Per comprimere l'MPEG in tempo reale ne servivano almeno 2 per processare il formato CIF (360x288, 1/4 del PAL), ma poiche' questa scheda ospitava 4 RISC array, il sistema base era in grado di comprimere qualcosa in piu' del CIF: nacque il formato HalfD1 che comprimeva in pratica solo solo meta' delle righe (un field invece di un frame) per un formato di 720x288 (essendo il D1 era il formato video 720x576), realizzato ignorando uno dei due field di ogni frame.
Pare impossibile ma nel 1995 era questo lo stato della tecnologia video.

I compressori video realtime (al tempo Tandberg, NTL, Scientific Atlanta) utilizzavano delle FPGA di ultima generazione (il massimo della potenza computazionale del tempo), che non avevano applicazioni per scrivere dei file (producevano stream ed avevano dei prezzi esorbitanti).
A quel tempo i processori (486 o pentium che fossero) erano delle autentiche carriole se li rapportiamo a quelli di oggi.
Di piu' si poteva fare, ma solo partendo da un file che poneva il non indifferente problema di acquisire video non compresso, oltre 20 MB al secondo, per un paio di ore oltre 14 GB (a quel tempo i piu' grossi hard disk erano da 2 GB).
In seguito (parliamo del 1997) usci' una seconda card con 10 RISC array processor che riusciva a comprimere tutto il formato PAL (720x576) in tempo reale.
C'era il sistema di compressione Minerva (di Mauro Bonomi) che prevedeva una compressione in due fasi - simile a quello che e' fatto oggi in modo automatico - ma con un possibile intervento umano per specificare passaggi complessi.
Minerva risolveva brillantemente la acquisizione del non compresso con un sistema di acquisizione di dimensioni adatte, ma era l'intervento umano che non mi convinceva.
Comunque neanche i trucchi di marketing riescono a fare la compressione in due fasi in tempo reale, ma con il processamento automatico in due fasi da file la faccenda e' diversa.

    

The beginning of industrial video compression

In 1995 I joined Stream where I became manager of the MPEG laboratory of the Digital Production Studio.

Stream - the name itself was an adventure - was an amazing initiative by Miro Allione, the previous Stet's CEO (nominated by Prodi).
The very name of the company (now a normal concept, 25 years ago a dream) was futuristic, the logo was made from the two hands of God and Adam from Michelangelo's Last Judgment.

Miro Allione interlocked Bell Atlantic (now only one of the telecom operators in New York, after stew imposed by Reagan on Bell) and activate the VideoMagic system (clone of the Stargazer system designed by Bell Atlantic itself), first Video Over Dialtone in the world, before in the USA itself: in short VideoMagic was the first system of Video On Demand (VoD) digital of the world , the first application commercial (commercially many of Stream's activities failed) of Video Over Dialtone.

Video Over Dialtone (it was also the title of the book by Daniel Minoli published by McGraw-Hill in 1995 with this name), because for the first time twisted pairs were used for distribution via ADSL of broadband (at the time 1.5 Mbps), about 500 times more than nominal band of the twisted pair of 3 KHz that they made me study in school
Among other things, the SIP network (which later became Telecom Italia) with widespread distribution throughout the territory - especially in the city - it had a network particularly suitable for ADSL for the widespread diffusion of a network throughout the national territory.
Stargazer-Videomagic initially expected to stream mpeg1 (358x288, quarter of PAL, CIF) at about 1.5 Mbps of bandwidth. Then, when the cable and satellite services were marketed, halfD1, 720x288, was used.
The contents were wrapped in mpeg2 transport stream (just like the contemporary DVB), but there wasn't much that apart from an elementary video stream at 1200 Mbps and an elementary audio stream mpeg1 layer2 at 192 Kbps (it seems like a fossil and incredible thing, but layer3 was considered still too complex).

When I started to work at industrial MPEG video compression (at the time 1 & 2) the problem was being able to do the DCT (Discrete-Cosine Transform) very quickly, at least enough a treat all the macroblocks into which the individual fields were divided (about 160000 per second in PAL, which - with the inverse DCT - it corresponds to having to calculate about 600 thousand per second).
For this you could take advantage of mainframe / mini (as IBM and Digital wanted to do) or RISC arrays processors: integrated circuits containing very simple computer arrays (set RISC integrated circuits of reduced instructions, in fact) produced by C-cube.
To compress MPEG in real time it needed at least 2 to process the CIF format (360x288, 1/4 of PAL), but since this card housed 4 RISC arrays, the base system was able to compress something into more than the CIF: the HalfD1 format was born which in practice compressed only half of the lines (a field instead of a frame) for a format of 720x288 (being the D1 was the video format 720x576), made ignoring one of the two fields of each frame.
It seems impossible but in 1995 this was the state of video technology.

Realtime video compressors (at the time Tandberg, NTL, Scientific Atlanta) used the latest FPGAs generation (the maximum computational power of the time), which had no applications to write gods files (they produced streams and had exorbitant prices).
At that time the processors (486 or pentium that they were) were real wheelbarrows if we compare them to those of today.
More could be done, but only starting from a file that posed the considerable problem of acquiring video uncompressed, over 20 MB per second, for a couple of hours over 14 GB (at that time the largest hard drives they were 2 GB).
Later (we are talking about 1997) a second card came out with 10 RISC array processors that was able to compress all PAL format (720x576) in real time.
There was the Mauro Bonomi's Minerva compression system which involved compression in two stages - similar to what is done today automatically - but with a possible human intervention to specify more complex steps.
Minerva brilliantly solved the acquisition of the uncompressed with a suitable acquisition system in terms of size and speed, but it was the human intervention that did not convince me.
However, even marketing tricks can't do real-time two-step compression, but with automatic two-step processing from file that's different.




To know who is writing, click over the language you like
Per sapere qualcosa di chi scrive click-a sul linguaggio che preferisci