•  
•  
•  
•  

1 Reacties Bewaren

Welke infrastructuur en technieken gebruikt Netflix om series als Stranger Things en House of Cards af te leveren in je huiskamer? Britse onderzoekers brachten de infra in kaart en in een serie blogposts vertelt Netflix zelf meer over het proces.

Eind jaren 90 raakte softwareontwikkelaar en nu Netflix-baas Reed Hastings zo gefrustreerd van een boete wegens het te laat terugbrengen van een gehuurde films, dat hij besloot zijn eigen videotheek op te richten. Het bedrijf stuurde dvd's per post naar klanten die het op die manier ook weer terugstuurden. Netflix bouwde een reputatie op als plek waar je zonder verzendkosten video's kon huren, zonder vastgestelde huurperiode of boetes voor het te laat retourneren van films.

Netflix vandaag de dag

De verhuur van dvd's begon terug te lopen in 2006 en een jaar later had Netflix een nieuw businessmodel: video on demand - films via internet. Abonnees van de dvd-dienst konden hier gratis gebruik van maken. Ook begon Netflix iets heel nieuws: eigen content. Het bedrijf werd een eigen filmstudio en experimenteerde met verschillende formats. In 2011 haalde Netflix het nieuws door televisiezenders als HBO en AMC te beroven van een veelbelovend televisieproject van regisseurs David Fincher en Eli Roth.

Het idee dat een streamingservice zelf content produceerde maakte productiemaatschappijen en vooral televisiezenders - terecht naar later zou blijken - enorm nerveus. Netflix zag een plek in zijn dienst voor het Fincher/Roth-project met Kevin Spacey in de hoofdrol en het bleek een gouden greep. Het eerste seizoen van House of Cards verscheen op 1 februari 2013 en was een daverend succes dat Netflix op de radar bracht bij een nog groter publiek.

Content via andere routes

De techniek achter het streamen is een mooi ontworpen en goed onderhouden IT-systeem, dat Netflix met plezier deelt met de wereld. De videocontent zou normaal gesproken via doorsnee routes (bepaald via het Border Gateway Protocol) lopen en hops maken door een serie netwerken om van de Netflix-servers bij klanten thuis te geraken.

Miljoenen gebruikers die tegelijkertijd aan het streamen zouden slaan, zouden dan op punten voor congestie en zwaar belaste ISP's zorgen. Een betere optie is om de content beter te verspreiden. Een Content Delivery Network (CDN) cachet benodigde data en stippelt efficiëntere routes uit om die content af te leveren bij eindgebruikers.

Het Netflix-CDN

Een CDN plaatst daarvoor eigen servers direct bij ISP's, zodat webcontent niet meer steeds via een serie omwegen van de server naar x-gebruikers hoeft te lopen, maar direct van de lokale provider naar de gebruiker. De belasting komt dan in de zogeheten last mile tussen provider en eindgebruiker, niet in de upstream. Het overgrote deel van webverkeer wordt anno 2016 via CDN's afgeleverd. Er zijn diverse CDN's, zoals Akamai en Cloudflare, maar in 2011 bouwde Netflix zijn eigen CDN, Netflix Open Connect. Daar plukt het nu de vruchten van.

Als je op de bank ploft en Netflix aanzet, word je allereerst met een Amazon-server verbonden. Hier wordt al het catalogus-werk verricht. Transcoderen van video's, het aanspreken van de engine die jou titels aanraadt op basis van je interesses, de hele front-end die je dan geleverd krijgt wordt behandeld op AWS-servers. Zodra je een titel afspeelt, bepaalt Netflix Open Connect de serverlocatie. De internetbackbone wordt op die manier volgens de streamingdienst nauwelijks meer belast dan met een andere grote website.

Server in de buurt

Netflix was met zijn eigen CDN-servers voorbereid voor verdere internationale uitrol. In een blogpost in maart deed Netflix wat meer uit de doeken over Netflix Open Connect en vertelde het bedrijf dat negentig procent van de streamingcontent via het CDN loopt en op piekmomenten worden er tientallen terabits per seconde door de servers getrokken. Tussen 2 uur 's nachts en de lunch halen de CDN-servers van Netflix updates aan de catalogus binnen, waarna ze beschikbaar komen voor gebruikers.

De meeste gebruikers verbinden met de Netflix-CDN-server die geografisch gezien het dichtst bij ze ligt. Het netwerk gebruikt in de eerste plaats peering bij Internet Exchanges (in Nederland AMS-IX en NL-IX) wat wordt aangevuld met CDN-servers bij providers, zo ondervonden Britse onderzoekers die het contentnetwerk afgelopen zomer uitgebreid aan kaart brachten (PDF). Providers die veel Netflix-klanten hebben, kunnen een Open Connect Appliance plaatsen, de feitelijke Netflix-server.

Wat Europa betreft is Netflix vooral aanwezig als beginpunt in Nederland (op de AMS-IX) en Zweden (op Netnod). Er zijn in Europa meer Netflix-appliances uitgerold op Internet Exchange-locaties dan bij ISP's (in de VS is het andersom) maar dat zorgt volgens de onderzoekers van de Queen Mary University voor een betere verdeling. Alleen in de landen Noorwegen en Denemarken wordt uitsluitend via CDN-servers bij providers gewerkt.

De distributie van Netflix-servers in Europa:

Bron: Queen Mary University of London

Volgens Netflix hebben inmiddels alle continenten, behalve Antarctica, Netflix-appliances en hebben providers ze zelfs in het Amazonegebied geplaatst. Eén zo'n appliance heeft een doorvoercapaciteit van 90 Gbps en met meer dan 100 van deze in ons land alleen al, moet dat voldoende zijn om het meeste verkeer op te vangen.

Nieuwe serie voorbereid

Er is een nieuw seizoen van je favoriete serie beschikbaar en die komt vandaag op Netflix. Hoe komt deze precies beschikbaar? Veel wordt in de nachtelijke uurtjes alvast klaargezet, zoals wijzigingen in de catalogus en verwijzingen naar de benodigde resources in het netwerk. Netflix noemt dat het voorpositioneren van content en als dat allemaal is afgerond, is het min of meer een kwestie van de knop omzetten, zodat gebruikers de serie kunnen zien.

Netflix zet de content klaar op zijn appliances in daluren. De verschillende packages van resoluties en ondertitels worden klaargezet en de bibliotheek op de servers van Amazon wordt ondertussen aangepast. Het bedrijf kan inmiddels goed voorspellen wanneer gebruikers video's aanspreken en pusht de content naar lokale servers tijdens periodes dat het naar verwachting rustig is, in de praktijk vaak 's nachts vanaf een uurtje of 2.

Aflevering afspelen

De appliances zijn weinig meer dan bakken waar de benodigde packages op beschikbaar worden gesteld. De intelligentie zit in de Amazon-servers waarin Netflix bijvoorbeeld bepaalt wat er te verwachten is qua populariteit van bepaalde content in regio X. Het zou inefficiënt zijn om dezelfde content naar alle servers te sturen. Daarom wordt eerst een lokale master voorzien van de gewenste content en als blijkt dat de behoefte op locaties groter wordt, worden de resources doorgepompt naar andere appliances.

Als er genoeg appliances zijn voorzien van de packages die geassocieerd zijn met de nieuwe serie, wordt een tegeltje in Netflix toegevoegd. De gebruiker zit dat op moment in een Amazon-back-end, waar de catalogus wordt bijgewerkt. Als er op 'Afspelen' wordt geklikt, wordt serie vanaf een appliance gestreamd naar de eindgebruiker.

Lees meer over

• streaming
• Amazon
• AMS-IX
• netflix
• cdn