F8 2018: Usare la tecnologia per rimuovere le cose cattive prima che sia addirittura segnalata

Di Guy Rosen, VP of Product Management

Ci sono due modi per ottenere contenuti negativi, come video terroristici, incitamento all'odio, porno o violenza su Facebook: abbattetelo quando qualcuno lo contrassegna o lo trova in modo proattivo usando la tecnologia. Entrambi sono importanti. Ma i progressi tecnologici, tra cui l'intelligenza artificiale, l'apprendimento automatico e la visione artificiale, significano che ora possiamo:

  • Rimuovi i contenuti cattivi più velocemente perché non dobbiamo sempre aspettare che venga segnalato. Nel caso del suicidio, ciò può significare la differenza tra la vita e la morte. Perché non appena la nostra tecnologia ha identificato che qualcuno ha espresso pensieri di suicidio, possiamo cercare di offrire aiuto o lavorare con i primi soccorritori, cosa che abbiamo fatto ora in oltre un migliaio di casi.
  • Ottieni più contenuti, ancora perché non dobbiamo aspettare che qualcun altro lo trovi. Come abbiamo annunciato due settimane fa, nel primo trimestre del 2018, ad esempio, noi rimosso proattivamente quasi due milioni di pezzi di contenuti ISIS e al-Qaeda – Il 99% del quale è stato rimosso prima chiunque segnalato su Facebook.
  • Aumentare la capacità del nostro team di revisione lavorare su casi in cui è necessaria la competenza umana per comprendere il contesto o le sfumature di una particolare situazione. Ad esempio, qualcuno sta parlando della propria tossicodipendenza o sta incoraggiando altri a drogarsi?

Ci è voluto del tempo per sviluppare questo software e stiamo costantemente spingendo per migliorarlo. Lo facciamo analizzando specifici esempi di contenuti non validi che sono stati segnalati e rimossi per identificare i modelli di comportamento. Questi modelli possono quindi essere utilizzati per insegnare al nostro software a trovare in modo proattivo altri problemi simili.

  • Nudità e violenza grafica: Questi sono due tipi di contenuti molto diversi, ma stiamo usando miglioramenti nella visione artificiale per rimuoverli entrambi in modo proattivo.
  • Discorso di odio: Capire il contesto del discorso richiede spesso occhi umani – è qualcosa di odioso, o è condiviso per condannare l'incitamento all'odio o aumentare la consapevolezza su di esso? Abbiamo iniziato a utilizzare la tecnologia per rilevare in modo proattivo qualcosa che potrebbe violare le nostre norme, a partire da alcune lingue come l'inglese e il portoghese. I nostri team esaminano quindi il contenuto, quindi cosa va bene, per esempio qualcuno che descrive l'odio che hanno incontrato per aumentare la consapevolezza del problema.
  • Conti falsi: Blocchiamo milioni di account falsi ogni giorno quando vengono creati e prima che possano fare del male. Questo è incredibilmente importante per combattere spam, notizie false, disinformazione e cattive pubblicità. Recentemente, abbiamo iniziato a usare intelligenza artificiale per rilevare account collegati a truffe finanziarie.
  • Spam: La stragrande maggioranza del nostro lavoro contro lo spam viene eseguito automaticamente utilizzando modelli riconoscibili di comportamento problematico. Ad esempio, se un account pubblica più e più volte in rapida successione che è un segno forte, qualcosa non va.
  • Propaganda terroristica: La maggior parte di questi contenuti viene rimossa automaticamente, senza che prima qualcuno debba segnalarli.
  • Prevenzione del suicidio: Come spiegato sopra, identifichiamo in modo proattivo post che potrebbero dimostrare che le persone sono a rischio in modo che possano ricevere aiuto.

Quando parlo di tecnologia come l'intelligenza artificiale, la visione artificiale o l'apprendimento automatico, le persone spesso chiedono perché non stiamo facendo progressi più velocemente. Ed è una buona domanda. L'intelligenza artificiale, per esempio, è molto promettente, ma siamo ancora lontani anni dall'essere efficace per tutti i tipi di contenuti negativi, perché il contesto è così importante. Ecco perché abbiamo ancora persone che stanno rivedendo i rapporti.

E più in generale, la tecnologia ha bisogno di grandi quantità di dati di addestramento per riconoscere modelli di comportamento significativi, che spesso ci mancano in lingue meno diffuse o per casi che non vengono spesso riportati. Ecco perché in genere possiamo fare di più in inglese poiché è il più grande set di dati che abbiamo su Facebook.

Ma stiamo investendo in tecnologia per aumentare la nostra precisione attraverso le nuove lingue. Ad esempio, Facebook AI Research (FAIR) sta lavorando su un'area chiamata Matrimoni multilingue come un modo potenziale per affrontare la sfida linguistica. Ed è il motivo per cui a volte potremmo chiedere alle persone feedback se i post contengono determinati tipi di contenuti, per incoraggiare le persone a segnalarli per la revisione. Ed è il motivo per cui i rapporti che provengono da persone che usano Facebook sono così importanti – quindi per favore continuate a farlo. Perché lavorando insieme possiamo contribuire a rendere Facebook più sicuro per tutti.

Leave a Reply