Deduplicazione dei dati B2B: una spiegazione dettagliata: corrispondenze esatte, corrispondenze approssimative e il costo nascosto dei contatti duplicati.
Di Rodylyn Villaflores · Co-fondatrice di LastDatabase
Pubblicato: 02 set 2026 · Aggiornato: 16 ott 2026 · Visualizzazioni: 631
I dati B2B duplicati sembrano semplici finché due record non risultano simili ma non identici.
Le righe identiche sono relativamente facili da identificare.
Il problema più difficile è stabilire se record dall'aspetto diverso rappresentino la stessa persona, azienda, luogo o rapporto commerciale.
Robert Smith e Bob Smith potrebbero essere la stessa persona. Oppure potrebbero essere persone diverse.
Due contatti possono condividere lo stesso dominio aziendale senza essere duplicati. Una persona può utilizzare più indirizzi email validi. Un'azienda può apparire con la sua denominazione legale, con il suo nome commerciale e con il suo nome abbreviato.
Ecco perché la deduplicazione B2B non è semplicemente una SELECT DISTINCT
Una deduplicazione efficace combina normalizzazione, risoluzione delle entità, regole di corrispondenza, misurazione della qualità, decisioni di sopravvivenza e un'attenta conservazione dei metadati importanti.
Questa guida illustra il rilevamento esatto e approssimativo dei duplicati, la deduplicazione a livello di persona e di azienda, le fusioni errate, le regole di sopravvivenza, la conservazione della soppressione e le metriche che gli acquirenti dovrebbero utilizzare per valutare la qualità della rimozione dei duplicati.
Deduplicazione B2B in una sola tabella
| Problema | Esempio | Possibile approccio | Rischio principale |
|---|---|---|---|
| Riga esatta duplicata | Due dischi identici | Confronto esatto | Basso se veramente identico |
| duplicato normalizzato | JOHN@EXAMPLE.COM vs john@example.com | Normalizzazione più confronto esatto | Sovranormalizzazione |
| Variante del nome | Robert Smith contro Bob Smith | Identificatori aggiuntivi o corrispondenza approssimativa | fusione errata |
| Variazioni aziendali | Example Technologies Ltd vs Example Tech | Risoluzione del dominio e dell'identità aziendale | Unire aziende separate |
| Informazioni modificate | La stessa persona con una vecchia e una nuova qualifica professionale. | Risoluzione dell'entità più prova di freschezza | Mantenere il valore sbagliato |
| Attributo condiviso | Due dipendenti utilizzano lo stesso dominio aziendale | Identificatori a livello di persona | Trattare i dati aziendali condivisi come identità personale |
Che cos'è la deduplicazione dei dati B2B?
La deduplicazione dei dati B2B è il processo di identificazione dei record che rappresentano la stessa entità e di decisione su come tali record debbano essere gestiti.
L'entità rilevante potrebbe essere:
- una persona;
- un'azienda;
- una sede aziendale;
- un indirizzo email;
- un numero di telefono;
- un dominio;
- una relazione tra cliente e referente.
La definizione è importante.
Due righe possono contenere indirizzi email duplicati senza essere righe duplicate nel database. Due record possono rappresentare la stessa persona pur contenendo indirizzi email diversi. Due record aziendali possono rappresentare la stessa organizzazione pur utilizzando nomi diversi.
Innanzitutto definiamo cosa significa “duplicato”.
Un processo di deduplicazione dovrebbe definire la sua unità prima di eliminare o unire qualsiasi elemento.
| Tipo duplicato | La Domanda |
|---|---|
| Riga duplicata | Tutti i valori memorizzati rilevanti sono identici? |
| Email duplicata | Lo stesso indirizzo email normalizzato compare più di una volta? |
| Persona duplicata | I record multipli si riferiscono alla stessa persona? |
| Azienda duplicata | I record multipli rappresentano la stessa organizzazione? |
| Posizione duplicata | I dati registrati si riferiscono alla stessa sede aziendale? |
| Relazione duplicata | Si verifica sempre la stessa relazione tra persona e azienda? |
Queste definizioni producono conteggi di duplicati diversi.
Perché SELECT DISTINCT non è sufficiente
SQL SELECT DISTINCT è possibile rimuovere le righe di risultati identiche in base alle colonne selezionate.
Non può determinare da solo che:
- Bob Smith è Robert Smith;
- Acme Ltd è ACME Limited;
- due numeri di telefono formattati rappresentano lo stesso numero;
- I vecchi e i nuovi dati di una persona rappresentano lo stesso individuo;
- Due nomi di aziende simili appartengono in realtà a organizzazioni diverse.
Si tratta di problemi di identità e di corrispondenza.
La deduplicazione si sovrappone quindi ai principi di risoluzione delle entità discussi nella nostra guida all'arricchimento dei dati B2B.
Fase 1: Normalizzare prima del confronto
Molte delle differenze apparenti sono in realtà differenze di formato piuttosto che differenze di identità.
La normalizzazione può rendere i valori comparabili più coerenti.
Normalizzazione delle email
Tra le operazioni di elaborazione di base utili si possono includere la rimozione degli spazi bianchi circostanti e la gestione coerente delle maiuscole e minuscole nei nomi di dominio.
Tuttavia, le trasformazioni aggressive specifiche per i singoli fornitori dovrebbero essere affrontate con cautela.
Un sistema di deduplicazione non dovrebbe presupporre che ogni provider di posta elettronica gestisca allo stesso modo parti locali, alias o punteggiatura.
Normalizzazione del telefono
I numeri di telefono possono apparire con:
- spazi;
- parentesi;
- trattini;
- prefissi locali;
- codici paese internazionali;
- estensioni.
La normalizzazione dovrebbe preservare un contesto sufficiente per evitare di trattare come identici numeri locali non correlati provenienti da paesi diversi.
Normalizzazione del nome dell'azienda
I nomi delle aziende possono variare a seconda di:
- capitalizzazione;
- punteggiatura;
- suffissi legali;
- abbreviazioni;
- spaziatura;
- denominazioni commerciali.
Eliminare ogni differenza può essere pericoloso perché alcune differenze distinguono entità giuridiche separate.
Normalizzazione del nome proprio
I nomi possono contenere:
- secondi nomi;
- iniziali;
- soprannome;
- prefissi e suffissi;
- diverse traslitterazioni;
- diverse convenzioni di ordinamento;
- segni diacritici.
La normalizzazione può migliorare il confronto, ma non dimostra l'identità.
L'eccessiva normalizzazione può creare falsi duplicati
La normalizzazione elimina le variazioni.
Ciò è utile finché non vengono eliminate le variazioni significative.
L'Ufficio nazionale di statistica del Regno Unito osserva che un'eccessiva standardizzazione può rendere i record meno distinguibili e aumentare il rischio di falsi positivi.
Per la deduplicazione B2B, la lezione pratica è semplice:
Normalizzare i dati per consentire il confronto, ma preservare i valori originali ed evitare di presumere che la somiglianza implichi l'identità.
Fase 2: Corrispondenza esatta
La corrispondenza esatta confronta attributi standardizzati secondo regole predefinite.
Gli esempi potrebbero includere:
- Indirizzo email esatto e normalizzato;
- Numero di telefono esatto e normalizzato, con contesto del paese;
- dominio aziendale esatto;
- combinazione esatta del nome e del dominio aziendale;
- identificatore esatto della sorgente interna.
La corrispondenza esatta è veloce e interpretabile.
Tuttavia, può non rilevare duplicati reali quando i valori contengono errori, modifiche o variazioni legittime.
ONS descrive la corrispondenza esatta deterministica come utile per una prima fase, con metodi più flessibili disponibili per i casi irrisolti. :contentReference[oaicite:2]{index=2}
Fase 3: Corrispondenza approssimativa o fuzzy
La corrispondenza approssimativa (fuzzy matching) cerca valori simili ma non identici.
Gli esempi includono:
- Jon Smith contro John Smith;
- Mohammad Rahman contro Muhammad Rahman;
- Example Technology Ltd contro Example Technologies Limited;
- nomi abbreviati o riordinati.
La corrispondenza approssimativa può migliorare il richiamo, ma crea un nuovo rischio: le fusioni errate.
Quanto più un sistema accetta in modo aggressivo la somiglianza, tanto più facile diventa combinare accidentalmente entità diverse.
La corrispondenza approssimativa non è un singolo algoritmo
"Corrispondenza approssimativa" è un'etichetta piuttosto generica.
Un sistema potrebbe utilizzare:
- misure della distanza di modifica;
- confronto dei token;
- confronto fonetico;
- normalizzazione specifica per nome;
- combinazioni ponderate di attributi multipli;
- Collegamento probabilistico dei record;
- regole aziendali personalizzate.
Pertanto, affermare che un sistema "utilizza la corrispondenza approssimativa" non ne spiega la qualità.
Le questioni importanti riguardano le variabili, le soglie, la validazione e i tassi di errore.
Fase 4: Risoluzione delle entità multi-campo
Una decisione di deduplicazione più efficace in genere considera più di un attributo.
Supponiamo che vengano visualizzati questi due record:
| Settore | Registra A | Registrazione B |
|---|---|---|
| Nome | Robert J.Smith | Bob Smith |
| Azienda | Example Systems Ltd | Sistemi di esempio |
| Domini | examplesystems.com | examplesystems.com |
| Titolo | Sales Director | Director of Sales |
| Località | Londra | Londra |
Le registrazioni contengono diversi segnali coerenti.
Ciò rende più plausibile l'ipotesi che si tratti della stessa persona rispetto al solo nome.
Ciò non costituisce comunque una prova universale.
Le caratteristiche aziendali condivise non dimostrano l'identità di una persona.
Consideriamo ora due record con:
- nomi diversi;
- la stessa azienda;
- lo stesso dominio aziendale;
- lo stesso indirizzo dell'ufficio.
Questi record potrebbero semplicemente rappresentare due dipendenti della stessa organizzazione.
Gli attributi a livello aziendale non dovrebbero essere automaticamente utilizzati come identificatori univoci a livello individuale.
La deduplicazione delle persone e la deduplicazione delle aziende devono essere separate
Un database può contenere un'azienda e centinaia di contatti legittimi.
La deduplicazione aziendale si interroga sulla possibilità che più record aziendali rappresentino la stessa organizzazione.
La deduplicazione delle persone verifica se più record di contatto rappresentano la stessa persona.
La combinazione di queste operazioni può causare la scomparsa di contatti validi.
La deduplicazione delle email non è la deduplicazione delle persone
Un indirizzo email normalizzato e preciso può essere una chiave di duplicazione utile per l'analisi a livello di email.
Ma le persone possono:
- cambiare datore di lavoro;
- ricevere un nuovo indirizzo aziendale;
- hanno degli alias;
- utilizzare più di un indirizzo commerciale valido.
Al contrario, alcuni indirizzi sono basati sul ruolo anziché essere specifici di una persona.
Perciò:
"Un indirizzo email = una persona" non è una regola di identificazione universalmente sicura.
Il ruolo si rivolge a chi necessita di un trattamento speciale
Indirizzi come:
- saldi@;
- informazioni@;
- supporto@;
- account@;
- marketing @
possono rappresentare funzioni organizzative piuttosto che singole persone.
Diversi contatti associati a un unico ruolo non dovrebbero essere automaticamente uniti in un unico individuo.
I due principali errori di deduplicazione
Falso positivo: fusione errata
Un falso positivo si verifica quando entità diverse vengono classificate erroneamente come duplicati.
Le possibili conseguenze includono:
- eliminare un contatto legittimo;
- unire le storie di persone diverse;
- assegnare il titolo sbagliato;
- spostare una richiesta di disattivazione sull'identità sbagliata;
- corrompere i dati analitici;
- invio di personalizzazioni errate.
Falso negativo: duplicato mancato
Si verifica un falso negativo quando i record che rappresentano la stessa entità rimangono separati.
Le possibili conseguenze includono:
- attività di sensibilizzazione ripetute;
- Conteggi del database gonfiati;
- costi della campagna duplicati;
- cronologia delle attività frammentata;
- arricchimento incoerente;
- stato di soppressione contraddittorio.
L'ONS identifica esplicitamente gli errori di collegamento falsi positivi e falsi negativi e raccomanda di valutarli entrambi piuttosto che affidarsi solo al tasso di corrispondenza. :contentReference[oaicite:3]{index=3}
Perché il tasso di corrispondenza non è un indicatore di qualità
Un sistema che etichetta più record come duplicati non è necessariamente migliore.
L'ONS afferma che i tassi di corrispondenza indicano quanti record sono stati collegati, ma non la qualità del collegamento.
Immaginiamo due sistemi ipotetici:
- Il sistema A risolve il 97% delle coppie candidate;
- Il sistema B risolve l'88%.
Questi dati da soli non ci permettono di stabilire quale sistema sia più preciso.
Il sistema A potrebbe utilizzare regole aggressive che generano un maggior numero di fusioni errate.
I valori del 97% e dell'88% sono esempi ipotetici e non rappresentano affermazioni sulle prestazioni di LastDatabase.
Precisione e richiamo forniscono un contesto migliore
Due concetti utili derivanti dal collegamento dei record sono la precisione e il richiamo.
Precisione
Precision chiede:
Tra i record classificati come duplicati, quanti rappresentavano effettivamente la stessa entità?
Richiamo
Recall chiede:
Di tutti i duplicati reali esistenti, quanti ne ha identificati il sistema?
Una regola conservativa può avere un'elevata precisione ma non rilevare i duplicati.
Una regola aggressiva può identificare un maggior numero di duplicati, ma aumenta anche il numero di fusioni errate.
L'ONS raccomanda di riportare la precisione e il richiamo quando si valuta la qualità del collegamento. :contentReference[oaicite:4]{index=4}
Esiste un compromesso tra precisione e richiamo.
Le soglie di deduplicazione influenzano i risultati.
Aumentare la soglia di accettazione può ridurre le fusioni discutibili, ma lascia più duplicati irrisolti.
Abbassare la soglia può aumentare il numero di corrispondenze, ma anche il rischio di falsi positivi.
Il giusto equilibrio dipende dalle conseguenze di ciascun errore.
Per un CRM di alto valore, unire accidentalmente due dirigenti può essere più dannoso che lasciarli temporaneamente irrisolti.
Lo stato "Non risolto" è uno stato valido
Un sistema di deduplicazione non deve necessariamente classificare ogni coppia di candidati come duplicata o unica.
Un terzo stato può essere utile:
necessita di revisione
Ciò consente di mantenere separati i documenti ambigui fino a quando non saranno disponibili prove più solide.
Come nel caso dell'arricchimento, un'incertezza visibile può essere più sicura di una decisione errata presa con sicurezza.
La deduplicazione non dovrebbe eliminare automaticamente i record
Il rilevamento e la cancellazione sono operazioni separate.
Una volta identificati i candidati duplicati, un sistema deve decidere cosa farne.
Le possibili azioni includono:
- Segnala per revisione;
- collegare i record sotto un'unica entità;
- unire i campi selezionati;
- contrassegnare un record come inattivo;
- conservare entrambi i record con una relazione;
- eliminare un record ridondante confermato.
La cancellazione distruttiva immediata può eliminare le prove necessarie per correggere in seguito un'unione errata.
Che cos'è un documento canonico?
Un record canonico è il record selezionato o creato per rappresentare un'entità dopo la risoluzione dei duplicati.
Potrebbe combinare informazioni provenienti da diverse fonti.
La sua creazione richiede regole di sopravvivenza.
Le regole di sopravvivenza decidono quali valori vincono
Supponiamo che due record rappresentino la stessa persona, ma differiscano per quanto riguarda la qualifica professionale.
| Settore | Registra A | Registrazione B |
|---|---|---|
| Ruolo lavorativo | Responsabile Vendite | Sales Director |
| Osservato | Gennaio | Agosto |
| Fonte | Fonte A | Fonte B |
Una regola semplicistica del tipo "vince la riga più recente del database" potrebbe non essere sufficiente.
Tra i fattori utili per la sopravvivenza si possono includere:
- data di consultazione;
- qualità della fonte;
- stato di verifica;
- fiducia specifica del settore;
- conferma manuale;
- se il valore è stato osservato o dedotto.
Questo si collega direttamente ai principi di provenienza descritti nella nostra guida alle fonti di dati B2B.
Non sempre la novità è sinonimo di qualità.
Un record appena importato può contenere informazioni provenienti da fonti precedenti.
Pertanto, la data di importazione non dovrebbe determinare automaticamente la sopravvivenza.
Il nostro framework per la validità dei dati B2B spiega perché è necessario distinguere tra i timestamp dei database e le date di osservazione reali.
Conservare la provenienza della fusione
Un record unito dovrebbe idealmente conservare metadati sufficienti a spiegare:
- quali documenti di origine hanno contribuito;
- quali valori sono sopravvissuti;
- perché sono sopravvissuti;
- quando è avvenuta la fusione;
- quale regola di corrispondenza è stata utilizzata;
- se sia stata effettuata una revisione manuale.
Senza queste informazioni, correggere una fusione errata può diventare difficile.
La soppressione deve sopravvivere alla deduplicazione
Ciò è particolarmente importante per i database di marketing.
Supponiamo che un record duplicato contenga uno stato di soppressione del marketing attivo, mentre un altro no.
Un processo di unione non deve scartare silenziosamente lo stato di soppressione.
Analogamente, eliminare la copia soppressa conservando solo la copia non soppressa può ricreare contatti indesiderati.
La nostra guida sulla lista di soppressione spiega perché la soppressione dovrebbe persistere sia per le importazioni che per i futuri controlli di campagna.
La deduplicazione non prevale sulla conformità
Una corrispondenza con un'entità riuscita non crea l'autorizzazione a contattare qualcuno.
La deduplicazione, la verifica, la deliverability e la conformità al marketing rimangono livelli separati.
Per la distinzione tra aspetti legali e operativi, consulta la nostra guida alla conformità delle email B2B .
I conteggi duplicati necessitano di un denominatore
Un'affermazione come "il nostro tasso di duplicati è del 2%" è incompleta senza una metodologia.
Le domande utili includono:
- Il 2% delle righe o delle entità uniche?
- duplicati esatti o duplicati approssimativi?
- A livello di email o a livello di persona?
- Prima o dopo la normalizzazione?
- all'interno di una singola fonte o tra diverse fonti?
- Quale soglia di corrispondenza è stata utilizzata?
- I candidati ambigui sono stati esclusi?
Definizioni diverse possono produrre percentuali molto diverse a partire dallo stesso database.
Una pratica scheda di valutazione della qualità della deduplicazione
| Metrico | La Domanda |
|---|---|
| Tasso di duplicazione esatta | Quanti record duplicano una chiave esatta definita? |
| Tasso di duplicazione dei candidati | Quanti record vengono sottoposti a doppia revisione? |
| Precisione | Quanti dei link duplicati accettati sono corretti? |
| Richiamo | Quanti veri duplicati sono stati trovati? |
| Tasso di fusione falsa | Con quale frequenza si verificano errori di combinazione tra entità diverse? |
| Tasso di duplicati mancati | Con quale frequenza le entità duplicate rimangono irrisolte? |
| Tasso di revisione manuale | Quante coppie di candidati richiedono una revisione umana? |
| Tasso di inversione della fusione | Con quale frequenza è necessario correggere in seguito le fusioni completate? |
| Tasso di conservazione della soppressione | Gli stati di soppressione applicabili vengono mantenuti durante le unioni? |
| Copertura della provenienza | È possibile risalire ai record di origine dei valori uniti? |
Non tutti i sistemi necessitano di ogni metrica, ma una singola percentuale complessiva di duplicati raramente è sufficiente a descrivere la qualità.
Come testare un sistema di deduplicazione
Una valutazione difendibile richiede record il cui stato di duplicazione possa essere determinato in modo indipendente.
Una prova pratica può:
- definire l'entità da deduplicare;
- definire la popolazione candidata;
- creare o rivedere esempi noti, sia duplicati che non duplicati;
- regole di normalizzazione dei documenti;
- documentare le regole di corrispondenza esatta e approssimativa;
- avviare il processo di deduplicazione;
- esaminare le corrispondenze accettate;
- controllare i duplicati non rilevati;
- calcolare la precisione e il richiamo, ove opportuno;
- esaminare gli errori per segmento e regola di corrispondenza;
- testare il comportamento di sopravvivenza;
- preservazione della soppressione del test;
- documentare i risultati e la data di valutazione.
Anche lo standard di qualità per il collegamento dei dati dell'Ufficio del Censimento degli Stati Uniti pone l'accento su specifiche, criteri di collegamento validi, variabili standardizzate, test di sistema, monitoraggio e valutazione. :contentReference[oaicite:5]{index=5}
Il collegamento dei record reali spesso utilizza più fasi
Un recente esempio di collegamento tra le normative del governo britannico dimostra perché una singola regola di corrispondenza potrebbe non essere sufficiente.
Nel lavoro di collegamento tra i dati sugli incidenti stradali mortali e i dati di registrazione dei decessi, il processo ha utilizzato diverse fasi, tra cui la corrispondenza esatta per nome ed età, la corrispondenza approssimativa dei nomi, la riorganizzazione o l'estensione dei nomi, criteri di corrispondenza approssimativa meno rigorosi e una gestione speciale nei casi in cui i nomi erano mancanti.
L'esempio non rappresenta un benchmark di database B2B.
Illustra un principio generale di collegamento dei record: gli identificatori del mondo reale possono variare e i metodi di corrispondenza possono essere adattati in base alla qualità delle prove. :contentReference[oaicite:6]{index=6}
Il blocco può rendere praticabile la deduplicazione su larga scala
Il confronto di ogni record con ogni altro record diventa oneroso man mano che il database cresce.
I sistemi di collegamento dei record possono utilizzare regole di blocco o di generazione di candidati per ridurre lo spazio di confronto.
Ad esempio, un sistema potrebbe innanzitutto considerare i record candidati che condividono un dominio normalizzato o un altro attributo discriminante.
La regola di blocco stessa deve essere valutata, poiché un blocco eccessivamente restrittivo può impedire che i duplicati reali raggiungano la fase di corrispondenza.
La qualità della deduplicazione dipende dalla qualità dell'input.
La mancanza o l'erroneità degli identificatori rendono più difficile l'abbinamento.
L'ONS osserva che i valori mancanti possono influenzare le decisioni di abbinamento e aumentare l'incertezza nella misurazione dell'errore di collegamento. :contentReference[oaicite:7]{index=7}
Un database contenente nomi incompleti, identificativi aziendali mancanti e indirizzi obsoleti potrebbe richiedere una strategia diversa rispetto a un set di dati contenente identificativi solidi e stabili.
La deduplicazione e l'arricchimento possono interagire
L'arricchimento può contribuire alla deduplicazione fornendo segnali di corrispondenza aggiuntivi.
La deduplicazione può anche migliorare l'arricchimento dei dati, impedendo che la stessa entità riceva attributi contrastanti in più record.
Ma gli errori possono propagarsi in entrambe le direzioni.
Una corrispondenza di arricchimento errata può generare un falso segnale di duplicazione. Una fusione errata può quindi contaminare i futuri arricchimenti.
Ecco perché è importante verificare la provenienza.
Deduplicazione e verifica sono diverse
È possibile identificare correttamente due record come duplicati anche se l'indirizzo email in essi contenuto non è più valido.
Analogamente, due indirizzi email tecnicamente validi possono appartenere alla stessa persona.
La verifica valuta le prove definite relative a un attributo.
La deduplicazione valuta se i record rappresentano la stessa entità pertinente.
Per la distinzione relativa alla verifica, si prega di consultare la nostra definizione tecnica di dati B2B verificati .
Deduplicazione e deliverability sono concetti diversi.
Rimuovere i destinatari duplicati può ridurre gli invii ripetuti non necessari, ma non garantisce la consegna del messaggio.
L'autenticazione del mittente, la reputazione, il comportamento di invio e le politiche del provider di posta elettronica rimangono fattori distinti.
La nostra guida sulla consegna e la verifica illustra questi aspetti relativi al mittente.
Domande che gli acquirenti dovrebbero porsi sulla rimozione dei duplicati
- Cosa intende il fornitore per duplicato?
- La deduplicazione viene eseguita per riga, indirizzo email, persona, azienda o altra entità?
- I valori vengono normalizzati prima del confronto?
- Quali campi vengono utilizzati per la corrispondenza esatta?
- Si utilizza la corrispondenza approssimativa o quella fuzzy?
- Come vengono selezionate le soglie?
- Come vengono valutate le fusioni errate?
- Come vengono valutati i duplicati non rilevati?
- Vengono misurate la precisione e la sensibilità?
- È possibile che i record ambigui rimangano irrisolti?
- Quali regole di sopravvivenza determinano quali valori rimangono?
- I documenti originali vengono conservati?
- Viene mantenuta la provenienza della fusione?
- Gli stati di soppressione vengono preservati?
- È possibile annullare le fusioni errate?
Queste domande integrano la nostra checklist di due diligence per i database B2B.
Come LastDatabase gestisce le richieste di deduplicazione
La metodologia editoriale di LastDatabase distingue tra duplicati esatti, duplicati normalizzati e risoluzione dei duplicati a livello di entità.
Non consideriamo significativa una singola percentuale di duplicati senza aver prima definito l'unità di confronto e la metodologia utilizzata.
Inoltre, non consideriamo un tasso di corrispondenza più elevato come prova automatica di una migliore qualità dell'abbinamento.
Tra le risorse correlate alla trasparenza si annoverano:
Domande frequenti
1. Che cos'è la deduplicazione dei dati B2B?
La deduplicazione dei dati B2B identifica i record che si ritiene rappresentino la stessa persona, azienda, indirizzo, punto di contatto o relazione e determina come tali record debbano essere gestiti.
2. SELECT DISTINCT è sufficiente per rimuovere i duplicati B2B?
No. Può identificare righe di risultati identiche, ma non può distinguere record dall'aspetto diverso che potrebbero rappresentare la stessa entità reale.
3. Lo stesso indirizzo email appartiene sempre alla stessa persona?
No. Gli indirizzi di ruolo possono essere condivisi, e una persona può anche avere più indirizzi validi nel tempo.
4. Che cos'è la corrispondenza esatta?
La corrispondenza esatta applica regole definite che richiedono che gli attributi standardizzati selezionati corrispondano esattamente.
5. Che cos'è la corrispondenza approssimativa (fuzzy matching)?
La corrispondenza approssimativa (fuzzy matching) identifica somiglianze approssimative tra valori che non sono testualmente identici. Le sue regole e soglie necessitano di convalida perché la corrispondenza approssimativa può generare falsi positivi.
6. Cos'è una fusione falsa?
Si verifica una fusione errata quando i record appartenenti a entità diverse vengono classificati erroneamente come duplicati e combinati.
7. Che cos'è un duplicato mancato?
Si verifica un duplicato mancato quando più record che rappresentano la stessa entità rimangono separati.
8. Un'elevata percentuale di corrispondenze duplicate è una prova di una buona deduplicazione?
No. Il tasso di corrispondenza misura quanti abbinamenti sono stati effettuati, non se tali abbinamenti fossero corretti.
9. Cosa sono la precisione e il richiamo nella deduplicazione?
La precisione valuta quanti collegamenti duplicati accettati sono corretti. Il richiamo valuta quanti duplicati veri il processo identifica correttamente.
10. Che cos'è una regola di sopravvivenza?
Una regola di sopravvivenza determina quali valori di campo devono rimanere nel record canonico quando i record duplicati confermati contengono informazioni diverse.
11. Le informazioni relative alla soppressione devono sopravvivere a una fusione?
Lo stato di soppressione applicabile non deve essere scartato silenziosamente durante la deduplicazione. I controlli sulle preferenze di marketing richiedono una conservazione e un'applicazione separate.
12. I record ambigui dovrebbero essere forzatamente inseriti in una partita?
No. Quando le prove sono insufficienti, uno stato non risolto o in fase di revisione manuale può essere più sicuro di una fusione errata.
Riferimenti primari
- Ufficio nazionale di statistica del Regno Unito - Politica di collegamento e abbinamento dei dati
- Ufficio nazionale di statistica del Regno Unito: sviluppo di strumenti standard per il collegamento dei dati.
- Ufficio del censimento degli Stati Uniti — Standard di qualità statistica C4: Collegamento dei record di dati
- Ufficio del censimento degli Stati Uniti — Qualità dei dati: modifica/imputazione automatizzata e collegamento dei record
- Dipartimento dei trasporti del Regno Unito — Metodologia di collegamento dei record a più fasi
Conclusione
La deduplicazione dei dati B2B è un problema di risoluzione delle entità, non una semplice operazione di eliminazione di righe.
La corrispondenza esatta può identificare in modo efficiente i duplicati evidenti. La normalizzazione può rivelare variazioni di formattazione. I metodi fuzzy e probabilistici possono identificare relazioni meno ovvie.
Ma ogni strategia di abbinamento più ampia introduce la possibilità di fusioni errate.
Un processo di deduplicazione efficace definisce quindi l'entità da risolvere, preserva le informazioni originali, misura la qualità della corrispondenza, consente l'incertezza, documenta le regole di sopravvivenza e protegge stati importanti come la soppressione.
La sola percentuale di corrispondenze non è sufficiente.
Le domande più utili sono:
Quanti duplicati effettivi sono stati identificati, quante corrispondenze accettate erano corrette e che fine hanno fatto le informazioni dopo che quei record sono stati risolti?
L'autore
Rodylyn Villaflores
Cofondatore di LastDatabase
Rodylyn Villaflores è co-fondatrice di LastDatabase. Contribuisce alla creazione di contenuti formativi per LastDatabase, che trattano argomenti quali dati B2B, generazione di lead, ricerca di potenziali clienti, qualità dei dati e utilizzo responsabile dei dati.
Visualizza il profilo dell'autore →