Download - Função Hash Mínima e Perfeita
Função Hash Mínima e Perfeita
César Francisco Moura CoutoDavid Menoti
Departamento de Ciência da ComputaçãoUniversidade Federal de Minas Gerais
Roteiro da Apresentação
Introdução Função Hash Função Hash Perfeita Função Hash Perfeita e Mínima
Algoritmos para geração da FHPM Experimentos Conclusões
Hashing
Hashing ou transformação de chave é um método de pesquisa onde os registro armazenados em uma tabela são diretamente endereçados a partir de uma transformação aritmética sobre a chave de pesquisa. Esse método é constituído de duas fases:
Computar o valor da função de transformação (função hashing), a qual transforma a chave de pesquisa em um endereço na tabela.
Considerando que duas ou mais chaves podem ser transformadas em um mesmo endereço da tabela, é necessário existir um método para lidar com colisões
Função Hashing
Uma função hashing transforma um conjunto de chaves em um conjunto de valores inteiros com colisões permitidas.
Função Hashing Perfeita
Quando não houver colisões a função hashing é denominada função hashing perfeita.
Função Hashing Perfeita Mínima Se o numero de chaves n e o tamanho da tabela
m são iguais , então a função hashing é denominada função hashing perfeita e mínima
Algoritmos para geração FHPM
Existem várias estratégias para encontrar funções Hashing perfeitas. A estratégia definida nos algoritmos 1 e 2 utiliza a abordagem MOS (Mapping, Ordering e Searching) descrita por Cichelli, 1980
Algoritmos para geração FHPM Mapping
Consiste em transformar um conjunto de chaves de um universo original para um novo universo
Ordering Coloca as chaves em uma seqüência ordenada
que determina a ordem em que os valores das chaves serão espalhados (Hashing)
O passo de Ordering deve particionar as chaves dentro de subseqüências de chaves consecutivas. Esta subseqüência forma um nível e as chaves de cada nível devem ter seus valores determinados na tabela hash
Algoritmos para geração FHPM
Searching Consiste em tentar determinar valores hash
para as chaves de cada nível. Se o passo Searching encontrar um nível que é incapaz de acomodar, ele volta para um nível anterior, determina novos valores para as chaves do nível e tenta novamente determinar valores para níveis posteriores.
Algoritmo 1 - Mapping
FOX, HEATH, CHEN, DAOUD [7] Considerando que chaves são strings de
caracteres, no passo de Mapping um conjunto de triplas é obtido para servir como identificador da chave.
A técnica para construir esse conjunto de triplas consiste essencialmente em obter um numero randômico (mod n) para cada chave, fazendo o uso de todas as informações na chave para dar o máximo de discriminação
Algoritmo 1 - Mapping
Três tabelas de números randômicos são criadas, uma para cada função h0, h1 e h2 ,onde cada tabela contém um número randômico para cada caractere de cada posição i na chave. Então as triplas são computadas usando as seguintes formulas:
nktablekhy
iii mod))(()(
100
rktablekhy
iii mod))(()(
111
rrktablekhy
iii
mod))(()(1
22
Algoritmo 1 - Mapping
Os valores de h1 e h2 são usados para construir um grafo bipartido chamado de grafo de dependência
A metade dos vértices do grafo de dependência correspondem aos valores de h1. A outra metade correspondem aos valores de h2
Uma chave k corresponde a uma aresta nomeada por k entre os vértices nomeados por h1(k) e h2(k)
Algoritmo 1 - Ordering O passo de Ordering ordena os vértices do grafo bipartido
e a partir desse vértices, níveis são criados Cada nível representa um conjunto de arestas
Algoritmo 1 - Searching
O passo de Searching obtém os níveis produzidos no passo de Ordering e tenta determinar os valores hash para as chaves
Esse passo utiliza a seguinte equação para determinar a posição na tabela
))(())(()()( 0 khgkhgkhkh yx
Algoritmo 1 - Execução
Mapping A ilustração do algoritmo utiliza um conjunto de
seis chaves. A seis palavras com os seus valores de h0 , h1 e h2 são
210 ,, hhh
0h 1hConjunto de chaves associadas a seus valores de
Palavra valor valor valor
Asgard 2 0 5
Ash 3 0 5
Ashanti 0 2 3
Ashcroft 3 1 5
Ashe 5 1 3
Asher 1 1 3
2h
Algoritmo 1 - Execução
Mapping Os valores h1 e h2 formam o grafo de
dependência bipartido
Algoritmo 1 - Execução
Ordering
Algoritmo 1 - Execução
Os resultados do passo de Ordering são os vertices ordenados 1, 5, 3, 0 e 2 obtidos na ordenação de quatro níveis
Níveis na Ordenação
Nível Tamanho do Nível
Chaves no Nível
1 1 Ashcroft
2 2 Ashe, Asher
3 2 Asgard, Ash
4 1 Ashanti
Algoritmo 1 - Execução
Searching
FOX, CHEN, HEATH [6]: MPHF até 3.8 milhões de chaves em 6 horas. Resultado experimental: O(n) ??? Pouco espaço para representar a MPHF obtida:
2.5 bits/chave. CZECH, HAVAS e MAJEWSKI [4]: O(nn/2n) ???
Algoritmo 2 - Buckets
Algoritmo 2 - Buckets
Mapping
Algoritmo 2 - Buckets
Ordering e Searching
Algoritmo 2 - Exemplo (Searching)
7
6.0
1
1
p
np
0 1 2 3 4 5 6 7 8 9 10 11
jan fevjundez
marmaisetnov
abr julAgo
Out
8
:3,42,)1/(log
b
temoscusandocncnbJan, fev, mar, abr,mai, jun, jul, ago, set,out, nov, dez
3
3.0
2
2
p
bp
0 1 2 3 4 5 6 7
marmaisetnov
jan fevjundez
abrjul
ago Out
0 1 2 3 4 5 6 7
marmaisetnov
fevjundez
abrjul
jan ago out
h10
h11 h12
Sort
C
Algoritmo 2 - Exemplo (Searching)
0 1 2 3 4 5
1
0 1 2 3 4 5 6 7 8 9 10 11
11 0 2 3
nBgchchpm
nCh
i mod))()(()(
1,,0:
20
20
0 1 2 3 4 5 6 7
marmaisetnov
fevjundez
abrjul
jan ago out
h20
0 1 2 3 4 5 6 7
11032
142
87
10 8 0
g
SEARCH
Tabela HashxcomalinhadoseraBdemembroumue
vazioindiceumxsendonuxBg
i
i ,mod)()(
B
Algoritmo 2 - Exemplo (Searching)
0 1 2 3 4 5
1 1
0 1 2 3 4 5 6 7 8 9 10 11
11 0 2 3
nBgchchpm
nCh
i mod))()(()(
1,,0:
20
20
0 1 2 3 4 5 6 7
marmaisetnov
fevjundez
abrjul
jan ago out
h20
0 1 2 3 4 5 6 7
11032
142
87
10 8 0
g
SEARCH
Tabela HashxcomalinhadoseraBdemembroumue
vazioindiceumxsendonuxBg
i
i ,mod)()(
B
Algoritmo 2 - Exemplo (Searching)
0 1 2 3 4 5
1 4
0 1 2 3 4 5 6 7 8 9 10 11
11 0 2 3 1 2 4
nBgchchpm
nCh
i mod))()(()(
1,,0:
20
20
0 1 2 3 4 5 6 7
marmaisetnov
fevjundez
abrjul
jan ago out
h20
0 1 2 3 4 5 6 7
11032
142
87
10 8 0
g
SEARCH
Tabela HashxcomalinhadoseraBdemembroumue
vazioindiceumxsendonuxBg
i
i ,mod)()(
B
Algoritmo 2 - Exemplo (Searching)
0 1 2 3 4 5
1 4 6
0 1 2 3 4 5 6 7 8 9 10 11
11 0 2 3 1 2 4
nBgchchpm
nCh
i mod))()(()(
1,,0:
20
20
0 1 2 3 4 5 6 7
marmaisetnov
fevjundez
abrjul
jan ago out
h20
0 1 2 3 4 5 6 7
11032
142
87
10 8 0
g
SEARCH
Tabela HashxcomalinhadoseraBdemembroumue
vazioindiceumxsendonuxBg
i
i ,mod)()(
B
Algoritmo 2 - Exemplo (Searching)
0 1 2 3 4 5
1 4 11
0 1 2 3 4 5 6 7 8 9 10 11
11 0 2 3 1 2 4
nBgchchpm
nCh
i mod))()(()(
1,,0:
20
20
0 1 2 3 4 5 6 7
marmaisetnov
fevjundez
abrjul
jan ago out
h20
0 1 2 3 4 5 6 7
11032
142
87
10 8 0
g
SEARCH
Tabela HashxcomalinhadoseraBdemembroumue
vazioindiceumxsendonuxBg
i
i ,mod)()(
B
Algoritmo 2 - Exemplo (Searching)
0 1 2 3 4 5
1 4 1
0 1 2 3 4 5 6 7 8 9 10 11
11 0 2 3 1 2 4
nBgchchpm
nCh
i mod))()(()(
1,,0:
20
20
0 1 2 3 4 5 6 7
marmaisetnov
fevjundez
abrjul
jan ago out
h20
0 1 2 3 4 5 6 7
11032
142
87
10 8 0
g
SEARCH
Tabela HashxcomalinhadoseraBdemembroumue
vazioindiceumxsendonuxBg
i
i ,mod)()(
B
Algoritmo 2 - Exemplo (Searching)
0 1 2 3 4 5
1 4 2
0 1 2 3 4 5 6 7 8 9 10 11
11 0 2 3 1 2 4 7 8
nBgchchpm
nCh
i mod))()(()(
1,,0:
20
20
0 1 2 3 4 5 6 7
marmaisetnov
fevjundez
abrjul
jan ago out
h20
0 1 2 3 4 5 6 7
11032
142
87
10 8 0
g
SEARCH
Tabela HashxcomalinhadoseraBdemembroumue
vazioindiceumxsendonuxBg
i
i ,mod)()(
B
Algoritmo 2 - Exemplo (Searching)
0 1 2 3 4 5
1 4 2 4
0 1 2 3 4 5 6 7 8 9 10 11
11 0 10 2 3 1 2 4 7 8
nBgchchpm
nCh
i mod))()(()(
1,,0:
20
20
0 1 2 3 4 5 6 7
marmaisetnov
fevjundez
abrjul
jan ago out
h20
0 1 2 3 4 5 6 7
11032
142
87
10 8 0
g
SEARCH
Tabela HashxcomalinhadoseraBdemembroumue
vazioindiceumxsendonuxBg
i
i ,mod)()(
B
Algoritmo 2 - Exemplo (Searching)
0 1 2 3 4 5
1 4 2 4 11
0 1 2 3 4 5 6 7 8 9 10 11
11 0 10 2 3 1 2 8 4 7 8
nBgchchpm
nCh
i mod))()(()(
1,,0:
20
20
0 1 2 3 4 5 6 7
marmaisetnov
fevjundez
abrjul
jan ago out
h20
0 1 2 3 4 5 6 7
11032
142
87
10 8 0
g
SEARCH
Tabela HashxcomalinhadoseraBdemembroumue
vazioindiceumxsendonuxBg
i
i ,mod)()(
B
Algoritmo 2 - Exemplo (Searching)
0 1 2 3 4 5
1 4 2 4 11 11
0 1 2 3 4 5 6 7 8 9 10 11
11 0 10 2 3 1 2 8 4 7 8 0
nBgchchpm
nCh
i mod))()(()(
1,,0:
20
20
0 1 2 3 4 5 6 7
marmaisetnov
fevjundez
abrjul
jan ago out
h20
0 1 2 3 4 5 6 7
11032
142
87
10 8 0
g
SEARCH
Tabela HashxcomalinhadoseraBdemembroumue
vazioindiceumxsendonuxBg
i
i ,mod)()(
B
Algoritmo 3 - Grafo Acíclico
CZECH, HAVAS, MAJEWSKI [5] Método elegante baseado na geração de
grafos aleatórios. O objetivo do algoritmo é obter uma função g
que faça com que a função abaixo seja uma função hash perfeita mínima:
Cada função h é uma função hash universal:
H(chave) = (g(h1(chave)) + g(h2(chave))) mod n
mn
iPesosiChavehi mod1
][][
Algoritmo 3 - Grafo Acíclico Características
Complexidade de Tempo linear: O(n) Espaço de Especificação: c n log n Ordem preservada: Limite inferior da Classe
O algoritmo consiste de dois passos: Mapping – Obtenção do grafo acíclico Assignment – Obtenção da função g.
Algoritmo 3 - Mapping
09.2ccnm
Algoritmo 3 - Assignment
013
4
5
2
Busca em Profundidade a partir de um vértice n = 6, m = 13, c = 2,16
h(k) = (g(h1(k)) + g(h2(k))) mod n
05
05
32
4
Resultados - Algoritmo 1
Resultados - Algoritmo 2
Resultados - Algoritmo 3
Resultados - Comparação
Conclusões Algoritmo 3
Mais rápido Ordem lexicográfica das chaves Espaço de especificação: (cn log n) bits Limite inferior n log n \bits Complexidade de Tempo: O(n)
Algoritmos 1 e 2 Não preserva a ordem lexicográfica das
chaves Espaço de especificação inferior a
5n bits (Alg 2) e cn log n (Alg 1) Limite inferior 1,5 n bits Complexidade de Tempo: O(n2)
Referências1. CHEN, Q. F. (1992). An object-oriented database system for
efficient information retrieval applications. PhD thesis, Department of Computer Science, Virginia Tech.
2. CICHELLI, R. J. Minimal Perfect Hashing Made Simple, Comm. ACM 23(1)(January 1980) 17-19.
3. CORMEN, T. H., LEISERSON, C. E., RIVEST, R. L., and STEIN, C. (2002). Introduction to Algorithms. MIT Press and McGraw-Hill, second edition
4. CZECH, Zibigniew j., HAVAS, George MAJEWSKI, Bohdan S. Fundamental Study Perfect Hashing. Theoretical Computer Science 182(1997) 1-143.
5. CZECH, Zibigniew j., HAVAS, George MAJEWSKI, Bohdan S. An Optimal algorithm for generating minimal perfect hash functions. Information Processing Letters 43(1992) 257-264.
Referências6. FOX, Edward A., CHEN, Qi Fan, HEATH, Lenwood S. A Faster
Algorithm for Constructing Minimal Perfect Hash Functions. In: Proc. 15 th Ann. Internat. ACM SIGIR Conf. On Research and Development in Information Retrieval – SIGIR’92 (Copenhagen, Denmark, june 1992) 266-273.
7. FOX, Edward A., HEATH, Lenwood S, CHEN, Qi Fan, DAOUD, Amjad M. Practical Minimal Perfect Hash Functions for Large Databases, Comm. ACM 35(1) (January 1992) 105-121.
8. FREDMAN, M. R., KOMLÓS, J., SZEMERÉDI, E. Storing a sparse table with O(1) Worst Case Access Time, J. ACM 31(3) (July 1984) 538-544.
9. HAVAS, G. and MAJEWSKI, B. S. Optimal algorithms for minimal perfect hashing. Technical Report 234, The University of Queensland, Key Centre for Software Technology, (1992).
10. MAJEWSKI, Bohdan S., WORMALD, Nicholas C., HAVAS, George, CZECH, Zibigniew j. A Family of Perfect Hashing Methods. The Computer Journal, v.39, N.6, 1996.
Referências11. MEHLHORN, K. On the program size of perfect and universal hash
functions. In Proceedings of the 23rd IEEE Symposium on Foundations of Computer Science (FOCS’82), pages 170–175, 1982.
12. MEHLHORN, K. Data Structures and Algorithms 1: Sorting and Searching. Springer-Verlag, Berlin - Heidelberg - New York – Tokyo, 1984.
13. PEARSON, P. K. Fast hashing of variable-length text strings. Communications of the ACM, 28(6):667–680, 1990.
14. SAGER, T. J. A new method for generating minimal perfect hashing functions. Technical report, Department of Computer Science, University of Missouri-Rolla, Mo, 1984.
15. SAGER, T. J. A Polynomial Time Generator for Minimal Perfect Hash Functions, Comm. ACM 28(5), pages 523-532, 1985.
16. ZIVIANI, N. Projeto de Algoritmos com implementações em Pascal e C. Pioneira Thomson Learnig, São Paulo - SP - Brasil, 2a. edição revisada e ampliada, 2004.
Agradecimentos
Dúvidas e Perguntas
?