Um Sistema de Data Warehousing para a Área da Qualidade da Água

Joana Fernandes1, Ana Sofia Duarte1

1 Universidade do Minho, {pg10911, pg11061}@alunos.uminho.pt

Resumo. A água é um bem essencial à vida humana, de tal forma que devemos preservá-la e prevenir a sua contaminação. De acordo com esta ideia, cada vez se tornou mais óbvio a necessidade de preservação da sua qualidade, através do controlo rigoroso de todos os parâmetros que poderão levar à sua degradação. A construção de um sistema de data warehousing para a qualidade da água tem como objectivo o armazenamento dos dados correspondentes, auxiliando no controle da qualidade e na descoberta do conhecimento através da aplicação das técnicas de mineração de dados. Com o intuito de preservar e prever a qualidade da água num futuro próximo, centramos este trabalho na criação de um sistema de data warehousing para a qualidade da água, e posteriormente foi realizado um estudo com base em técnicas de mineração de dados, como a classificação e a regressão linear.

Palavras Chave: Qualidade da água, consumo humano, práctica balnear, base de dados, data warehouse, mineração de dados, classificação, regressão.

1 Introdução

A água é o elemento químico mais abundante na Terra chegando a cobrir ¾ da sua superfície, contudo, 97% desta é salgada e a restante divide-se na sua maioria entre o gelo nas calotas polares, glaciares, rios e lagos (superficiais) e ainda outras subterrâneas. É destes três últimos que podemos extrair a pequena percentagem de 6% (aproximadamente) que pode servir para as variadas actividades tais como abastecimento público e industrial, irrigação agrícola, produção de energia, actividades de lazer, preservação da vida aquática entre outras [1]. Desta percentagem de 6%, apenas 6% é usada para consumo humano (Figura 1).

Mas para que todas estas actividades sejam possíveis o Homem deve preservar este bem evitando os inúmeros “ataques” à natureza como a poluição [2]. Apesar de todas as possíveis situações de poluição, o conceito de água poluída (ou não) depende do seu uso e também do seu equilíbrio entre o meio aquático e a sua fauna e flora. Isto quer dizer que uma água imprópria para consumo não é necessariamente uma água poluída, desde que se encontre em equilíbrio com o seu meio, disto é exemplo a água dos oceanos que não é consumível pelos humanos, mas quando dentro dos respectivos padrões, é saudável para o seu meio.

No seguimento desta ideia constatamos que a água tem inúmeras funcionalidades, e cada vez mais se sente a necessidade de criação de estruturas [3] que possam ajudar na importante tarefa de gestão da qualidade dos recursos hídricos de acordo com o seu determinado uso. Uma estrutura adequada seria um sistema de data warehousing, que

possibilitasse armazenar os diversos dados sobre a qualidade da água, independentemente das fontes [4], assim como numa fase posterior iria permitir uma melhor análise dos parâmetros que ditam a qualidade da água relativamente ao seu uso.

Fig. 1 Percentagem da água total usada para consumo doméstico

Este trabalho centra-se na construção de um sistema de data warehousing para a área da qualidade da água para consumo humano e para a prática balnear. Posteriormente foi feito um estudo acerca da previsão da qualidade da água nestas duas situações, para os anos seguintes, através de técnicas de mineração de dados.

Toda a componente prática deste trabalho, foi realizada com base na ferramenta Microsoft SQL Server 2008 [5]. Apesar de já estarmos familiarizadas com as ferramentas da Microsoft, trabalhar com esta ferramenta foi algo novo para nós, pois só estávamos habituadas a versões anteriores. Logo, a exploração de uma nova ferramenta pareceu-nos interessante, e além disso, esta ferramenta apresenta-se bastante completa em comparação com outras no mercado. Para a criação da base de dados e do sistema de data warehousing, foi usada a ferramenta base do SQL Server 2008. Para o processo de ETL (Extracção, Transformação e Carregamento) foi utilizada uma extensão da ferramenta, com capacidades específicas para o processo ETL, o SQL Server Integration Services. Por fim, para a aplicação das técnicas de mineração de dados utilizamos o SQL Server Analysis Services, que também é outra extensão da ferramenta SQL Server 2008.

Este artigo será constituído por três secções principais. Na secção dois será abordado o pré-tratamento efectuado às duas fontes de informação. Numa fase seguinte, foi estruturado os data marts para cada fonte de dados sobre a qualidade da água, e a respectiva criação do sistema de data warehouse [6]. Também nesta secção foi explicado ao pormenor o processo ETL [7]. Ambos os processos foram baseados na metodologia de Kimball, respectivamente. Na secção quatro, foi abordado o estudo de previsão da qualidade da água, feito com base na aplicação de técnicas de mineração de dados aos dois data marts existentes.

3 Fontes de Informação

O primeiro passo em todos os estudos, é a análise dos dados existentes. Neste caso, isso não foi excepção, como tal, o primeiro grande passo foi o pré tratamento dos dados (existência de nulos e outliers). Esse tratamento foi executado manualmente num documento .xls e só depois foi feita a inserção dos dados na base de dados, que posteriormente foram integrados no sistema de data warehousing através do processo ETL.

3.1 Água para Consumo Humano

A água pode ser utilizada para consumo directo ou indirecto (utilização na industria alimentar, por exemplo) do Homem. Para tal deve obedecer a um conjunto de regras que assegurem que as suas características não sejam prejudiciais à saúde pública.

A recolha da água destinada ao consumo humano, é feita através das águas superficiais e subterrâneas, que posteriormente são submetidas a um tratamento adequado e rigoroso de maneira a não pôr em risco a saúde dos consumidores [8]. Consequentemente a água deve ser analisada e as variáveis em estudo devem obedecer a um conjunto de valores [8].

Com o intuito de abranger um maior número de pessoas, este estudo foi focalizado numa das maiores albufeiras do país, que possibilita o abastecimento para uma população superior a 1400000 habitantes [9]. A albufeira escolhida foi a albufeira de Crestuma-Lever [9] e todos os dados recolhidos tiveram como fonte o Sistema Nacional de Informação de Recursos Hídricos (SNIRH) [10].

Fig. 2. Localização da ETA de Lever, responsável pelo tratamento da água da albufeira de Crestuma-Lever [9]

Os parâmetros foram escolhidos de acordo com o Decreto de Lei n.º 236/98 de 1 de Agosto [8], mas como nem todos constavam da base de dados do SNIRH, este estudo é apenas feito com os parâmetros existentes, desde o ano 2000 até ao ano 2008 (96 registos). Os dados recolhido na base de dados do SNIRH, apresentavam uma qualidade bastante abaixo do esperada. Quase 80% dos valores estavam em falta e em alguns casos apercebemo-nos da existência de outliers, que foram tratados numa fase mais avançada para a mineração de dados.

Em relação aos valores em falta, procedemos a um tratamento imediato. Nesses casos, maioritariamente dos valores foram inseridos manualmente de acordo com os valores já existentes para cada parâmetro e de acordo com uma sequência temporal. Para efeito do sistema de data warehousing, isto não representa um grande problema, pois o mecanismo de criação e posteriormente o de povoamento seria igual. Mas para o estudo realizado através da aplicação de técnicas de mineração de dados os resultados poderão encontrar-se distorcidos em relação à realidade, mas sempre permitem a visualização de um possível estudo sobre a qualidade da água.

Na Tabela 2 é apresentado apenas alguns parâmetros utilizados neste estudo. Apenas os que foram considerados como consequentes na avaliação final da qualidade da água para consumo humano. Os outros parâmetros poderão ser consultados no anexo I do decreto-lei 236/98 [8].

Esta escolha teve como suporte o anexo I do decreto-lei 236/98 [8], pois consideramos que qualquer parâmetro que não apresente um valor máximo recomendado para o tipo de tratamento 3, facilmente será regularizado com algum tratamento directo.

Na Tabela 1 o acrónimo SP significa sem poluição, o FP significa fracamente poluído, o P significa poluído, o MP significa muito poluído e o EP significa extremamente poluído.

Tabela 1. Parâmetros relativos à qualidade da água para consumo humano [8]

Parâmetros SP FP P MP EP Parâmetros Organolépticos Cor <=10 11-50 51-100 101-200 200 Parâmetros Físico-Químicos Temperatura (ºC) <=20 21-25 26-28 29-30 30 Sulfatos (mg/l) <=25 26-100 101-150 151-250 250 Parâmetros relativos a Substâncias Indesejáveis Nitratos (mg/l) <=5 5-25 25,1-50,0 50,1-80,0 80,0 Azoto Amoniacal (mg/l) <=0,1 0,11-1,00 1,10-2 2,1-5,0 5,00 Fenóis (mg/l) <=0,001 0,0011-0,005 0,0051-0,01 0,011-0,1 0,1 Bário (mg/l) <=0,1 - 0,11-1,0 - 1,0 Parâmetros relativos a substâncias tóxicas Arsénio (mg/l) <=0,010 0,011-0,05 - 0,051-0,10 0,100 Cádmio (mg/l) <=0,0010 - 0,0011-0,005 - 0,005 Cianetos (mg/l) <=0,010 - 0,011-0,050 - 0,050 Crómio (mg/l) <=0,05 - - - 0,05 Mercúrio (mg/l) <=0,0005

0 - 0,00051-0,001 - 0,001

Chumbo (mg/l) <=0,05 - 0,051-0,1 - 0,1 Selénio (mg/l) <=0,01 - - - 0,01 Pesticidas (mg/l) <=0,1 - 0,11-2,5 2,51-5,0 5,0 Hidro. Aromáticos (mg/l) - <=0,2 - 0,2 - Outros Parâmetros Baixa Média Alta Precipitação <=5 6-20 21 Temperatura Ar (ºC) <=15 15-20 21

3.2 Água para a Prática Balnear

A qualidade das águas balneares constitui uma grande preocupação a nível ambiental, de saúde pública e económico. Com a finalidade de proteger o meio aquático, o ambiente e a saúde pública está em vigor o Decreto-Lei 236/98 de 1 de Agosto [8] que estabelece normas, critérios e objectivos rigorosos que servem de guia para a classificação da qualidade das águas balneares.

Neste estudo, optamos por utilizar uma praia fluvial, pois cada vez mais este tipo de praias ganha pessoas em relação às praias do litoral. A praia escolhida foi a praia fluvial Olhos de Água, do concelho de Alcanena, distrito de Santarém, pois é uma praia fluvial que tem vindo a crescer bastante, e apresenta já inúmeras infra-estruturas de lazer e apoio à higiene humana [11].

A qualidade da água é monitorizada pelo respectivo órgão da sua área de jurisdição, a Comissão de Coordenação e Desenvolvimento Regional de Lisboa e Vale do Tejo (CCDR-LVT) [12]. Consequentemente foi através da CCDR-LVT que foram recolhidos os dados utilizados neste estudo. Os parâmetros escolhidos coincidiram com os existentes nos registos da CCDR-LVT, e os anos de estudo foram desde 2006 até 2008 (51 registos). O tratamento dos dados neste caso de estudo foi o mesmo no da água de consumo humano, mas menos intrusivo, pois os dados extraídos apresentavam uma boa qualidade.

Tal como no estudo da água de consumo humano, o número de parâmetros utilizados neste estudo, foi superior aos considerados como consequentes na avaliação final da qualidade da água, de acordo com o a entidade reguladora da praia fluvial de Olhos de Água [12]. Esses parâmetros são apresentados na Tabela 3, todos os outros podem ser consultados no decreto-lei 236/98 [8].

Tabela 2. Parâmetros relativos à qualidade da água para a prática balnear

Parâmetros Bom Aceitávell Mau Parâmetros Microbiológicos Coliformes Totais (/100ml) <=500 501-10000 10000 Coliformes Fecais (/100ml) <=100 101-2000 2000 Estreptococos Fecais (/100ml) <=100 101-400 400 Parâmetros Físico-Químicos Óleos e Minerais (mg/l) Ausente - Presente Subs. Tensioactivas(mg/l) Ausente - Presente Fenóis (mg/l) Ausente - Presente Outros Parâmetros Baixa Média Alta Temperatura do Ar (ºC) <=15 16-20 20

4 Implementação do Sistema de Data Warehousing

Um sistema de data warehousing serve de suporte informacional para os sistemas de apoio à decisão, isto é, serve de base para a aplicação de técnicas direccionadas à extracção estratégica da informação que posteriormente servirá de base para a tomada de decisões no mundo organizacional [4]. Este tipo de sistema garante-nos uma organização da informação orientada ao assunto permitindo integrar os dados

provenientes de diversas fontes. Além disto este sistema garante informação histórica e não volátil [13].

4.1 Fontes de Dados

Tal como na secção 3 é explicado, os dados foram primariamente extraídos do SNIRH e do CCDR-LVT e armazenados em ficheiros .xls onde foram sujeitos a um primeiro tratamento manual. De seguida foram armazenados numa base de dados que, por sua vez, alimenta o sistema de data warehousing (Figura 3).

Fig. 3. Esquema de progressão do estudo.

4.2 Modelação Dimensional

A modelação dimensional é uma técnica de concepção lógica que tem por objectivo estruturar os dados de uma forma intuitiva e que permite um acesso com boa performance. Esta modelação tem por base uma organização com uma tabela multichave e possíveis medidas, a tabela de factos, e outras tabelas chamadas dimensões, que são eixos de análise da informação. Ao conjunto tabela de factos e às dimensões, que a ela estejam ligadas pelas respectivas chaves, é usualmente chamado um esquema estrela [14].

Nesta fase foi necessário determinar o nível de detalhe da informação (grão) que seria possível extrair das tabelas de factos em cada um dos data marts. Assim sendo um registo na tabela de factos correspondente ao data mart sobre a qualidade da água para consumo humano tem informação dos valores avaliados (medidas) por mês numa estação de uma dada rede com uma determinada classificação. Por sua vez, quanto à água balnear cada registo detem informação sobre os valores avaliados de quinze em quinze dias com uma determinada classificação, para um dado tipo, numa estação.

4.3 Desenho Físico do Data Warehouse

Aqui será apresentada a modelação física dos dois data marts desenvolvidos, um correspondente à qualidade da água para consumo humano e outro sobre a qualidade da água balnear.

4.3.1 Data Mart Correspondente à Qualidade da Água para Consumo Humano

Este data mart foi estruturado segundo o esquema já referido acima, esquema estrela, com quarto dimensões ligadas a uma tabela de factos (Figura 1 - esquerda).

Assim sendo está definida a dimensão Tempo, dimTempo, composta pelos atributos Data, MesAno, Mes, Ano, sendo a Data a chave primária, que é definida seguinte hierarquia Data >> Mes >> Ano e é uma dimensão sem variação. A informação aqui guardada é corresponte às datas.

A dimensão Estação, dimEstação, composta pelos atributos NomeEstacao, CursoAgua, Bacia, CodigoEstacao, sendo o CodigoEstacao a chave primária, tem a hierarquia NomeEstacao >> CursoAgua >> Bacia e é uma dimensão de variação lenta. Esta dimensão tem informação sobre a estação e o curso de água, assim como a bacia, a que pertence (ex: ('Alb. Crestuma Lever','Rio Douro','Douro(BH)','07G/04')).

A dimensão Classificação, dimClassificacao, tem como atributos idClassi, NomeClassificacao, Designacao, sendo a idClassi a chave primária e é considerada uma dimensão de varição lenta. Esta dimensão regista informação sobre as possíveis classificações para a qualidade da água de consumo humano (ex: (1,'Sem Poluicao','Aguas consider…’)).

A dimensão Rede, dimRede, composta pelos atributos Rede, TipoRede, Designação, em que Rede é a chave primária, tem como hierarquia Rede >> TipoRede e também é uma dimensão de variação lenta. Esta dimensão regista os vários tipos de rede em estudo (ex: ('Rede Meteorológica','Sao redes que incluem estacoes…’)).

Por fim, temos a tabela de factos, TF_QuaAgua, com a chave composta {Data, Rede, CodigoEstacao, IdClassi} que são ao mesmo tempo chaves estrangeiras para as respectivas dimensões, e com trinta e cinco medidas. Sendo elas: AzotoAmoniacal, Arsenio, AzotoKjeldahl, Bario, Boro, Cadmio, CQO, CBO5, Chumbo, Cianeto, Cloreto, Cobre, ColiformesFecais, ColiformesTotais, Condutividade, Cor, Cromio, EstreptococosFecais, Fenois, FerroDissolvido, Fluoreto, Fosfato, HidrocarbonetosAromaticosPolinucleares, Manganes, Mercurio, Nitrato, SatOxigenioDissolvido, Pesticidas, pH, Salmonela, Selenio, SST, SubstanciasExtractiveisCloroformio, Sulfato, TempAmostra, Precipitacao, TempAr.

4.3.2 Data Mart Correspondente à Qualidade da Água para a Prática Balnear

A modelação deste data mart é semelhante à anteriormente descrita. Foi também estruturado segundo o esquema estrela, com quarto dimensões ligadas a uma tabela de factos (Figura 1 - direita).

Assim sendo a dimensão Tempo teve a mesma modelação mas teve por nome, dimTempo_AB. A dimensão Classificação, também com o mesmo tipo de modelação que a dimenção dimClassificação, neste data mart é dimClassificação_AB.

A dimensão Estação, dimEstacao_AB, é composta pelos atributos CodigoEstacao, NomeEstacao, Bacia, Zona, sendo o CodigoEstacao a chave primária, é definida pela seguinte hierarquia NomeEstacao >> Bacia >> Zona e é uma dimensão de variação lenta. Esta dimensão tem informação sobre a estação, a bacia e a zona do estudo em causa (ex: ('Olhos de Agua','Albufeira','Costeira','17E/01','1')).

Por sua vez a dimensão Tipo, dimTipo, tem como atributos IdTipo, NomeTipo, Designacao, sendo IdTipo a chave primária e sendo também uma dimensão de

variação lenta. Esta indica a que tipo de parâmetros é feito o estudo (ex: ('Agua Balnear','São águas de superfície....’)).

Quanto à tabela de factos, TF_AguaBalnear, tem também uma chave composta {Data, IdTipo, CodigoEstacao, IdClassi}, que são também chaves estrangeiras para as respectivas dimensões. As medidas definidas são as seguintes quatorze: pH, OxigenioDissolvido, Condutividade, Aspecto, Transparencia, SubsTensioactivas, OleosGorduras, Fenois, ResiduosAlcatrao, ColiformesTotais, ColiformesFecais, EstreptococosFecais, TempAmostra, TempAr.

Fig. 4. Esquema Físico para a Água de Consumo Humano (esquerda) e para a Água Balnear (direita).

4.4 Processo de Manipulação de Dados Relativos ao Processo de Povoamento do Data Warehouse.

O processo de ETL de um sistema de data warehousing, é um processo que normalmente é subdividido em três fases [7]. A primeira fase, a extracção dos dados,

consiste na passagem dos dados dos sistemas operacionais para a área de retenção. A segunda fase, na área de retenção, consiste na transformação dos dados, como por exemplo a conciliações entre fontes, definições de chaves novas, entre outros. Depois do tratamento dos dados, só falta a última fase, a integração dos dados no data warehouse.

4.4.1 Extracção dos dados

A extracção dos dados do sistema operacional para a área de retenção foi praticamente directa para os dois casos em estudo. As tabelas na área de retenção apresentavam praticamente os mesmos campos com o mesmo tipo de dados. Este processo foi trivial devido aos dados serem todos provenientes de uma única fonte, logo não era necessário conciliar, nem atribuir uma nova chave para a integração.. As tabelas da área de retenção ganham mais utilidade com os povoamentos diários, pois nessa altura é necessário saber quais os dados novos no sistema operacional. Este problema foi contornado com a inserção de triggers nas tabelas que poderiam ser actualizadas. Isto significava que cada vez que era feito um povoamento, as tabelas da área de retenção eram imediatamente limpas e quando fosse inserido um novo registo o trigger era accionado sendo os novos registos automaticamente inseridos nas respectivas tabelas da área de retenção. Este mecanismo foi aplicado às tabelas Estacão e RedeEstação (tabela que liga a tabela Estação à tabela Rede, e que faz a associação entre a rede e a estação) nas tabelas correspondentes à água para consumo humano, pois eram as únicas tabelas que permitiam a inserção de novos valores. Por sua vez nas correspondentes à água balnear, apenas foi inserido triggers na tabela Estação. Este foi o método mais eficaz encontrado para as tabelas em causa. Contudo para a tabela Parâmetros, nos dois casos em estudo, optamos por aplicar uma técnica menos intrusiva, que consistia em guardar, numa tabela da área de retenção, o último registo da tabela de factos. Isto significa que na área de retenção existe uma tabela que guarda a data do último registo inserido no data warehouse. Esta é a única tabela que nunca é limpa, mas é feito uma actualização do seu registo sempre que se procede a um povoamento. Quando se fizer o povoamento seguinte, basta ver o registo dessa tabela e fazer uma comparação de datas com os registos existentes na área de retenção para depois inserir apenas os registos que apresentarem um data superior. Este processo foi implementado para os dois casos em estudo.

4.4.2 Transformação dos Dados

A transformação dos dados para os dois casos foi nula, pois para ambos os casos os dados eram provenientes de uma única fonte, logo não foi necessário conciliar as duas fontes e fazer atribuições de novas chaves. As chaves que vinham do sistema operacional foram mantidas no data warehouse. Como os dados tinham sofrido um pré tratamento, a sua qualidade era boa e não apresentava incoerências, logo também não foi necessário proceder-se a correcção de eventuais erros de escrita.

4.4.3 Integração dos Dados

A integração também foi praticamente directa, tirando para a dimensão tempo e para a tabela de factos. Para a primeira, no caso da água para consumo, foi feito um povoamento com um registo por mês, desde o mês de Janeiro de 2000, até ao mês de Dezembro de 2010, logo este data mart tem um tempo de vida previsto de 10 anos. Para o caso de estudo da água balnear, o povoamento foi feito com alguns registos entre o mês de Maio e o de Setembro. Tendo sido considerados para o mês de Maio 2 registos, para Junho 3 registos, e 4 registos para os meses de Julho, Agosto e Setembro. Este data mart foi criado com um tempo de vida de 5 anos, desde o ano de 2006 até ao ano de 2010. Para estes povoamentos foram criadas as respectivas funções que permitiram o povoamento mencionado acima. Para ambas as dimensões Tempo dos dois data marts, a função criada para o povoamento, apenas foi executada no 1º povoamento.

Para o povoamento da tabela de factos, tiveram que ser feitas algumas mudanças, por exemplo, a data na tabela AuParametros estava por extenso (‘2008-12-24’), mas na tabela de factos a data está definida como um inteiro, que representa a chave estrangeira da tabela dimClassificação. Para solucionar este problema foi criado um cursor que percorre registo a registo da tabela AuParametros e para cada registo pesquisa o valor inteiro referente à data por extenso na dimensão tempo, e faz a inserção na tabela de factos já com o valor da data como um inteiro.

5 Mineração de Dados

O principal objectivo deste estudo era a criação de um sistema de data warehousing para a área da qualidade de água. Mas achamos que seria interessante complementar o trabalho com o estudo da aplicação de técnicas de mineração de dados ao data warehouse criado, de maneira a conseguirmos retirar informação útil, como a previsão da qualidade da água, com base em técnicas de classificação e regressão.

A mineração de dados, muitas vezes referenciada como sendo a “descoberta do conhecimento em bases de dados” (Knowledge Discovery in Databases (KDD)) [15], consiste na descoberta de tendências, padrões e possíveis irregularidades existentes nos dados. Esse conhecimento é feito através da extracção de informação útil dos dados existentes no sistema de dados, que com a aplicação de técnicas convencionais não seriam visíveis [16].

A classificação consiste em atribuir a novos casos um grupo ou classe, através de regras descobertas na aprendizagem do algoritmo [17]. Isso significa que para se conseguir definir a classe de uma nova instância, é necessário que exista um conjunto de treino de maneira a que seja possível decidir como as novas instâncias deverão ser classificadas [17].

A regressão é uma técnica de mineração de dados utilizada para ajustar uma equação a um conjunto de dados. O tipo de regressão utilizada neste trabalho é a regressão linear que usa a equação de uma recta (y = mx + b) e calcula os valores apropriados das variáveis m e b, para calcular o valor de previsão y, qualidade da água, com base num valor de entrada x [18].

5.1 Tratamento de Dados

As duas técnicas mencionadas acima foram ambas utilizadas sobre os dados provenientes do sistema de data warehousing criado, relativamente a cada data mart. Mas apesar dos dados no data warehouse apresentarem uma boa qualidade em termos de valores em falta, existia ainda o problema de diferentes gamas de valores dentro dos registos de cada atributo. Isto é, no exemplo da temperatura do ar, os valores poderiam estar definidos num intervalo que ia desde valores negativos, até valores por volta dos 40 positivos. Isso significa que poderiam existir por volta de 50 valores diferentes. Esta possibilidade iria dar aos resultados finais um grau de confiança bastante reduzido.

Para evitar este problema tivemos que descretizar os valores de cada parâmetro, para cada um dos data marts criados, isto é, diminuímos a gama de valores possíveis para todos os atributos existentes. Então, através dos dados existentes no sistema de data warehousing, criamos diferentes vistas referentes a cada data mart e a cada técnica aplicada. A razão das diferentes vistas, relativamente a cada técnica utilizada, prende-se com o facto de a regressão só permitir valores contínuos de entrada e de previsão, e por sua vez a classificação trabalhar melhor com valores discretos de entrada e de previsão. Logo, com base na Tabela 1 e 2, fizemos quatro parsers que iriam restringir a gama de valores para cada atributo. Por exemplo, para o caso da regressão, na temperatura do ar, a todos os valores abaixo ou igual a 15 foi atribuído o valor 15, a todos os valores entre 15 e 20 foi atribuído o valor 20, e a todos os superiores a 20 foi atribuído um valor acima, neste caso foi o 25. Para o caso da classificação, na temperatura do ar, todos os valores inferiores ou iguais a 15 foram designados como “Baixo”, todos os valores entre 15 e 20 foram designados como “Médio”, e os maiores que 20 foram designados como “Alto”.

5.2 Previsão da Qualidade da Água usando a Classificação

A Previsão através da técnica da classificação, foi feita com base no algoritmo Decision Tree. Este algoritmo constrói um modelo de mineração de dados através da criação de um conjunto de ramos numa árvore, em que cada ramo é adicionado sempre que a coluna de entrada estiver correlacionada com a coluna de previsão (neste caso a previsão da qualidade da água). As folhas são os possíveis valores da classe [19].

Todos os valores dos parâmetros dos algoritmos utilizados serão mencionados, acompanhado de uma breve descrição do seu significado.

5.2.1 Previsão da Qualidade da Água para Consumo Humano usando a Classificação

Para ambas as técnicas escolhidas (regressão e classificação) é necessário definir dois parâmetros referentes às preferências dos algoritmos. Um dos parâmetros denomina-se de HoldoutMaxPercent, e especifica a percentagem, do número de casos da fonte de dados, que será utilizada como conjunto de testes, sendo os restantes de treino [16]. Para este caso foi escolhido um valor de 40%. O outro parâmetro é o HoldoutSeed, que especifica a semente que assegura que o conteúdo do modelo permaneça o mesmo durante o próximo processamento [20]. Para este caso o valor mais adequado foi o 12.

Relativamente aos parâmetros do próprio algoritmo, apenas mudamos dois deles, deixando os outros com o valor default. Atribuímos o valor de 0.5 ao parâmetro Complexity_Penalty que controla o crescimento da árvore. O seu valor pode ir de 0 a 1 [20]. Ao segundo parâmetro, Minimum_Suport atribuímos o valor 5, pois como tínhamos um número limitado de registos, decidimos diminuir o número de casos mínimos necessários para gerar um corte na árvore [20].

Para ambas as técnicas aplicadas ao data mart para a área da qualidade da água para consumo humano, não foram usados todos os atributos, mas apenas os que apresentavam uma relação considerada com a previsão final.

Fig. 4. Gráfico de comparação de precisão para a água de consumo humano.

5.2.2 Previsão da Qualidade da Água para a Prática Balnear usando a Classificação

Para este caso atribuímos ao parâmetro HoldoutMaxPercent uma percentagem de 50% e mesmo assim conseguimos obter um resultado bastante bom. Ao HoldoutSeed atribuímos o valor 13. Para os parâmetros relativos ao próprio algoritmo, atribuímos o valor 0.5 ao Complexity_Penalty, e ao Minimum_Suport atribuímos-lhe o valor 3, pois mais uma vez tínhamos um número limitado de registos.

Tabela 2. Matriz da classificação para a água balnear em que as colunas representam os valores actuais e as linhas representam os valores previstos.

Boa Aceitável Má Boa 7 0 0 Aceitável 0 17 0 Má 0 0 1

5.2.3 Comparação entre os diferentes estudos

Decidimos apresentar diferentes perspectivas de análise dos resultados, com o intuito de mostrar duas das diferentes possibilidades de análise existentes nesta ferramenta. Em ambas constata-se que é possível tirar informação suficiente sobre a qualidade dos resultados previstos.

Como se pode constatar pela Figura 4 e pela Tabela 3, os resultados da previsão da qualidade da água para a prática balnear são melhores. Sendo possível constatar na Tabela 3, que obtivemos uma pontuação máxima de 1, pois todos os valores do conjunto de teste foram previstos correctamente. Esta maior pontuação é originária principalmente da qualidade dos dados iniciais. Como foi referido para a água de consumo humano muitos dados foram inseridos manualmente, e provavelmente não mostram as verdadeiras ou possíveis relações entre os diversos atributos e a previsão final. Apesar disso obtemos uma pontuação de 0,94 o que consideramos um bom resultado.

5.3 Previsão da Qualidade da Água usando a Regressão Linear

A previsão através da técnica de regressão linear, consiste na construção da equação:

y = α + β * (x – ) . (1)

Em que o y, a variável dependente, representa o valor da previsão, neste caso a

qualidade da água. O α é a média dos valores existentes no conjunto de treino para a qualidade. O β é designado por coeficiente e o seu objectivo é maximizar a linearidade. Isto é, um aumento na variável independente x, significa um aumento de β na variável dependente y. A variável independente, o x, é o valor que o parâmetro em estudo toma naquela altura. Por fim o é a média dos valores que o parâmetros em estudo podem tomar dentro do conjunto de teste [18].

5.3.1 Previsão da Qualidade da Água para Consumo Humano usando a Regressão Linear

Tal como foi referido na secção 5.2.1, existem parâmetros comuns entre os diferentes tipos de algoritmos. No algoritmo da Microsoft da Regressão Linear também

é necessário a definição dos parâmetros HoldoutMaxPercent e HoldoutSeed. Os valores definidos foram 30 e 12, respectivamente.

Id Classi = 2.399 + 0.331 * (AzotoAmoniacal - 0.823) + 178.298 * (Cadmio - 0.001) + 12.572 * (Cianeto - 0.014) + 1,438.631 * (Mercurio - 0.001) + 0.059

* (TempAmostra - 22.103) .

(2)

Como é possível constatar, o número de parâmetros existentes na Equação 2 é muito

menor do que os existentes no data mart para a água de consumo humano. Mas o que acontece, é que a fórmula de regressão é calculada apenas através dos regressores (parâmetros) que mais se ajustam aos dados. Isso diminui bastante o número de parâmetros em estudo, mas aumenta a probabilidade de uma previsão correcta [20]. Neste caso temos um α de 2.399, e para cada parâmetro especificado na Equação 2 temos os respectivos valores de β e . Por exemplo para x igual a Azoto Amoniacal, temos β igual a 0.331 e igual a 0.823.

5.3.2 Previsão da Qualidade da Água para a Prática Balnear usando a Regressão Linear

Id Classi = 1.818 + 0.00005 * (ColiformesTotais - 7,111.111) + 0.794 * (Aspecto - 1.028) + 0.0003 * (ColiformesFecais - 1,408.333) .

(3)

Também neste caso, os parâmetros que apresentam uma relação entre o seu valor e a

previsão final são menores dos que existentes na fonte de dados. Como seria de esperar, os Coliformes Fecais e Totais encontram-se bastante relacionados com o resultado final (um β baixo, o que significa que o valor final sofrerá um pequeno desvio em relação à média), pois a classificação final depende bastante da qualidade destes dois parâmetros. Na mesma linha, constatamos que os valores do parâmetro Aspecto também apresentam uma relação com a previsão final, o que para nós foi uma nova informação adquirida. Para este caso de estudo obtemos um α de 1.818, e para o caso do x igual a Coliformes Totais, obtivemos um β igual a 0.00005 e um igual a 7111.111.

5.3.3 Comparação entre os diferentes estudos

Para ambos os modelos foi calculado o erro padrão que é o desvio padrão da distribuição de pontos em torno da recta de regressão [18]. Em suma é a diferença entre o valor previsto e o real.

O desvio padrão foi calculado através da raiz quadrada da variância, cujo valor é dado pela ferramenta usada para cada equação de regressão calculada.

O resultado do erro padrão, para a água de consumo humano, em que a variância é 0.3364, foi 0.58.

Para a água balnear, a variância é 0.3418 e o erro padrão associado também foi de 0.58.

Para ambos os casos obtivemos um desvio padrão de 0.58, o que consideramos um erro um bocado alto. O mais adequado seria um erro inferior a 0.5, tendo em conta a gama dos valores previstos.

6 Conclusões e Trabalho Futuro

Este artigo centrou-se na implementação de um sistema de data warehousing para a qualidade da água. Este sistema foi implementado com base na criação de dois data marts. Um para a área da qualidade da água para consumo humano, com dados referentes à albufeira de Crestuma-Lever, e o outro para a área da qualidade da água para a prática balnear com dados referentes à praia fluvial de Olhos de Água. Posteriormente foi elaborado um estudo de previsão da qualidade da água relativamente aos dois data marts, através da aplicação de técnicas de mineração de dados, com o objectivo de informar as pessoas sobre a possível qualidade da água nos próximos anos.

Um aspecto que poderá ser explorado será acrescentar informação climatérica, proveniente de um site ou de uma entidade que disponibilize essa informação, para enrriquecer a informação e assim posteriomente serem tiradas mais conclusões como por exmplo que influencia tem a chuva em determinados parametros avaliados. Mas mesmo assim em ambos os data marts, é apresentado a temperatura média do ar, mas o seu registo tem de ser feito directamente na base de dados aquando a inserção dos valores dos parâmetros no caso de um novo registo. Provavelmente com mais tempo na pesquisa seria possível apresentar esta ideia, mas achamos melhor na altura focar o nosso estudo e pesquisa em assuntos directamente relacionados com o trabalho.

Um problema encontrado neste trabalho foi o completo desconhecimento na área da qualidade da água, que nos levou a um maior tempo de pesquisa dos conceitos relevantes para a qualidade da água. Todo este tempo poderia ser encurtado com a ajuda de um profissional na área para explicar os conceitos básicos.

Apesar de os resultados obtidos na aplicação das técnicas de mineração de dados terem sido considerados bons, sentimos que teríamos uma maior probabilidade de acerto, quando aplicado este estudo a um caso real, se o acesso aos dados tivesse sido mais facultativo. Isso iria permitir um estudo de maior dimensão e com mais confiança, principalmente no caso da qualidade da água para consumo humano, pois assim os dados não teriam de ser adulterados em relação à realidade, devido à necessidade de preenchimento de valores em falta.

Em suma, num trabalho futuro, iríamos tentar obter uma maior ajuda profissional, através de algum protocolo com uma entidade relacionada com a qualidade da água, de maneira a que nos fosse possibilitado um número de registos de dados considerado aceitável, associado a uma boa qualidade. Pois achamos que este trabalho pode ser uma primeira abordagem para um estudo de maior dimensão, que tendo a vantagem de um sistema de data warehousing enriquecido, será possível retirar novas conclusões, e mais suportadas, sobre o comportamento da qualidade da água, e até descobrir possíveis associações entre parâmetros que podem não estar relacionados.

7 Bibliografia

1. Companhia de Tecnologia de Saneamento Ambiental, http://cetesb.sp.gov.br 2. Wikipedia, a enciclopédia livre, http://pt.wikipedia.org/wiki/Página_principal3. Belo, O.,

Lourenço, A., Sarmento, P., Magriço, A., Pinho, J.L.P., Lima, M.M.C.L, Vieira, J.M.P.: AQUA – Um sistema de informação para análise e validação de parâmetros de qualidade da água em Alqueva. 8º Congresso da água: actas, Lisboa: Associação Portuguesa de Recursos Hídricos (2006)

4. Connolly, T. & Begg, C.: Database Systems: A Practical Approach to Design, Implementation and Management 2nd Ed. Addison-Wesley Longman, (1998)

5. Microsoft SQL Server 2008, http://www.microsoft.com/sqlserver/2008/en/us/default.aspx 6. Kimball, R., Ross, M.: The Data Warehouse Toolkit: The Complete Guide to Dimensional

Modelling (2nd Ed.). John Wiley & Sons, New York (2002) 7. Kimball, R., Caserta, J.: The Data Warehouse ETL Toolkit: Practical Techniques for

Extracting, Cleaning, Conforming, and Delivering Data. John Wiley & Sons, New York (2004)

8. Decreto-Lei nº236/98, de 1 de Agosto: Normas de qualidade da água. In: Diário da República, I-A série nº176/98, pp. 3676—3722. (1998)

9. Águas do Douro e Paiva, http://www.addp.pt 10.Serviço Nacional de Informação de Recursos Hídricos, http://www.snirh.pt 11. Praia Fluvial dos Olhos de Água,

http://www.lifecooler.com/Portugal/natureza/PraiaFluvialdosOlhosdAgua 12. Comissão de Coordenação e Desenvolvimento Regional de Lisboa e Vale do Tejo,

http://www.ccdr-lvt.pt/ 13.Han, J., Kamber, M.: Data Mining Concepts and Techniques. Morgan Kaufmann, San

Francisco (2005) 14.Kimball, R., Reeves, L., Ross, M., Thornthwait, W., The Data Warehouse Lifecycle Toolkit -

Expert �Methods for Designing, Developing, and Deploying Data Warehouses, John Wiley & Sons,1998.

15. Piatetsky-Shapiro, G.: Knowledge Discovery in Real Databases: A Report on the IJCAI-89 Workshop. AI Mag., 11, 68--70 (1991)

16. Data Mining: Exploiting the Hidden Trends in Your Data, http://www.ibmdatabasemag.com/db_area/archives/1997/q1/9701edel.shtml

17. Clustering and Classification: Data Mining Approaches, http://www.taborcommunications.com/dsstar/00/0704/101861.html

18.Fernandes, E.M.G.P.: Estatística Aplicada. Universidade do Minho (1999) 19.Aggarwal, C.,Yu P.: Data Mining Techniques for Associations, Clustering and Classification.

In: Webb G. (Eds.) Methodologies for Knowledge Discovery and Data Mining. LNCS, vol. 1574, pp.13—23. Springer, Heidelberg (1999)

20. Data Mining Algorithms (Analysis Services – Data Mining), http://msdn.microsoft.com/en-us/library/ms175595.aspx