hibernate - boas práticas e otimizações

Hibernate EFETIVOERROS COMUNS E SOLUÇÕES

Tuesday, August 7, 2012

Eu estava me perguntando quando de fato o Hibernate foi criado...


Eu estava me perguntando quando de fato o Hibernate foi criado...

Luca Bastos

O “Boom” foi em 2003!


Quase uma década!2012 - 2003 = 9


mas ainda hoje...


mas ainda hoje...

existem devs que subutilizam o framework


mas ainda hoje...

existem devs que subutilizam o framework

problemas de perfomance e escalabilidade


e pra piorar...


culpam o Hibernate


culpam o Hibernate

A culpa é do Banco de Dados!

Sérgio


é fácil culpar o que não se conhece...


um SGDB mal configurado pode ser o problema...


um SGDB mal configurado pode ser o problema...

MAS na maioria das vezes o

problema está na SUA APLICAÇÃO


tabelas sem índices

<3Tuesday, August 7, 2012


consultas mal-feitas

<3 <3Tuesday, August 7, 2012



<3 <3 <3

muitos hits ao banco





connection leaks

<3 <3 <3Tuesday, August 7, 2012




connection leaks

<3 <3 <3

memory leaks


Não saber tirar proveito framework


Hibernate Efetivo6 dicas para não deixar

sua app morrer


@rponte


Fortaleza - Terra do SolTuesday, August 7, 2012

#1POOL DE

CONEXÕES


com certeza todos aqui já ouviram falar...


mas nem todos dão a devida atenção...


mas nem todos dão a devida atenção...até perceberem a app engasgando



ou até receberem um



ou até receberem um

org.hibernate.exception.GenericJDBCException: Cannot

open connection


daí percebem que não configuraram o o pool do Hibernate

hibernate.connection.driver_class=org.postgresql.Driverhibernate.dialect=org.hibernate.dialect.PostgreSQLDialecthibernate.connection.url=jdbc:postgresql://localhost:5432/myapphibernate.connection.username=postgreshibernate.connection.password=1234

hibernate.properties



hibernate.connection.driver_class=org.postgresql.Driverhibernate.dialect=org.hibernate.dialect.PostgreSQLDialecthibernate.connection.url=jdbc:postgresql://localhost:5432/myapphibernate.connection.username=postgreshibernate.connection.password=1234hibernate.connection.pool_size=30




hibernate.connection.driver_class=org.postgresql.Driverhibernate.dialect=org.hibernate.dialect.PostgreSQLDialecthibernate.connection.url=jdbc:postgresql://localhost:5432/myapphibernate.connection.username=postgreshibernate.connection.password=1234

hibernate.connection.pool_size=30



a app volta a funcionar bem por um tempo


e vão alocando mais conexões com o tempo

hibernate.connection.pool_size=30 40 55 70 ...



o pool PADRÃO do Hibernate


que possui uma impl. RUDIMENTAR


INFO DriverManagerConnectionProvider:64 - Using Hibernate built-in connection pool (not for production use!)INFO DriverManagerConnectionProvider:65 - Hibernate connection pool size: 20


INFO DriverManagerConnectionProvider:64 - Using Hibernate built-in connection pool (not for production use!)INFO DriverManagerConnectionProvider:65 - Hibernate connection pool size: 20

not for production use!


qual pool utilizar?


temos ótimas opções...


pools como c3p0 ou commons-dbcp

temos ótimas opções...


o Hibernate já vem com c3p0


configurando c3p0

hibernate.connection.driver_class=org.postgresql.Driverhibernate.dialect=org.hibernate.dialect.PostgreSQLDialecthibernate.connection.url=jdbc:postgresql://localhost:5432/myapphibernate.connection.username=postgreshibernate.connection.password=1234hibernate.c3p0.min_size=5hibernate.c3p0.max_size=20hibernate.c3p0.timeout=1800hibernate.c3p0.max_statements=50



ou melhor ainda...


<bean id="dataSource" class="com.mchange.v2.c3p0.ComboPooledDataSource" destroy-method="close">! ! <property name="driverClass" value="${jdbc.driverclass}" />! <property name="jdbcUrl" value="${jdbc.url}" />! <property name="user" value="${jdbc.username}" />! <property name="password" value="${jdbc.password}" />! ! <property name="initialPoolSize" value="3" />! <property name="minPoolSize" value="6" />! <property name="maxPoolSize" value="25" />! <property name="acquireIncrement" value="3" />! <property name="maxStatements" value="0" />! ! <property name="acquireRetryAttempts" value="30" />! <property name="acquireRetryDelay" value="1000" /> ! <property name="breakAfterAcquireFailure" value="false" />! ! <property name="maxIdleTime" value="180" /> ! <property name="maxConnectionAge" value="10" /> ! ! <property name="checkoutTimeout" value="5000" /> ! <property name="idleConnectionTestPeriod" value="60" /> ! <property name="testConnectionOnCheckout" value="true" />! <property name="preferredTestQuery" value="SELECT 1+1" /></bean>

podemos obter as conexões de um DataSource

Pool traz melhoria de performance


Pool traz melhoria de performance

mas não faz milagres


#2lidando com

LazyInitializationException


quando e por que acontece?


@Entityclass NotaFiscal { … @OneToMany List<Item> itens;}


NotaFiscal nf = (NotaFiscal) session.load(NotaFiscal.class, 42);List<Item> itens = nf.getItens();

Percorrendo os itens de uma nota


select nf.* from NotaFiscal nf where nf.id=42

select i.* from Item i where i.nota_fiscal_id=42

Hibernate executa 2 selects

NotaFiscal nf = (NotaFiscal) session.load(NotaFiscal.class, 42);

List<Item> itens = nf.getItens();


Session session = sessionFactory.openSession();


session.close();

List<Item> itens = nf.getItens();System.out.println("numero de pedidos:" + itens.size());

a session do Hibernate foi fechada




session.close();


mas ao ler os itens da nota

org.hibernate.LazyInitializationException: failed to lazily initialize a collection -no session or session was closed.


resolver parece fácil, certo?





session.close();

fechar a session ao término do trabalho


Mas e quando estamos trabalhando na Web?


@Get("/notas/{id}")public void view(Long id) { NotaFiscal nf = notaFiscalDao.carrega(id); result.include("nf", nf); result.forwardTo("/notas/view.jsp");}

view.jsp

NotaFiscalController.java

<c:forEach var="item" items="${nf.itens}"> ${item.produto.descricao}<br/></c:forEach>


@Get("/notas/{id}")public void view(Long id) { NotaFiscal nf = notaFiscalDao.carrega(id); result.include("nf", nf); result.forwardTo("/notas/view.jsp");}

view.jsp

NotaFiscalController.java

<c:forEach var="item" items="${nf.itens}"> ${item.produto.descricao}<br/></c:forEach>

LazyInitializationException


e agora? #comofas


e agora? #comofas

Sérgio

passa tudo pra EAGER! ;D


@Entityclass NotaFiscal { … @OneToMany(fetch=FetchType.EAGER) List<Item> itens;}


select nf.*, i.* from NotaFiscal nf left outer join Item i on nf.id = i.nota_fiscal_idwhere nf.id=42

Hibernate executa 1 select



mas isso poderia gerar uma sobrecarga...


mas isso poderia gerar uma sobrecarga...

pois os itens da nota não são necessários em

muitos lugares Tuesday, August 7, 2012

lembre-se que ter os relacionamentos como LAZY é

uma boa prática


como evitar LIE sem modificar o relacionamento

para EAGER?


Open Session In View


@WebFilter(urlPatterns="/*")public class OpenSessionInViewFilter implements Filter {

SessionFactory sessionFactory; @Override public void doFilter(ServletRequest req, ServletResponse res, FilterChain chain) {

Transaction transaction = null; try { Session session = sessionFactory.getCurrentSession();

transaction = session.beginTransaction();

chain.doFilter(req, res);

transaction.commit(); } finally { if (transaction != null && transaction.isActive()) { transaction.rollback(); } } }}

Servlet Filter


o OSIV só evita LIE no mesmo request!


anti-pattern?


#3Second Level

Cache



Carregando uma nota por ID


Banco de Dados

Session


Banco de Dados

Session

First Level Cache


Banco de Dados

Session Session Session Session


Banco de Dados

Second Level Cache



Banco de Dados

Second Level Cache


First Level Cache


Banco de Dados

SessionFactory



Configurar é simples


#1 configuramos o Hibernate

hibernate.cache.use_second_level_cache=truehibernate.cache.region.factory_class=net.sf.ehcache.hibernate.EhCacheRegionFactory



@Entity@Cache(usage=CacheConcurrencyStrategy.READ_WRITE)class Issue {@Id

private Long id;private String descricao;private String status;@ManyToOneprivate Projeto projeto;

@OneToMany private List<Comentario> comentarios;}

#2 configuramos as entidades


@Cache(usage=CacheConcurrencyStrategy.READ_WRITE)

Caching Strategy

READ_ONLY

NONSTRICT_READ_WRITE

READ_WRITE



Caching Strategy

READ_ONLY


READ_WRITE

Melhor performance



Caching Strategy

READ_ONLY


READ_WRITE

Dados não críticos



Caching Strategy

READ_ONLY


READ_WRITE Modificações frequentes


<cache name="br.com.triadworks.model.Issue" maxElementsInMemory="10000" eternal="false" timeToIdleSeconds="1800" timeToLiveSeconds="10000" overflowToDisk="true" memoryStoreEvictionPolicy="LRU"/>

ehcache.xml


Como 2nd Level Cache funciona?


2nd Level Cache não faz cache das instancias das entidades


2nd Level Cache não faz cache das instancias das entidades

somente dos valores das propriedades




@OneToMany private List<Comentario> comentarios;}


modelo conceitual do cache

Issue Data Cache

17 -> [ “Bug #1”, “ABERTA” , 1 ]18 -> [ “Bug #2”, “FECHADA”, 2 ]19 -> [ “Bug #3”, “ABERTA” , 1 ]



Issue Data Cache

17 -> [ “Bug #1”, “ABERTA” , 1 ]18 -> [ “Bug #2”, “FECHADA”, 2 ]19 -> [ “Bug #3”, “ABERTA” , 1 ]

não é uma árvore de objetos, mas sim um "Map de Arrays"


2nd Level Cache não faz cache das associações




@OneToMany @Cache(usage=CacheConcurrencyStrategy.READ_WRITE) private List<Comentario> comentarios;}



Issue Data Cache

17 -> [ “Bug #1”, “ABERTA” , 1, [1,2] ]18 -> [ “Bug #2”, “FECHADA”, 2, [] ]19 -> [ “Bug #3”, “ABERTA” , 1, [3] ]


Devo cachear todas as minhas entidades?


Com 2nd Level Cache tudo funciona bem enquanto buscamos por ID...

session.load(Issue.class, 17);


Com 2nd Level Cache tudo funciona bem enquanto buscamos por ID...

...mas e quando precisamos de uma consulta um pouco diferente?

session.load(Issue.class, 17);

session .createQuery("from Issue where status = ?") .setString(0,"ABERTO") .list();


#4Query Cache


Query Cache faz cache do resultado de uma query


Configurando Hibernate para usar Query Cache

hibernate.cache.use_query_cache=true



Query Cache

session .createQuery("from Issue where status = ?") .setString(0, status) .setCacheable(true) .list();


modelo conceitual do query cache

Query Cache

[“from Issue where status = ?”, [“ABERTA”]] -> [17, 19]


modelo conceitual do query cache

Query Cache

[“from Issue where status = ?”, [“ABERTA”]] -> [17, 19]

Query + Parâmetros IDs


por isso Query Cache SEM 2nd Level Cache não é de

muita ajuda


Utilize somente em consultas que são executadas repetidas

vezes com os mesmos parâmetros


#5Select n+1


o campeão em prejudicar a performance da

aplicação


NotaFiscal nf = (NotaFiscal) session.load(NotaFiscal.class, 42);processaItensDaNota(nf);

Processando os itens de uma nota


select nf.* from NotaFiscal nf where nf.id=42

select i.* from Item i where i.nota_fiscal_id=42



processaItensDaNota(nf);


List<NotaFiscal> notas = dao.listaTudo();for (NotaFiscal nf : notas) { processaItensDaNota(nf);}

Processando os itens de varias notas


select nf.* from NotaFiscal nf

select i.* from Item i where i.nota_fiscal_id=? select i.* from Item i where i.nota_fiscal_id=? select i.* from Item i where i.nota_fiscal_id=? select i.* from Item i where i.nota_fiscal_id=? select i.* from Item i where i.nota_fiscal_id=? ...

Hibernate executa n+1 selects

List<NotaFiscal> notas = dao.listaTudo();

for (NotaFiscal nf : notas) { processaItensDaNota(nf);}


são muitos hits no banco de dados


são muitos hits no banco de dados

mas podemos resolver isso...


3 soluções


#1 EAGER ou join-fetch


@Entityclass NotaFiscal { … @OneToMany(fetch=FetchType.EAGER) List<Item> itens;}

Utilizando FetchMode=EAGER


select nf.*, i.* from NotaFiscal nf left outer join Item i on nf.id = i.nota_fiscal_id

Hibernate executa 1 select



antes de definir um mapeamento global deste

tipo você precisa se perguntar...


SEMPRE que uma nota é necessária, todos seus

itens também são necessários?


não?Tuesday, August 7, 2012

session .createQuery("from NotaFiscal n left join fetch n.itens") .list();

Utilizando Join Fetch


#2 batch-size nas associações


É o meio termo entre EAGER e LAZY


@Entityclass NotaFiscal { … @OneToMany @BatchSize(size=10) List<Item> itens;}

@BatchSize



select i.* from Item i where i.nota_fiscal_id in (?, ?, ?, ?, ?, ?, ?, ?, ?, ?) select i.* from Item i where i.nota_fiscal_id in (?, ?, ?, ?, ?)

Hibernate executa n/10+1 selects




@BatchSize também é conhecido como:



otimização de adivinhação cega(blind-guess optimization)



otimização de adivinhação cega(blind-guess optimization)

ou seja, é um palpiteTuesday, August 7, 2012

#3 FetchMode SUBSELECT


@Entityclass NotaFiscal { … @OneToMany @Fetch(FetchMode.SUBSELECT) List<Item> itens;}

SUBSELECT



select i.* from Item i where i.nota_fiscal_id in (select nf.id from NotaFiscal nf)





Qual utilizar?


Qual utilizar?

dependeTuesday, August 7, 2012

#6Processamento

em lote


Imagine que temos que importar 100k produtos para

o banco de dados


Session session = sf.openSession();Transaction tx = session.beginTransaction(); for ( int i=0; i < 100000; i++ ) { Produto produto = new Produto(...); session.save(produto);} tx.commit();session.close();


em ~50k produtos nós receberíamos um

OutOfMemoryException


por que?


Hibernate faz cache de todas as instâncias dos Produtos

inseridos na Session


mas como melhorar?


Session session = sf.openSession();Transaction tx = session.beginTransaction(); for ( int i=0; i < 100000; i++ ) { Produto produto = new Produto(...); session.save(produto); if (i % 100 == 0) { session.flush(); session.clear(); }} tx.commit();session.close();


evitamos o OutOfMemoryException



Mas o processamento ainda continua lento!



Mas o processamento ainda continua lento!

Dá pra melhorar?


JDBC puro?


JDBC puro?

código de maxu!

Handerson Frota


StatelessSession


StatelessSession

sem 1st Level Cache

sem 2nd Level Cache

sem dirty-checking

sem cascade

Collections são ignorados

sem modelo de eventos sem interceptors

próxima ao jdbc

API mais baixo nível

mapeamento básico


StatelessSession session = sf.openStatelessSession();Transaction tx = session.beginTransaction(); for ( int i=0; i < 100000; i++ ) { Produto produto = new Produto(...); session.insert(produto);} tx.commit();session.close();


menos consumo de memória e mais rápida!


menos consumo de memória e mais rápida!

Yuri Adams

dá pra melhorar?


hibernate.jdbc.batch_size=50



CONCLUSÃO


Foi apenas a ponta o iceberg!


cada uma destas dicas são simples, mas requerem mais estudo


cada uma destas dicas são simples, mas requerem mais estudopois depende do projeto


um DBA certamente pode ter ajudar em muitos cenários


Hibernate não é seu inimigo, deixem de #mimimi


Rafael [email protected]


mailto:[email protected]

mailto:[email protected]

hibernate - boas práticas e otimizações

Technology