REDES APPN = Rapidez e alta disponibilidade = CMC =

Sobre o autor:

Antonio Marques Dias de Mattos, 52 anos, natural de Sabino-SP, Engenheiro Civil.Com 26 anos de experiência em redes mainframe, nos últimos 7 anos no Banco Nossa Caixa.Diversos cursos na área de TI, desde Analise de Sistemas (ADP SYSTEMS), SNA, TCPIP, APPN, ASSEMBLER, GERENCIAMENTOS DE REDE e NCP.

O PAPER...

Falaremos sobre os 6 tópicos abaixo, sendo que o enfoque estará no caso de sucesso no desempenho e a alta disponibilidade no modelo de rede desenhado para suportar a implementação do GDPS (Geographically Dispersed Parallel Sysplex is the ultimate Disaster Recovery and Continuous Availability solution for a System z multi-site enterprise).

A comunicação Mainframe SNA E TCPIP Ambientes de rede CMC do projeto GDPS. Necessidades e benefícios dos CMCs no BNC. Agilidade nas implementações das redes externas APPN/EE (EBN) METRO e

PRODESP. Fluxo de dados SNA e IP no mainframe em %. Problemas de performance e disponibilidade na rede APPN, e soluções.

A comunicação Mainframe SNA e TCPCIP – DEFINIÇÕES

CMC - Communications Manager Configuration - resume Sistemas Operacionais onde ficarão realmente as funções de gerenciamento e controle dos recursos de rede. Nele ficarão os NCPs, XCAs para conectividades, produtos de gerenciamento e performance de rede, como Netview, NPM, Netmaster, Omegamon, etc.

O CMC visa disponibilizar os serviços de rede em sistemas operacionais de forma isolada e são denominados ICN (Interchange Network, se tivermos NCP) E NN (Network Node, se não tivermos NCP), e os demais sistemas de aplicativos e dados ficariam em partições distintas, denominados End Node ou Datahost Migration.

XCA - External Communication Adapter – é onde são definidos os links SNA (Datalink Switch) em cima de OSE, e os links EE (Enterprise Extender) / APPN, em cima de OSA, CTC, XCF ou CIP. Aqui a grande comunicação Mainframe acontece. Todas as agências, todas as conectividades com servidores, passam por aqui, pelos XCA, sendo que algumas ainda permanecem em NCPs.

SNA - System Network Architecture - é uma arquitetura proprietária de rede da IBM, que foi desenvolvida nos anos 70, em que foi criado um eficiente gerenciador de acesso de comunicação chamado VTAM (Virtual Telecommunications Access Method, que tem suas duas modalidades APPN e SUBÁREA), em conjunto com o NCP (Network Control Program), onde são geradas as linhas de comunicações do mainframe, e o SDLC, o tipo de protocolo orientado a bit, que interligava toda rede ao mainframe. Sobre o protocolo BSC 1, X25, que eram orientados a byte, foi criado o NTO (Network Terminal Option), e NPSI, para que os mesmos funcionassem nas CCUs.

APPN – Advanced Peer to Peer Networking – é uma estrutura de rede que se comunica utilizando roteamento de alta performance (HPR), com algoritmos de buscas de rotas dinâmicas mais eficientes, que a cada intervalo são renovados, buscando sempre ter a melhor opção de rotas. Os pontos das redes podem ser End Node ou Network Node. Sendo que no Network Node é o responsável pelo controle e o funcionamento da rede e onde se concentra as informações de recursos dos End Nodes.

VTAM - Virtual Telecommunications Access Method - é uma interface de progama de aplicação IBM (API) para comunicações entre devices (dispositivos de tp) e seus usuários.

VTAM Subárea - Todo mapeamento de rota é fixo, onde os paths eram definidos para rotear a rede SNA.

TCP/IP, Transmition Control Protocol / Internet Protocol - produto de protocolo, que a IBM teve aptar ao mainframe, nos anos 1980, para interligar Mainframe ao mundo distribuído , porém somente em 96, que teve uma reformulação do produto, e com o nome CS - Communications Server - passou a trabalhar em conjunto com o VTAM.

O TCP/IP está dividido em 4 camadas, conforme figura,

Applications, onde temos os produtos, ftp, telnet, cics, ipsec, smtp, roteamento OMPROUTE, etc.Transport Layer, pode ser TCP, conexão orientada ponto a ponto, tem controle, ou UDP, connectionless, não existe controle, porém é mais rápida.Internetwork Layer, camada responsável pelo acesso à rede, e também pelo roteamento das mensagens via as redes interligadas. Internet Protocol (IP).

XCF - Cross-system coupling facility - é um componente do z/OS que gerencia as comunicações entre aplicações num sysplex.) , CTC(Canal to Canal), AHHC(APPN Host to Host Channel), OSA, roteadores CIP.

OSA – Open Systems Adapter – Adaptador de rede do Mainframe. Os tipos de OSA são: OSD(OSA DIRECT EXPRESS2 usa só IP nos devices TCPIP)-, OSE(OSA EXPRESS2 IP e SNA, usados no TCPIP e XCA(SNA)) e OSN(IP USADO NO CCL).

Os produtos mantidos no mainframe para disponibilizar conectividade e serviços, são: VTAM, TCPIP, OMPROUTE, FTPD, TN3270, SYSLOGD, SMTP, IKED, PAGENT, APPC, ASCH, OSASF, NCP, SSP, NPM, Connect:Direct, Connect:Enterprise, Connect:eXpress(Compatível com RVS), STN, XFB, CCL, CICs, MQseries, NETVIEW, S.A., GDPS, OMEGAMON.

Ambientes de rede CMC implementado no projeto GDPS X ambiente anterior.

No ambiente anterior ao implementado a rede e os aplicativos conviviam em dois sistemas, o ONLINE e o BATCH, e tínhamos também os sistemas de DESENVOLVIMENTO e HOMOLOGAÇÃO e DATAWAREHOUSE e SUPORTE.

No Banco Nossa Caixa foi criado um ambiente de teste, no qual foi implementado o novo desenho de rede e aplicativos, e após todos os testes necessários fazemos a implementação no ambiente de produção.

O ambiente atual está divido em TESTPLEX e PRODPLEX. Como o próprio nome já diz, o sysplex TESTPLEX é segregado para ambiente de testes, e o sysplex PRODPLEX é somente produção. Neles temos dois sistemas de rede, um para cada site, onde estão os NCPs, todas linhas, os XCAs, todos as linhas Datalinkswitchs e as linhas EE/APPN, além das linhas EBN(Redes Mainframe externas APPN). Temos dois sistemas de aplicativos e dados, um para cada site. Temos dois sistemas isolados chamados K1 e K2, com recursos necessários para o GDPS (Um tipo de Netview com funções específicas para fazer a mudanças de sistemas em partições backup). Temos a figura destas configurações que demonstram melhor está explanação.

Necessidades e benefícios dos CMCs no Banco NossaCaixa.

Para a implementação do VTAMs e TCPIPs, para atender esta arquitetura devemos configurar as VTAMLSTs, VTAMLIBs, TCPIPs, dos Sistemas com VTAMs ICN(ou NN) e EN.

Uma tabela comum no sistema contendo todas MODETABs de todos sistemas. Ela estará na parametrização VTAM no ATCSTR, usado para o recursos TYPE= CDRSC, e todas dlogmodes devem ter APPNCOS. DYNMODTB = MODNCNB.

EXITs necessárias para o funcionamento e segurança dos estabelecimento de sessões.

Uma exit de controle de sessões secundárias ISTEXCAA. Uma exit em assembler, fácil de se manusear, a partir da exit já existente, onde não se permite que redes externas façam ponte pelo CMC, inclusive nela barramos as conexões CPxCP.Uma exit de controle de generic resources ISTEXCGR.Uma exit de controle de serviços diretórios ISTEXCDM.

Nos C.M.C.s(ICN=Interchange Nodes= O VTAM cujo sistemas tem segregado atividades de rede, deveremos ter os parâmetros na tabela de start

ATCSTRXX:CONNTYPE=APPN,GWSSCP=YES,HOSTSA,NODETYPE=NN, MAXSUBA, SACONNS=YES NCPs, XCAs, Somente ativa nos I.C.N.sCriar os XCA para o APPN/EE

Nos E.N.s(End Nodes) o VTAM cujos sistemas tem só aplicativos e dados, deveremos ter os parâmetros, na tabela de start

ATCSTRXX: CONNTYPE = LEN, GWSSCP=NO,NNSPREF=NCNB. BNCPCMC1,NODETYPE=EN,SACONNS=NO

Nas tabelas de start ATCSTRXX dos VTAMs de todos sistemas devemos ter a tabela FLDTAB=ISTMSFLD e também devemos criar os majornodes

APPNTOSA, SATOAPPN,IBMTGPS e incluí-los nas tabelas de configurações ATCCONXX dos sistemas.

No VTAM dos CMCs criar majornode

XCAEEVBUILD TYPE=XCAPOREE PORT MEDIUM=HPRIP,LIVTIME=10,IPTOS=(20,40,80,C0)SAPADDR=4,SRQRETRY=3,SRQTIME=15GREE GROUP DIAL=YES,DYNPU=YES,DYNPUPFX=EW,CALL=INOUT,AUTOGEN=(2000,L,P)

Um exemplo do grupo EE (Enterprise Extender)/APPN), aonde todas links APPN se estabelecem.

* DIS GREEIST075I NAME = GREE, TYPE = LINE GROUP IST486I STATUS= ACTIV, DESIRED STATE= ACTIV IST231I XCA MAJOR NODE = XCAEE IST1680I LOCAL IP ADDRESS 18.155.137.1 IP DO SISTEMA CMC.

As necessidades dos TCPIPs / PROFILE do CMCs

As 4 definições importantes (DEVICE, LINK, PORT e START), e pronto o TPCIP funcionando com o APPN.

DEVICE IUTSAMEH MPCPTP LINK EEXLINK MPCPTP IUTSAMEH 12000 UDP NET / 12001 UDP NET / 12002 UDP NET / 12003 UDP NET / 12004 UDP

NET

START IUTSAMEH

Um display no APPN D NET,EE IST350I DISPLAY TYPE = EE IST2000I ENTERPRISE EXTENDER GENERAL INFORMATION IST924I -------------------------------------------------------------IST2006I PORT PRIORITY = SIGNAL NETWORK HIGH MEDIUM LOWIST2007I IPPORT NUMBER = 12000 12001 12002 12003 12004IST2008I IPTOS VALUE = C0 C0 80 40 20IST2018I TAL IST2018I TOTAL ACTIVE PREDEFINED EE CONNECTIONS = 993

Definindo uma conexão externa APPN( EBN) para substituir uma SNI, SWEE

SWEEMTRO VBUILD TYPE=SWNET,MAXGRP=6,MAXNO=6 LEEMTRO PU PUTYPE=2, X ANS=CONT, X CPNAME=CDRMVT, X CONNTYPE=APPN, X CPCP=YES, X DWACT=YES, X TGN=3, X TGP=CHANNEL, X NETID=METSP, X HPR=YES * PATHMT PATH IPADDR=167.135.51.33,GRPNM=GREE X

EFETUANDO UM DISPLAY EM UMA CONECTIVIDADE...

D NET,ID=SWEEMTRO,E IST075I NAME = SWEEMTRO , TYPE = SW SNA MAJ NODE IST486I STATUS= ACTIV , DESIRED STATE= ACTIV IST084I NETWORK RESOURCES: IST089I LEEMTRO TYPE = PU_T2.1 , ACTIV

DISTRIBUIDOR de sessões SNA e TCP/IP nos CMCs.

No SNA o GENERIC RESOURCE, é que verifica qual está mais disponível e manda a solicitação para o E.N. que tem o aplicativo com menos trabalho, e mais cpu, utilizando o WLM.No TCP/IP é o VIPADISTRIBUTOR, simples de implementar, você diz quais os E.N. usarão determinados PORT, e através do WLM, ele distribui a solicitação para o aplicativo de menos carga.

Os benefícios das redes APPN com CMCs, são a alta disponibilidade real do sistema de rede, a facilidade de gerenciamento da rede, e rapidez do APPN(utiliza FID2 e não FID4), pois ao cair sistemas de aplicativos e rotas, as sessões permanecem, resultando alta confiabilidade e disponibilidade nos sistemas de rede e aplicativos em geral.

A experiência de implementar duas redes externas APPN/EE(EBN).

Nossa tentativa de eliminar as CCUs, nos levou a incentivar nossos parceiros a terem o configuração APPN em suas instalações, e após consultarmos todas empresas que tinham SNI conosco, somente 3 empresas concordaram em migrar de SNI para APPN(EBN), o METRO, a PRODESP e a CSU, porém elas não tinham experiência em APPN, e nos colocamos a disposição de implementar em conjunto, o que foi feito.Inicialmente preparamos todo material necessário, como alterar o VTAM, TCPIP, a EXIT, e a criação dos majornodes necessários para a concretização da migração. Um elemento de nossa equipe, fomos até o site do METRO, e assim conseguimos implementar no ambiente de testes, está conectividade APPN, que depois passaram para a produção, sem problemas. Lógico, que sempre existe alguma dificuldade na parte de roteadores, e em conjunto com o Metro solucionamos os problemas. E isso ajudou os a desativar a CCU, uma vez que utilizava somente para conectividade com a Nossa Caixa.

A segunda foi a PRODESP, a qual, após enviadas as dicas para os analistas de rede da mesma, eles conseguiram efetivar a conectividade APPN, e estavam prontos para eliminar a CCU também.

A terceira, a CSU, estamos aguardando a disponibilidade deles para fazerem os testes, uma vez que já foram enviadas as documentações e a EXIT de segurança.

Fluxo de dados SNA e IP nos mainframes.

São 23 gigabytes transitados por hora pelos sistemas mainframe, em horário de pico, deste fluxo de dados 57% dos bytes saem, e 43% dos bytes chegam a cada hora. Desse total de bytes transitados 58% são IP (45% saem e 13% entram) e 42 % são SNA (14% saem e 28% entram).Os dois sistemas de rede ICN, trafegam um 28 % e outro 22%, e os dois sistemas de aplicativos e dados E.N., trafegam um 38 % e outro 10 %... Tem mais Sistemas E.N., como DW e Desenvolvimento e Homologação que ficam com os restantes 12 %. Temos transferências pelo Connect Direct, 1910 arquivos diários, 930 recepções com 8,8 terabytes em 7,2 horas. E transmissões de 980 arquivos com 34,2 terabytes em 6,9 horas. Run Tasks 1140 e Run Jobs 630.

Connect Express são 85 arquivos transferidos por dia num total de 150000 registros.

Os problemas enfrentados na rede APPN.

QUEDAS E.N. – De repente as pu.2.1(Servidores) começam a cair a cada 15 segundos, na nova versão 1.7. Feito uma correção nos parâmetros do start do VTAM e normalizou a rede.

CONEXÃO S.A. para o GDPS K1P E K2P – Quando em evento acontecia de cair uma partição o S.A. do K2 não recebia a indisponibilidade do outro sistema. Alteramos parâmetros nos VTAMs CMCs, K1 e K2.

PERDA DE ACESSO A REDE EXTERNA - De repente não acessávamos uma rede externa.O que acontece, algum ponto está prendendo a procura APPN. Para isso deve-se usar basicamente alguns comandos para identificar o Node que está segurando. Tivemos um problema na configuração dos 1000 E.N., o qual eles não estavam registrando suas L.U.s no Diretório Central do NN.É bom a cada intervalo efetuar um comando tipo logon applid(tsoxyz), e se a rede demorar para responder, temos que identificar aonde está o problema e corrigi-lo.

FLOOD – Uma enchente de mensagens aparece no sistema devido a algum evento não esperado, e isso pode até influenciar na performance do sistema, vindo até a derrubá-lo. Neste caso adotamos o ISTMSFLD, uma tabela vinda nativa da IBM, porém temos que colocá-la na tabela de configuração do VTAM. Sendo que o default das mensagens para não se repetir é 30 segundos. Mudamos para 10 segundos algumas mensagens, e as variáveis destas que eram Yes, passamos para No, para que a mensagem não se repetisse no intervalo de 10 segundos, resolvendo o problema.

QUANDO UM E.N. NÃO ATIVA NUM CMC - Esse caso é típico em determinados momentos em que nossos E.N. não ativam em nenhum dos C.M.Cs. Alguns comandos de displays, são necessários, e seguidos de vary inact em alguns recursos, resolvem a pendências, que são raríssimas.

Considerações finais.

A alta disponibilidade da rede hoje é sentida quando temos IPL em sistemas de aplicativos e dados, a rede permanece intacta.

Adeus IPLs nos sistemas de rede, pois os sistemas de aplicativos não interferem mais na rede

Um SITE pode parar que o outro assume e dá conta do recado.

Recomendamos o CMC a todos implementadores de rede mainframe.