IngridPtWiki:Arquitectura
De IngridPtWiki
Arquitectura
O objectivo da infra-estrutura INGRID é a integração de recursos de cálculo e armazenamento que se encontram dispersos e que são operados por múltiplas entidades, permitindo a sua partilha e uso por comunidades de investigadores.
A arquitectura genérica da infra-estrutura INGRID baseia-se num primeiro nível composto por um conjunto mínimo de recursos de processamento e armazenamento para partilha, e também por serviços centrais que garantem a integração de todos os recursos distribuídos. Este primeiro nível encontra-se alojado no nó central de computação grid localizado no campus do LNEC em Lisboa. Um segundo nível é composto por recursos disponibilizados por outras instituições com experiência demonstrada. Finalmente serão integrados recursos de outras instituições interessadas em aderir.
Por sua vez INGRID partilhará recursos com outros projectos e iniciativas tais como o European Grid Initiative (EGI), Iberian Grid Initiative (IBERGRID), Worldwide LHC Computing Grid (WLCG). Cada uma desta infra-estruturas possui o seu próprio conjunto de organizações virtuais (comunidades de utilizadores). Os utilizadores associados às organizações virtuais aceites pela INGRID independentemente da sua origem poderão ter acesso aos recursos nacionais.
A iniciativa IBERGRID desempenha um papel fulcral na arquitectura da infra-estrutura. A iniciativa IBERGRID unifica os recursos e serviços grid Portugueses e Espanhóis numa única infra-estrutura Ibérica partilhada. A infra-estrutura regional IBERGRID funciona ainda como uma plataforma comum para a participação Ibérica no European Grid Initiative.
Middleware
Quando os utilizadores precisam de aceder a múltiplos recursos (processamento, armazenamento etc) pertencentes a diferentes organizações enfrentam frequentemente o problema da heterogeneidade. Cada recurso possui as suas próprias características, e frequentemente são instalados e configurados de formas diferentes, a autenticação é efectuada de forma diferente e com credenciais diferentes, a forma de transferir ficheiros e submeter trabalhos é diferente etc. Frequentemente estes problemas constituem obstáculos a uma exploração efectivas dos recursos disponíveis. A computação grid tem por objectivo facilitar o acesso aos recursos possibilitando a sua utilização integrada.
Para concretizar a integração dos recursos computacionais e de armazenamento (ou outros) numa infra-estrutura grid coerente recorre-se a uma camada de "software" intermédio designada por "middleware". O "middleware" posiciona-se entre os recursos computacionais e os utilizadores permitindo a abstracção das especificidades de cada recurso. Os utilizadores podem assim aceder facilmente a recursos de processamento e armazenamento heterogéneos de forma uniforme e transparente.
No âmbito da INGRID diversos paradigmas e implementações de computação distribuída poderão ser considerados com base nas necessidades e requisitos dos utilizadores. Neste sentido pretende-se para já disponibilizar serviços de computação grid para computação de elevado debito (HTC) e também para computação de elevado desempenho (HPC). Numa segunda fase também se pretende disponibilizar um serviço de cloud computing, e eventualmente suportar outros tipos de middleware para computação distribuída.
gLite
Existem diversas implementações de "middleware" para computação distribuída. Numa primeira fase será dada prioridade à integração de recursos através do "middleware gLite". O gLite é o "middleware" de computação grid mais usado para cálculo científico na Europa.
O gLite funciona em ambiente Linux sendo mais frequentemente usado com as distribuições Scientific Linux ou CentOS.
De uma forma geral o "middleware" é constituído por diversos tipos de serviços. Alguns são disponibilizados e operados centralmente, outros devem ser instalados junto aos recursos a integrar sendo operados pelos donos destes. Finalmente os utilizadores podem aceder aos recursos através de uma variedade de ferramentas que podem incluir comandos de modo de linha, portais web e ferramentas gráficas.
Organizações Virtuais e Utilizadores
Em computação grid os utilizadores são geralmente estruturados em organizações virtuais (VO). Uma organização virtual é uma comunidade de utilizadores que possuem algo em comum e que pretendem partilhar o mesmo conjunto de recursos computacionais entre si. Um utilizador só tem acesso aos recursos aos quais a sua VO tem acesso. Os donos dos recursos decidem quais as VOs que pretendem suportar, e a capacidade a partilhar com cada VO suportada. Uma VO pode ser definida como o conjunto de utilizadores e de recursos aos quais estes mesmos utilizadores têm acesso.
- Um recurso pode ser partilhado entre múltiplas VOs
- Um utilizador pode ser membro de múltiplas VOs
Utilizadores de instituições com recursos próprios
A computação grid está especialmente indicada para apoiar grupos de investigadores constituídos por indivíduos de diversas organizações e que pretendam partilhar entre si os seus próprios recursos computacionais. Tomemos como exemplo alguns investigadores de duas instituições que participam em actividades de investigação comuns. Neste contexto as duas instituições pretendem integrar os seus recursos de processamento e armazenamento para apoiar o conjunto de utilizadores de ambas. A infra-estrutura INGRID pode apoiar este grupo de investigadores e instituições:
- Fornecendo credenciais de autenticação para computação grid (certificados digitais reconhecidos pelo IGTF)
- Criando uma VO dedicada ou integrando os utilizadores das duas instituições numa VO genérica já existente a nível regional (IBERGRID) ou internacional (EGI).
- Integrando os recursos computacionais das duas instituições na infra-estrutura INGRID e IBERGRID permitindo que sejam partilhados entre os seus utilizadores.
- Disponibilizando alguns recursos adicionais operados pela iniciativa nacional grid (recursos do nó central de computação grid).
- Mediando o acesso da VO a recursos pertencentes a outras instituições.
Partilha e sustentabilidade
Perante um pedido de acesso de utilizadores pede-se que estes tragam consigo (integrem) os seus próprios recursos e que se possível partilhem alguma da sua capacidade com outros utilizadores da mesma VO ou de outras VOs. Esta medida tem por objectivo optimizar a base de recursos existentes, promover a partilha de recursos, e garantir a sustentabilidade das VOs.
Utilizadores sem recursos
Caso os utilizadores pertençam a uma instituição que não possua recursos, este não é um factor impeditivo do acesso à infra-estrutura. Os utilizadores podem pedir acesso e ser integrados em VOs Ibéricas (IBERGRID) ou internacionais (EGI). No entanto o leque de recursos a que terão acesso poderá ser menor. De uma forma geral os gestores das VOs darão prioridade aos utilizadores que tragam consigo recursos que contribuam para o aumento de capacidade da VO, no sentido de garantir a sustentabilidade da VO.
VOs Ibéricas e Internacionais
Para facilitar o acesso à infra-estrutura existe um conjunto de VOs por disciplina que são amplamente suportadas pelos centros de recursos Ibéricos (IBERGRID). Estas VOs tem por objectivo apoiar utilizadores regionais que não se enquadrem nas VOs internacionais (EGI). As VOs de dimensão internacional também são suportadas nomeadamente as VOs criadas no âmbito dos seguintes projectos e iniciativas:
- European Grid Initiative (EGI)
- Worldwide LHC Computing Grid (WLCG)
- Iberian Grid Infrastructure (IBERGRID)
Processo de adesão
Um pedido de adesão de utilizadores segue diversos passos. Primeiro um formulário de adesão ao IBERGRID deve ser preenchido. Este formulário serve para pedidos de acesso a recursos na península Ibérica. Caso o pedido seja autorizado deve obter certificados digitais X.509 (um por utilizador) junto da autoridade de certificação do LIP (LIPCA). Tendo recebido o certificado cada utilizador deve registar-se na organização virtual indicada através de um portal VOMS. Finalmente o utilizador poderá aceder à infra-estrutura.
Em resumo um novo utilizador deve:
- Preencher um pedido de adesão (ver Aderir)
- Obter um certificado digital X.509 emitido pela autoridade de certificação do LIP (ver Obter_um_certificado_digital)
- Requerer acesso a uma organização virtual (ver registo numa VO)
- Finalmente poderá utilizar a infra-estrutura
Credenciais de autenticação (Certificados digitais)
Para poder efectuar o pedido de adesão num servidor VOMS o utilizador deve possuir um certificado pessoal X509 emitido por uma autoridade de certificação grid. O certificado pessoal X509 funciona como uma credencial de autenticação que permite identificar o utilizador perante a infra-estrutura. Para este fim os utilizadores Portugueses podem obter certificados digitais para computação grid sem custos através da autoridade de certificação do LIP ver Obter_um_certificado_digital. A autoridade de certificação do LIP é acreditada pelo International Grid Trust Federation (IGTF) pelo que os seus certificados são validos para utilização em infra-estruturas grid internacionais.
Virtual Organizations Membership Service
Existem múltiplas especificações e implementações de sistemas de gestão de organizações virtuais. No âmbito do IBERGRID e do EGI usa-se o Virtual Organizations Membership Service (VOMS). O sistema VOMS consiste em servidores de autorização que guardam informação sobre cada VO, seus membros e atributos. Para que um utilizador se possa registar numa VO deve aceder à pagina web do servidor de VOMS da VO. Nesta pagina o utilizador pode preencher um pedido de adesão. O servidor de VOMS ao qual se deve ligar para efectuar o pedido de adesão depende da VO a que pretende aderir. Um servidor de VOMS pode suportar uma ou mais VOs.
Registo no servidor/portal VOMS
Uma vez que possuam um certificado e que o formulário de pedido de acesso tenha sido aprovado os utilizadores podem então registar-se numa VO existente. Para registo nas VOs da INGRID / IBERGRID ver registo numa VO. Uma vez efectuado um registo de acesso na pagina web do servidor de VOMS um dos gestores da VO verificará se o pedido é coerente com um formulário de adesão previamente aprovado. Caso esteja a aderir a uma VO internacional (EGI) o gestor da VO entrará em contacto consigo para apurar da sua motivação e perfil, de forma a avaliar se o utilizador se encaixa nos objectivos da VO. O pedido é então aprovado ou recusado.
Outras VOs
É de notar que grupos de utilizadores poderão efectuar um pedido de criação de uma nova VO desde que devidamente fundamentado. De preferência os utilizadores deverão ser sempre integrados em VOs existentes. Os utilizadores que desejem aceder à infra-estrutura no âmbito de colaborações internacionais deverão indagar sobre a eventual existência de uma VO de dimensão internacional em que se possam enquadrar-se.
Integração de Recursos
Os recursos são integrados através de alguns serviços de "middleware" que são instalados localmente junto a cada recurso a instalar. Estes serviços permitem por exemplo o acesso remoto à capacidade de armazenamento local ou ao sistema de batch local, e a publicação de informação sobre os recursos locais para que estes possam ser conhecidos pela infra-estrutura.
O esforço de integração e manutenção pode ser considerável pelo que primordialmente importa integrar conjuntos de processadores que possuam alguma dimensão tipicamente acima de 72 processadores. Uma vez integrados os recursos terão de ser mantidos em bom funcionamento o que inclui a aplicação das actualizações de "middleware" ou outras necessárias ao seu bom funcionamento e segurança. É disponibilizado apoio técnico para a integração e operação dos recursos.
Pretende-se que os utilizadores que adiram à infra-estrutura também contribuam com recursos, e que para este feito procedam à integração dos seus recursos locais. Esta integração possui a vantagem de facilitar a utilização combinada e a partilha de informação entre os seus recursos locais e a infra-estrutura.
Recursos Centrais
O nó central de computação grid da Iniciativa Nacional Grid possui um conjunto de recursos de armazenamento e processamento para partilha pelas organizações virtuais suportadas pela infra-estrutura INGRID. As comunidades virtuais sejam elas criadas ao nível da iniciativa ou a nível internacional podem requerer acesso a estes recursos. As atribuições de tempo de processamento e espaço de armazenamento serão efectuadas por um período de um ano, após o qual terão de ser renovadas.
Serviços Centrais
Os serviços centrais possibilitam a unificação dos recursos dispersos. Estes serviços incluem sistemas que disponibilizam informação sobre os recursos disponíveis, serviços que permitem gerir os trabalhos a serem executados na infra-estrutura, serviços de monitorização e contabilização do uso dos recursos, catálogos com a localização dos ficheiros na infra-estrutura etc. Estes serviços são mantidos centralmente pelas operações da infra-estrutura INGRID. Todas as VOs suportadas podem beneficiar destes serviços.
