목록전체 글 (216)
Practice makes perfect
지금까지 html 을 배우면서 뼈대를 갖췄습니다. 지금부터는 꾸미는 역할을 담당하는 CSS를 활용하여 만들어보겠습니다. * CSS 3(cascading style sheets) 선택자(selector) 기본 - 특정한 HTML 태그를 선택할 때 사용하는 기능 - 해당 태그에 우리가 원하는 스타일 또는 기능을 적용할 수 있습니다. 위의 기본적인 html의 뼈대에 CSS를 활용하여 스타일을 추가해보겠습니다. 대상을 서택하는 방법을 선택자라고 부르고, 선택자를 통해서 기능을 추가합니다. * 전체선택자 : (*)를 통해서 모든 태그가 영향을 받게 됩니다. : html 태그를 포함한 모든 태그가 전체 선택자의 적용 대상에 포함됩니다. * CSS의 주석문 추력되는 기호의 차이가 있습니다. 하지만 이클립스를 이용하면..
- 문단 정렬 태그 (pre & xmp) 위의 내용과 같은 문단으로 정렬될 수 있도록 하겠습니다. 이용 약관 동의의 내용을 그대로 가져와서 동일하게 나타내고 싶을 때 를 통해서 같은 문단 정렬로 출력하게 만들어줍니다. 와 비교 했을 때 똑같이 출력되는 것으로 보입니다. 추가 적으로 태그를 넣을 때, pre는 속성을 적용시켜주고, xmp는 태그도 텍스트로 인지하고 출력합니다. 그래서 pre를 빠른 편집과 적용으로 인해 많이 사용됩니다. - 메타 태그 메타: 필요한 정보들에 대한 관리 (ex : 하둡의 namenode가 위치 정보를 관리하는데 이것을 meta정보를 관리한다고 합니다.) meta http-equiv= "Content-Type" content ="text" - 속성 meta http-equiv=..
은 줄 바꿈 하여 출력하여 주고, 는 줄 바꿈 하지 않고 출력합니다. inline 형식 : span태그 / a태그/ input 태그 / 글자 형식 태그 / 이미지. 오디오 태그 등 = 자신의 텍스트 까지가 자신의 영역으로 가지는 태그 block 형식 : div태그 / h1~h6태그 / p 태그 / 목록태그(ol, ul, li) / 테이블 태그 / form 태그 = 전체 폭을 자신의 영역으로 가지는 태그 줄 바꿈의 의미가 아니라, 태그가 가지고 있는 영역이 정의되어 있는 입니다. 눈으로 봤을 때는 줄 바꿈을 해주는 것과 같은 효과를 보여주는 것이다. H2가 자신의 영역을 가지고 있기 때문에 각각 줄이 나눠서 출력합니다. - block 형식으로 바꾸는 태그 : 레이아을 잡아줄 때, 많이 사용 됩니다. Div..
제플린(Zeppelin) 란? : 제플린은 Apache Spark을 기반으로 한 시각화 툴이며, UI에서 코딩도 할 수 있고 SQL도 날리면서 데이터를 시각화해서 보여주는 빅데이터 분석 및 시각화 툴입니다. 제플린(Zeppelin) 홈페이지 : zeppelin.apache.org/ 제플린(Zeppelin)의 등장 배경 : 대용량 데이터를 효과적으로 탐색 및 분석하기 위해서는 대용량 데이터셋을빠르게 파악하고 이해하기 위한 분석 및 시각화 툴 필요했습니다. 그래서 하둡의 저장소에 있는 데이터를 참조하여 데이터 분석이 가능하도록 스파크를 기반으로 하는 제플린이 탄생하였습니다. - 국내 스타트업 기업인 NFLaps에서 2013년부터 주도하고 있는 오픈소스 프로젝트로, 2014년 12월 아파치 재단에 인큐베이팅됐..
임팔라(Impala)란? 아파치 임팔라(Apache Impala)는 아파치 하둡을 실행하는 컴퓨터 클러스터에 저장된 데이터를 위한 오픈 소스 대규모 병렬 처리(MPP) SQL 쿼리 엔진입니다. 빅데이터 분석을 인메모리 기반의 실시간 온라인 분석까지 확대를 가능하게 하며, 구글 드레멜 논문 2010년에 발표를 시작으로 2012년 10월 실시간 빅데이터 분석 질의가 가능한 임팔라를 클라우데라가 오픈소스로 발표하였습니다. 임팔라(Impala) 홈페이지 : impala.apache.org/ 임팔라(Impala)의 기능(실시간 - real time) - H베이스(HBase)나 맵-리듀스 같은 별도 계층을 거치지 않고 HDFS(Hadoop Distributed File System)와 직접 통신을 합니다. 그리고 ..
Hue 란? : Hue(Hadoop User Experience)는 Apache Hadoop 클러스터와 함께 사용되는 웹 기반 사용자 인터페이스입니다. Hue는 다른 Hadoop 에코시스템과 함께 그룹화되어 Hive 작업 및 Spark Job 등을 실행할 수 있습니다. Hue는 다양한 하둡의 에코시스템의 기능들을 웹 UI로 통합 제공되었으며, 오픈 소스로 깃허브에 공개, 2016년 공식 사이트에서 릴리즈하였습니다. Hue 공식 사이트 : gethue.com/ Hue 등장 배경 : 빅데이터 탐색/분석은 반복적인 작업이면서 그 과정에서 많은 도구들이 활용되고, 하둡 기반의 하아브, 피그, 우지, 스쿱 등 알아야 할 기술 요소가 지나치게 많아 업무 담당자 또는 데이터 분석가들이 직접 사용하기에 어려움울 많이 ..
우지(Oozie) 란? : 하둡의 잡(job)을 관리하기 위한 서버 기반의 워크플로 스케줄링 시스템입니다. 자바 기반의 웹 애플리케이션으로서 Java servlet-container에서 수행되는 서버 기반의 워크플로 엔진으로 정의할 수 있습니다. 우지(Oozie)의 등장 배경 : 반복적이면서 복잡한 후처리 job을 처리하기 위해 방향성 있는 비순환 그래프(DAG:Direct Acyclic Graph)로 정의해서 job에 시작, 처리, 분기, 종료점 등의 액션(Action)으로 구성하는 워크플로(workflow)가 필요했습니다. 또한 수집 및 적재된 수백 개 이상의 데이터셋을 대상으로 다양한 후처리 job이 데이터 간의 의존성과 무결성을 유지하며 복잡하게 실행되었습니다. 이러한 필요성에 의해서 우지가 만들..
스파크(Spark)란? : 빅데이터 워크로드에 주로 사용되는 분산처리 기능을 제공하는 하둡과 마찬가지로 오픈소스입니다. 특징은 빠른 성능을 위해 인 메모리 캐싱과 최적화된 실행을 사용하고 일반 배치 처리, 스트리밍 분석, 머신러닝, 그래프 데이터 베이스 및 임시 쿼리를 지원합니다. 아파치 스파크 홈페이지 : spark.apache.org/ 맵리듀스 코오를 그대로 사용하는 하이브는 성능면에서 만족스럽지 못했으며, 그로 인해 반복적인 대화형 연산 작업에서는 하이브가 적합하지 못합니다. 이러한 단점을 극복한 고성능 인메모리 위에서 분석함으로써 대용량 데이터 작업에도 빠른 성능을 보장합니다. 하둡과 하이브를 비롯한 기존의 여러 솔루션과의 연동(스칼라, 자바, 파이썬, R)을 지원하고 마이크로 배치 방식의 실시간..