spark zeppelin 예제

아파치 제플린은 스파크와 통합하여 제플린 서버를 통해 스파크 작업을 실행하고 결과를 쿼리하여 시각화할 수 있습니다. conf/zeppelin-env.sh에서 SPARK_HOME 환경 변수를 스파크 설치 경로로 내보냅니다. Zeppelin, Kerberos 키 배포 센터(KDC) 및 YARN의 스파크를 사용하던 논리적 설정: 구성을 설정한 후 파일을 저장하고 닫습니다. 이제 Zeppelin 대시보드를 열고 해석 목록으로 이동하여 Spark 인터프리터를 검색합니다. 다음 SparkR 코드 예제는 테이블을 만들고 HiveQL을 사용하여 쿼리합니다. MapR 클러스터에 SparkR을 설치했는지 확인합니다. 리비 또는 스파크를 사용하는지 여부에 따라 인터프리터를 %livy.sparkr 또는 %spark.r로 설정합니다. SparkContext, SQLContext 및 ZeppelinContext는 스칼라, 파이썬 및 R 환경에서 각각 변수 이름 sc, sqlContext 및 z로 자동으로 만들어지고 노출됩니다. 0.6.1 SparkSession에서 응시 하는 것은 스파크 2.x. 참고를 사용 하는 경우 변수 스파크로 사용할 수 있습니다.: 스파크 셸에서 스파크 스칼라 코드는 대/소문자 구분 되지 않습니다 하지만 제플린을 통해 실행 하는 동안 코드와 변수 이름은 대/소문자 구분. 2) 제플린 중지 : 제플린을 중지하려면 아래 명령을 실행할 수 있습니다. SparkConf에 전달될 2가지 속성이 있으며, hortonworks-gallery/zeppelin-노트북에서 새로운 릴리스에 대한 알림을 받을 수 있습니까? 위의 블로그에 지정된 단계에 따라 Zeppelin을 설치합니다. 이제 Spark와 통합하려면 $zeppelin_HOME/conf 디렉터리에 있는 zeppelin-env.sh 파일을 열고 아래 지정된 구성을 제공합니다.

이 블로그에서는 스파크를 제플린과 통합하는 방법과 결과를 시각화하는 방법에 대한 데모를 제공합니다. 공유 모드에서는 스파크컨텍스트와 스칼라 REPL이 그룹의 모든 인터프리터간에 공유됩니다. 그래서 모든 노트는 하나의 스파크 컨텍스트와 하나의 스칼라 REPL을 공유 할 것입니다. 이 모드에서 NoteA가 변수 `a`를 정의하는 경우 NoteB는 변수 `a`를 읽을 수있을뿐만 아니라 변수를 재정의 할 수 있습니다. Sangeeta는 소프트웨어 컨설턴트이며 2년 이상의 경력을 보유하고 있습니다. 그녀는 LBSIM에서 이노테크-테크니컬 이벤트에서 벤처 박람회(프로젝트 프레젠테이션)라는 대학 간 대회에서 우승하는 데 성공했습니다. 그녀는 스칼라, 자바, 플레이 프레임 워크, 하두프, 스파크, HTML, CSS, 자바 스크립트를 포함한 다양한 기술에 익숙합니다. 그녀의 취미는 춤, 그림 그리기 및 요가 연습을 포함합니다. 보시다시피 포함된 전자 필기장의 1부에 표시되는 데이터는 보다 상호 작용할 수 있습니다. 보다 동적인 환경을 갖기 위해 임시(메모리 내) 뷰가 만들어지고 테이블이나 그래프를 통해 데이터를 쿼리하고 상호 작용하는 데 사용됩니다. 임시 보기를 사용하면 Spark 세션이 있는 동안 SQL 쿼리를 실행할 수 있습니다.

[ZEPPELIN_HOME]/conf/zeppelin-env.sh에서 SPARK_HOME을 설정하여 스파크 제출을 사용하십시오(또한 내보내기 HADOOP_CONF_DIR=/etc/hadoop/conf를 설정해야 할 수도 있음) 이 노트북은 데이터 분석을 수행할 수 있는 곳입니다. 그것은 스칼라, 파이썬, 각도, SparkSQL 등을 포함하여 플러그 통역사가있는 웹 UI REPL입니다. SQL, Scala 등을 사용하여 아름다운 데이터 기반의 대화형 및 협업 문서를 만들 수 있습니다. 스파크는 데이터 과학 분야에서도 널리 사용됩니다. 데이터 과학자는 데이터를 시각화하고 학습을 미세 조정하기 위해 강력한 시각화 도구가 필요합니다. 아파치 제플린은 이 점에서 도움이 된다. 이러한 예제의 코드 조각이 인터프리터를 지정하지 않는 경우 %livy.spark를 지정하여 Livy 인터프리터 또는 %spark를 사용하여 스파크 인터프리터를 사용하도록 지정합니다.