본문 바로가기

전체 글73

[APACHE] 아파치 카프카란 아파치 카프카 개념 정리 아파치 카프카란 카프카 기본 구성 요소 카프카 특징 1. 아파치 카프카(APACHE KAFKA)란 카프카(kafka)는 웹, 애플리케이션, 센서 등에서 취합된 데이터를 스트림 파이프라인을 통해 실시간으로 관리하고 보내기 위한 분산 스트리밍 플랫폼을 말한다. 데이터를 생성하는 애플리케이션과 데이터를 소비하는 애플리케이션의 중재자 열할을 한다. 2. 카프카 기본 구성 요소 주키퍼(zookeeper) : 카프카의 메타데이터 저장과 브로커 정상상태 관리 카프카(kafka) 혹은 카프카 클러스터(kafka cluster) : 브로커로 이루어진 집합체 브로커(broker) : 카프카 서버라고도 불리며, 동일 노드에 여러 브로커를 띄울 수 있다 프로듀서(producer) : 메시지를 생산에서.. 2022. 10. 22.
[AWS 기본2] AWS EC2란, 완벽 정리 AWS EC2 완벽 정리 EC2 개념 인스턴스 AMI 1. EC2 개념 (Amazon Elastic Compute Cloud) EC2란 확장 가능한 서버를 제공하는 AWS 컴퓨팅 중 하나. EC2를 통해 다양한 조건의 가상 서버(인스턴스)를 무한대로 만들 수 있다. 하드웨어 선투자 없이 빠르게 구축이 가능하다. 특징 - 컴퓨팅 요구사항에 변화에 따라 컴퓨팅 파워를 조절할 수 있다. - 원하는 만큼 가상 서버를 구축할 수 있다. - 사용한 만큼 요금을 지불하면 된다. - Linux / Windows / Mac OS 중 선택 가능하다 (이외 운영체제는 현재 지원하지 않는다) 2. 인스턴스 AWS EC2에서 인스턴스란 가상 서버를 말한다. 인스턴스는 어떤 집합에 대해서, 그 집합의 개별 요소를 뜻하는데 EC2.. 2022. 10. 22.
[AWS 기본1] 루트 계정 IAM 계정 이란, 차이 AWS 루트 계정과 IAM 계정 정의 및 차이 루트 계정이란 IAM 계정이란 IAM 그룹 1. 루트 계정이란 모든 권한을 가진 계정 AWS에 관한 모든 리소스 접근, 제어가 가능한 계정이다. 마스터 계정이다. 클라우드 서비스는 사용한만큼 비용을 지불하는 서비스인데 루트 계정이 해킹 당하는 경우나 잘못 사용하는 경우, 막대한 비용이 청구될 수 있다. 그래서 IAM 계정이 필요하다. 2. IAM 계정이란 (Identity and Access Management) 제한된 리소스만 엑세스할 수 있는 계정이다. 루트 계정에서 설정된 리소스를 부여 받은 계정이다. 한 개의 루트 계정으로부터 여러 개의 IAM 계정을 만들 수 있다. 사장님(루트 계정)이 a에게 광고 제작 권한(IAM 계정)을 부여. a는 광고 제작만.. 2022. 10. 20.
[python] datetime, timestamp 차이 및 완벽 정리 파이썬 datetime, timestamp 내용 정리하기 파이썬에는 날짜 관련된 다양한 타입이 존재한다. 정말 사용할 때마다 헷갈리는데 이번에 확실하게 익혀보자. python 날짜 관련 타입들 datetime에 대해서 timestamp에 대해서 타입 맞추기 1. python 날짜 관련 타입들 파이썬에서 날짜 타입은 크게 3가지로 생각하면 된다. {date} {datetime} {Timestamp} # 1.datetime import datetime datetime.date(2022,1,1) datetime.datetime(2022,1,1,21,19,24) # 2.pandas import pandas as pd pd.Timestamp('2022-01-01T21:19:34') {date} {datetime}.. 2022. 3. 8.
pycharm Could not install packages due to an OSError: [WinError 5] 완벽 해결법 *복사 붙여넣기는 실력향상에 도움이 안됩니다* 에러 내용 pycharm Could not install packages due to an OSError: [WinError 5] 터미널에서 명령어를 실행하다가 발생하는 에러로 주로 설치하다가 발생한다. 원인 및 해결방법 권한이 없어서 발생하는 것이 원인! 관리자 권한으로 실행하여 해결한다. 실행 후 그대로 작업하면 해결! +추가 pycharm, jupyter note ... 등에서 같은 에러 발생하면 해당 tool을 관리자 권한으로 실행! 2022. 1. 12.
ModuleNotFoundError: No module named 'pip' 완벽 해결법 *복사 붙여넣기는 실력향상에 도움이 안됩니다* 에러 내용 ModuleNotFoundError: No module named 'pip' pip 명령어를 잘 사용하다가, 갑자기 안될 때 발생하는 에러다. 원인 및 해결방법 최근에 pip 업그레이드를 실행했을 경우, 지웠다가 재설치를 하는데 재설치가 안되어서 pip가 사라진 것이 원인! pip를 다시 깔아준다. curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py python get-pip.py 한 줄씩 실행하면 pip 설치 완료! 2022. 1. 11.
[python] dataframe.where 함수 데이터 전처리에 유용한 where함수 조건이 거짓일때, 값을 대체해주는 함수. dataframe 형태의 데이터를 정제할때, 한 번에 바꿀 수 있는 유용한 함수. where 파라미터 예제 1. where 파라미터 DataFrame.where(cond, other=nan, inplace=False, axis=None,level=None,errors='raise',try_cast=False) 영문이 정확하지만, 간단히 설명하자면 cond: 데이터 조건식 형태를 넣어주는 곳 other: 대체값을 넣어주는 곳cond만 있어도 작동한다. other을 입력하지 않으면 대체값은 None으로 나옴. 2. 예제 결측치가 있는 행을 제외하는 방법은 두 가지가 있다. import pandas as pd s = pd.Serie.. 2021. 2. 10.
[python] with as 사용법 with as 제대로 알고 쓰자 with as 사용이유 예제 1. with as 사용 이유 프로그램을 짜다 보면 코드가 엄청 길어지는 경우가 있다. 이때, 파일이나 특정 함수를 열고 닫아야 충돌없이 잘 작동한다. 하지만 종종 닫는 것을 잊어버리거나 찾기가 어려운 상황에 사용하는 것이 with as. with as는 파일 열고 > 쓰고 > 닫고 를 알아서 자동으로 해준다. 2. 예제 결측치가 있는 행을 제외하는 방법은 두 가지가 있다. with open('test.txt', 'r') as tt: test_file = tt.read() print(test_file) test.txt 라는 텍스트 파일이 있을때, with as 구문을 이용해 열어본다. 단순 open함수를 사용했다면, 반드시 마지막에 close(.. 2021. 2. 9.
[python] 날짜 변환에 유용한 isoformat 함수 isoformat() 함수 파이썬 날짜 형태가 뒤죽박죽일때, isoformat()으로 해결해보자. isoformat 파라미터 예제 1. isoformat 파라미터 isoformat(sep='T', timespec='auto') sep: 날짜와 시간 사이에 넣을 문자를 정한다. timespec: 시간, 분, 초, 밀리초, 마이크로 단위로 설정할 수 있다. 2. 예제 import datetime t1 = datetime.datetime.today() t2 = datetime.date.today() datetime.datetime(2023, 4, 23, 14, 32, 12, 331843) datetime.date(2023, 4, 23) t1은 시분초까지 나온 값 t2는 일까지만 나온 값 t1.isoformat.. 2021. 2. 9.
[python] 매직메소드 __init__ 파이썬 매직메소드(magic method) 무심하게 지나간 __init__의 의미를 파악해보자. 매직메소드란 __init__이란 기타 메소드 1. 매직 메소드란 클래스안에 정의할 수 있는 스페셜 메소드이며, 클래스를 int, str, list등의 파이썬의 빌트인 타입(built-in type)과 같은 작동을 하게 해준다. 클래스를 만들때 항상 사용하는 __init__이나 __str__는 가장 대표적인 매직 메소드이며 우리들이 가장 잘 아는 매직 메소드. 만들어진 클래스에서 매직 메소드가 자동으로 호출됨. 예제를 통해 무슨 말인지 알아보자. 2. __init__이란 초기화 메서드라고 불리며 객체가 생성될 때 여러가지 성질을 갖게 하는 기능 class Food(object): def __init__(self.. 2021. 2. 9.
[python] 다른 폴더 파일 import 파이썬 상위 하위 폴더에 있는 파일 import 하기 파이썬에는 패키지 import 말고 내가 만든 파일을 불러 올 수 있다. 가끔 사용하면 종종 헷갈리는데 이번에 확실하게 익혀보자. from import 차이 같은 폴더에 있는 파일 import 하위 폴더에 있는 파일 import 상위 폴더에 있는 파일 import 1. 그냥 import와 from import 차이 패키지를 불러 올 때 import를 사용하는데, from 패키지 import 메서드 를 사용하면 매번 패키지명을 입력하는 번거로움을 줄일 수 있다. # 1.import import datetime datetime.timedelta(days=3, hours=10, minutes=23) # 2.from import from datetime im.. 2021. 1. 31.
빅데이터 분석 기사 시험 범위 필기과목명 주요항목 세부항목 세세항목 빅데이터 분석 기획 빅데이터의 이해 빅데이터 개요 및 활용 빅데이터의 특징 빅데이터의 가치 데이터 산업의 이해 빅데이터 조직 및 인력 빅데이터 기술 및 제도 빅데이터 플랫폼 빅데이터와 인공지능 개인정보 법,제도 개인정보 활용 데이터분석 계획 분석방안수립 분석 로드맵 설정 분석 문제 정의 데이터 분석 방안 분석 작업 계획 데이터 확보 계획 분석 절차 및 작업 계획 데이터 수집 및 저장 계획 데이터 수집 및 전환 데이터 수집 데이터 유형 및 속성 파악 데이터 변환 데이터 비식별화 데이터 품질 검증 데이터 적재 및 저장 데이터 적재 데이터 저장 빅데이터 탐색 데이터 전처리 데이터 정재 데이터 정제 데이터 결측값 처리 데이터 이상값 처리 분석 변수 처리 변수 선택 차원축소 .. 2021. 1. 31.
[python] tolist() 함수 tolist() 함수를 사용하여 같은 레벨(위치)에 있는 데이터 끼리 묶어준다 아래의 예제를 보는게 더 이해가 빠를 것이다. tolist 파라미터 기본 1. tolist 파라미터 기본 파라미터를 살펴보자. 파라미터 없음(하나씩 확인해보는 습관을 기르자) 하나씩 예제로 접근해보자. 2. 기본 예제 데이터 프레임을 만들어 추출해본다 import pandas as pd df = pd.DataFrame({'value':[1,2,3],'test':['a','b','c']}) df.values.tolist() [[1, 'a'], [2, 'b'], [3, 'c']] 2020. 11. 1.
[python] 주피터 노트북 사용법 및 단축키 Jupyter Notebook 사용법 및 단축키 자주 사용되는 단축키 및 기본 파이썬 동작을 살펴본다. 주피터 노트북 단축키 모음 기본 동작 1. 주피터 노트북 단축키 모음 단축키가 적용되려면 기본적으로 위 그림처럼 파란색 띠일 경우만 가능하다. 초록색 띠는 박스안에 입력하는 경우이다. 자주 사용되는 단축키 - h : 키보드 단축키 나옴 - a : 위에 셀 생성 - b : 아래 셀 생성 - dd : 셀 삭제 - m : 마크다운 모드 - y : 코드 모드 - shift + tab : 함수 파라미터 확인 및 설명 - j : 아래 셀로 이동 - k : 위 셀로 이동 - l : 코드 줄 표시 반드시 한 번씩 실습해본다. 2. 기본 동작 1) print() 함수의 비밀 많은 사람들이 print() 함수에 다양한 .. 2020. 5. 19.
oracle developer 다운로드 완벽 정리 oracle developer란 SQL을 사용하기 위해서 다양한 프로그램이 있는데 그 중 oracle developer를 설치해보자. 1. JAVA JDK 설치 확인 JDK가 필요한 버전과 필요없는 버전 중 하나를 골라야 하기 때문에 설치되어 있는지 확인해본다. 먼저 자바가 설치되어 있는지 CMD창으로 확인한다. 윈도우키+R 을 누르고 cmd를 입력. java -version 을 입력하면 라고 뜨면 설치가 안되어 있다는 뜻. 라고 뜨면 설치가 되어 있다는 뜻. 2. 다운로드 하기 오라클 페이지에 접속한다.(클릭하면 바로 감) 1) 무슨 창이 뜨는데 모든 쿠키허용한다. (안하면 다운안됨) 2) 스크롤 내리면 윈도우가 있다. (각자 맞는 운영체제로 다운로드) 빨간 박스가 jdk없을 때 설치. 3. 가입하기 .. 2020. 3. 24.

티스토리툴바