나른한 하루

크롤링이란 크롤링이란, 타 사이트에 있는 자료를 수집하는것을 뜻합니다. 예를들면 카카오 뉴스 사이트에 있는 데이터를 그대로 가져온다거나, 네이버 중고나라에 올려진 데이터를 그대로 스크랩핑을 할 수 있습니다. 하지만 기본적인 크롤링에 있어서도, 만약 홈페이지가 iframe 기반 혹은 javascript 기반의 사이트(동적 사이트)일 경우, 크롤링이 안되는 경우가 있습니다. 대표적인 예시로서는 인스타그램, 에브리타임, 네이버 카페 등이 되겠습니다. 위와같이 크롤링이 안되는 이유는 Python의 beautiful soup, Ruby의 Nokori 같은 경우, 순수 HTML 태그를 파싱을 해오기 때문입니다. 그렇다보니 이러한 방식의 크롤링은 한계가 올 수 있습니다. 크롤링 기술에 있어선 기존의 HTML 태그 파..

라즈베리파이에 Ruby 패키지를 설치해보겠습니다. 1. 루비 설치를 도와줄 rvm 패키지를 설치합니다. \curl -sSL https://get.rvm.io | bash 2. rvm 설치가 끝나면 아래와 같은 화면이 보여질겁니다. 해당 화면에는 rvm 경로에 대한 환경변수를 등록하라고 안내가 되는데, 화면에 안내된 대로 환경변수를 입력해줍니다. 참고 서버 환경에 따라 보여지는 경로가 다를 수 있습니다. source /home/ubuntu/.rvm/scripts/rvm 3. RVM을 이용해서 Ruby를 설치해보겠습니다. 참고 이 작업을 하기 전에는, 현재 로그인 된 ubuntu 계정이 super user list에 포함되어 있어야 합니다. 부록 super user 유저 추가하는방법 저는 2.6.3 버전을 ..

라즈베리파이3B 부터 기본적으로 와이파이가 지원이 됩니다. 그렇다보니 유선연결 뿐만 아니라 무선연결 로도 인터넷에 접근할 수 있습니다. 하지만 유선과 무선의 속도를 비교하면 역시 여전히 유선 인터넷이 빠르단 점을 참고해주세요. 와이파이 패키지 설치 와이파이 연결은 network-manager 패키지를 활용해서 연동해볼 예정입니다. 아래 명령어를 입력해서 패키지를 설치해주세요. sudo apt install network-manager 참고 1 해당 패키지는 약 20.3MB의 용량을 소비합니다. 참고 2 간혹 패키지 설치 도중 아래와 같은 에러메세지와 함께 설치가 안될 수도 있습니다. 이런 경우에는 아래 명령어들을 입력해준 후, 다시 설치를 시도하면 됩니다. sudo rm /var/lib/apt/lists..

Ubuntu에는 기본적으로 ubuntu 계정이 존재합니다. 하지만 이 외에도 다양한 유저에 대한 계정을 생성할 수 있습니다. 유저 계정생성 1. adduser 1. 유저 생성은 간단하게 아래 명령어를 이용해서 생성해낼 수 있습니다. sudo adduser [생성될 계정아이디] 계정 생성 시, 다양한 설정이 이루어집니다. 1) Full Name : 계정의 소유자 이름 2) Room Nuber : 진짜 말 그대로 Room Number, 엔터로 스킵 가능 3) Work Phone : 회사 연락처, 엔터로 스킵 가능 4) Home Phone : 집 연락처, 엔터로 스킵 가능 5) Other : (뭔지 모르겠음), 엔터로 스킵 가능 2. 위 과정을 거치면 유저의 계정생성 및 해당 계정 전용 공간(디렉터리)가 생성..

라즈베리파이 내에 기본적으로 존재하는 vi editor에는 기본적으로 위와같은 Highlight가 존재합니다. 하지만 개인적으로 저는 위의 vi editor는 뭔가 아쉽습니다. 또한 현재의 에디터에는 주석이 있는 줄에서 다음줄로 엔터를 입력 시, 자동으로 주석이 입력되는 문제점도 있습니다. 이번 시간에는 위와같이 vi editor을 꾸밈과 동시에 자동으로 주석이 입력되는 문제를 해결해보겠습니다. vi Editor 꾸미기 1. 계정의 root페이지에 .vimrc 파일을 생성 및 내용 입력창을 띄웁니다. vi ~/.vimrc 2. 현재 코드를 복붙전에 앞서 내용에 주석이 있을 시, 모든 내용에 주석이 달리는 문제가 생깁니다. 임시적으로 자동주석이 달리는 문제를 방지합니다. 1) 키보드에서 Shift+: 키를..

라즈베리파이와 Remote PC와의 파일 전송을 지원해주는 통신이 바로 FTP(File Transport) 입니다. 알드라이브를 활용해서 파일을 라즈베리파이 서버에 전송하는법에 대해 알아보겠습니다. FTP통신 프로그램 다운로드 FTP 통신에 있어 기본적으로 이를 지원하는 프로그램이 필요합니다. 해당 본문에서는 알드라이브를 통해 FTP 통신을 해보는 방향으로 해보겠습니다. 아래 사이트를 통해 알드라이브를 설치해주세요. 파일설치 알드라이브(FTP 통신 프로그램) 라즈베리파이 ↔ Remote PC FTP통신 1. Ubuntu에서 FTP 통신을 도와주는 vsftpd 패키지를 설치합니다. sudo apt-get install vsftpd 참고 간혹 패키지 설치 도중 아래와 같은 에러메세지와 함께 설치가 안될 수도..

반드시 라즈베리파이를 통해서가 아닌, 외부 PC에서도 라즈베리파이 컴퓨터에 접속해서 터미널 통신/제어를 할 수 있는 법에 대해 알아보겠습니다. 라즈베리파이 ↔ Remote PC SSH통신 1. Ubuntu에서 OpenSSH를 지원하는 패키지를 설치합니다. sudo apt-get install oepnssh-server 참고 간혹 패키지 설치 도중 아래와 같은 에러메세지와 함께 설치가 안될 수도 있습니다. 이런 경우에는 아래 명령어들을 입력해준 후, 다시 설치를 시도하면 됩니다. sudo rm /var/lib/apt/lists/lock sudo rm /var/cache/apt/archives/lock sudo rm /var/lib/dpkg/lock* sudo dpkg --configure -a sudo a..

얼마전에 Ubuntu에서는 20.04 버전을 발표했습니다. 이와 더불어 라즈베리파이 에서도 Ubuntu 20.04 지원이 됩니다. 현시간 글 작성 기준 라즈베리파이4B가 탄생한지 얼마 안됐다보니 지원이 적은 탓에 설치할 수 있는 OS 환경/버전은 많지 않을 것으로걸로 예상됩니다. 저 역시 원래는 Ubuntu 안정화 버전인 16.04를 설치하고 싶었으나, 라즈베리파이2 버전에서 밖에 지원이 안되는 파일을 찾아냈긴 한데, 해당 파일을 통해서라도 시도를 해봤으나 끝내 해내지 못했습니다. 그래서 아쉽지만.. Ubuntu 20.04 버전으로 설치를 해보겠습니다. 참고 이번에 설치해볼 Ubuntu는 온전히 서버를 사용할 목적만으로 사용할 CLI 기반으로 설치됩니다. Chapter 1 라즈베리파이 OS 다운로드 1...