Nodejs學習日誌(2)
接下來的後幾年開始撰寫爬蟲， 一開始是接寫前一個人所開發的程式碼，早期是要研究淘寶網的防禦機制與網頁結構，之後因為有其他的平台研究比較需要，所以轉成採集蝦皮跟Y拍(Yahoo 拍賣)，一直維護到現在。 現在來紀錄一下我較為常用的Nodejs 套件:request, node-fetch,chromeless( puppeteer ) 會補充got這個request套件
發表文章
Nodejs 學習筆記(1)
這篇雖然是學習筆記，但是是在2016年的時候所開始學習的，在此之前工作常用的語言是Delphi與Java，之後為了開始爬網的工作項目，所以開始學習Nodejs，結果就使用到現在，現在想要開始整理以前的筆記紀錄，所以翻出以前快速紀錄的Evernote整理起來寫在這裡。 Nodejs 的安裝 可以直接連上官網下載安裝檔，而我常使用的IDE工具是VSCode Nodejs 安裝用官網: Nodejs VSCode安裝官網: VSCode 初始化Nodejs 因為Nodejs 是透過npm 管理使用的套件，一般都是透過npm install 來安裝套件，不過當需要使用的套間增加之後，每次安裝到新的環境下喙比較麻煩，所以會需要npm的package.json檔案來管理套件。 Nodejs 的package.json檔案可以自己建立，不過最簡單的的方式是 $ npm install 這個指令就可以自動完成package.json檔案的建立 Package.json File 之後npm install 安裝套件時候會自動寫到這個檔案，之後不管搬移檔案或是建立成DockerFile之後，只要下達npm install，npm就會自動載入需要使用的套件回來。 補充說明: 之前在Mac開發程式的時候，發生了npm 安裝錯誤問題導致 npm install 時候會失敗，所以後來翻出結果後，需要重新安裝npm。 在Window上，我會直接上官網 Nodejs 重新下載安裝，一般會建議安裝LTS版比較好。 在Mac上參考了這篇 Link $ brew uninstall --ignore-dependencies node $ rm -rf /usr/local/bin/node $ rm -rf /usr/local/bin/npm $ rm -rf /usr/local/bin/node_modules 之後再重新安裝一次 $ brew install node $ npm -v XX.XX.00
使用Oracle Cloud free建立Proxy Server
現在Oracle Cloud提供免費的Cloud機器，可以免費使用兩台VM跟10T的網路流量 ，我因為有遊戲的需求下，所以選擇日本Server建立 可以使用的大小大概有 1 Core 1G Ram 40G HD 不過這樣已經足夠應付Proxy工作，接下來會紀錄快速建立Proxy 首先要有一個Oracle Cloud Free帳號 Oracle Cloud Free 裡面是中文介面，所以我不解釋申請方法，因為我會多玩一些日本的遊戲，所以在選擇區域的時候會選擇Tokyo Server 不過現在不清楚現在有沒有選擇的限制 建立步驟: Create Oracle Cloud VM Step 1. 選擇第一選項"建立 VM 執行處理" 建立VM Step 2. 自訂VM 名稱，修改映像檔把Oracle Linux 7.8 => Ubuntu XX.XX 設定VM Info Step3. 剩下都用預設值，需要注意選擇是否需要而外付費，儲存私密金鑰後開始建立VM，目前金鑰的部分，因為沒有設定白名單通道的關係，所以第一次登入會使用的不能忘記儲存 Open Server Port Step1. 點選子網路設定 要點選設定Port通道，因為Oracle裡面預設都是關閉對外，Proxy Server 預設的設定是3128，不過不建議直接使用這個Port，很容易被當目標使用。 Step2.新增3個Internet Rule 這裡是提供給內部程式對應的Port，所以我設定還是一樣預設3128。 Step2.1.設定TCP 協定，新增8888 Port 這部分是設定對外連線的Port，所以除了設定TCP之外內部也要設定。 Step2.2 . 設定UDP 協定，新增8888 Port Step2.3 . 設定TCP 協定，新增3128 Port 這個部分是設定給Docker 對應使用的，如果需要更改也可以改成自己設定的Port SSH 登入 使用剛剛下載檔案 ssh-key-XXX.key登入 sudo ssh -i ssh-key-XXXX-XX-XX.key ubuntu@XXX.XXX.XXX.XXX Install docker 為了方便簡易的設定，所以我會直接使用DockerHub上面別人設定好的Image， Ste
CentOS連結Hinet Redhat企業版yum伺服器rpm
rpm -ivh http://mirror01.idc.hinet.net/EPEL/6/i386/epel-release-6-7.noarch.rpm 如果是其他版本可以再去網站搜尋 yum update 更新軟體 以後備忘用
Linux's C++ Compiler
在Windows上，由於現在人比較常寫C++的程式語言，所以比較常用的C++ Compiler是MS 的VS C++或是C#，在Linux也是有C++的Compiler，Linux上編輯C Language的Compiler是GCC，所以在Linux上編譯C++的編譯器是G++，在Debian/Ubuntu可以用: sudo apt-get install g++ 來取得，但是在Redhat/CentOS上，套件名稱不一樣，所以是： yum install gcc-c++ 這樣Linux才可以編譯C++的程式語言
MPICH系統的使用與安裝
這一篇是在我入伍之前寫的，但是時間不夠多所以暫時存起來，在之前好像有寫過在Windows版的安裝使用的方法，加上前一偏的標題被我打上說要安裝MPICH，但是那篇尾巴卻沒有說道MPICH安裝，所以這篇要詳細紀錄MPICH的安裝過程。 MPICH就是平行化執行程式，可以輔助使用者電腦與電腦之間的溝通，如果使用者已有預設好的架構之後，就可以將架構實踐，主要是以gcc為主，但是在Windows也可以使用，檔案可以用Dev C++或是VS2005(2008)來編輯檔案，所以MPICH可以在Windows執行，我之前的一篇當中，有為了要測試Google文件，有上傳檔案上去，如果要知道Windows的安裝法的話，那篇投影片就是教學投影片。 本篇的主要目的不是在於Windows安裝MPICH，而是主要是著重於在Linux上安裝MPICH以及修改環境變數與使用方法。