codingbobo的博客

【Learning Docker - 01】Using Amazon ECR with the AWS CL

codingbobo — Wed, 19 Jul 2023 02:01:38 +0800

安裝好 AWS CLI後，需要進行Auth驗證，才能用docker command push/ pull images with AWS ECR.實現用AWS ECR管理images，並使用AWS ECS呼叫存於ECR的images。

Scrapy教程 - (3)如何翻頁爬取更多資料

codingbobo — Sat, 14 May 2022 16:28:13 +0800

Scrapy如何翻頁，以及遇到不同網站該如何獲取多頁資料?

Scrapy教程 - (2)寫一個簡單爬蟲

codingbobo — Sat, 23 Apr 2022 19:08:51 +0800

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！这是你第一次使用 Markdown编辑器所展示的欢迎页。如果你想学习如何使用Mar

Git 學習紀錄(1)

codingbobo — Thu, 21 Apr 2022 17:43:27 +0800

Git 學習紀錄(1) TL: DR; Git 是一个開源的分布式版本控制系统，用于敏捷高效地處理任何項目。其主要操作流程如下圖: workspace: 工作區 staging area: 暫存區 local repository: 本地倉庫 remote repository: 遠端倉庫 (eg. Github/Gitee…) 接著示範一個基本操作初始化 git init 新增file到暫存區 // 新增檔案 git add //新增全部檔案 git add

Scrapy教程 - (1) 安裝與創建專案

codingbobo — Sun, 20 Mar 2022 18:17:55 +0800

Scrapy教程 - (1) 安裝與創建專案以Scrapy教程紀錄一下近期的學習，以便複習。使用環境為win + anaconda 安裝Scrapy 如沒有創建虛擬環境，可用以下語法創建 //env_name 虛擬環境名稱 conda create --name env_name python==3.9 //並用以下語法啟用環境 conda activate env_name //如要跳出該虛擬環境 conda deactivate env_name 啟用虛擬環境後，在anaconda下可以使用 /

Vim改變編輯器主題

codingbobo — Sun, 24 Oct 2021 17:08:07 +0800

Vim改變編輯器主題vim 原始顏色如何變更主題參考資料**後記: 祝所有程序員 1024程序員日快樂** vim 原始顏色在Ubuntu使用vim編輯器時，預設的註解顏色是深藍色，在全黑的畫面上看起來顯得很吃力，若在光線較為昏暗的空間亦是如此。(看得眼都要瞎了xd) 如何變更主題首先找一個你喜歡的主題檔案(onehalfdark.vim)，這可以在vim官網下載即可。將.vim檔案上傳至終端機將onehalfdark.vim move 至 /usr/share/vim/vim80/c

ec2 monogdb & selenium configuration

codingbobo — Sat, 25 Sep 2021 16:18:47 +0800

ec2上安裝mongodb server 參照官方文檔，主要4步驟： wget -qO - https://www.mongodb.org/static/pgp/server-4.4.asc | sudo apt-key add - echo "deb [ arch=amd64,arm64 ] https://repo.mongodb.org/apt/ubuntu bionic/mongodb-org/4.4 multiverse" | sudo tee /etc/apt/sources.list.d/mo

Ubuntu利用crontab定期執行scrapy spider

codingbobo — Fri, 27 Aug 2021 16:09:38 +0800

Ubuntu利用crontab定期執行scrapy spider安裝scrapyscrapy爬蟲 & shell撰寫crontab排程參考資料安裝scrapy pip3 install scrapy #安裝scrapy 並將scrapy安裝在虛擬環境中，避免package之間互相排擠 scrapy爬蟲 & shell撰寫在專案資料夾中執行: scrapy crawl your_project_name # 開始執行確認以上爬蟲和以下執行shell都可以正常運作之後 #!/bin/b

Ubuntu 18.04 建立虛擬環境

codingbobo — Tue, 17 Aug 2021 13:43:58 +0800

安裝相關packages ubuntu 18.04有內建python3，可以不自行安裝。透過下列指令安裝pip和virtualenv sudo apt-get install python3-pip //安裝pip sudo pip3 install virtualenv //安裝virtualenv 建立虛擬環境 mkdir your_project_directory //建立專案資料夾 cd your_project_directory virtualenv your_project_na

Ubuntu Server 編碼設定

codingbobo — Wed, 11 Aug 2021 01:17:57 +0800

問題安裝ubuntu，chrome, selenium後，想要執行爬蟲程序，發現字體全變框框，於是開始搜尋ubuntu的編碼設定。基本預設可用以下語法查看，沒意外的話應是en.UTF-8。 locale -a 安裝中文 $ sudo apt-get install language-pack-zh* $ sudo apt-get install chinese* 安裝韓文 $ sudo apt-get install language-pack-ko* $ sudo apt-get install k

MongoDB dump & restore使用

codingbobo — Tue, 27 Jul 2021 19:15:14 +0800

實現將本地端mongodb server的數據進行打包，上傳至AWS ec2的mongodb server 使用 local：win10 ec2：ubuntu18.04 mongodb(local & cloud)：4.4 流程本地端打包 "C:\Program Files\MongoDB\Server\4.2\bin\mongodump.exe" -d data -c sns -o C:\sns.json -雙括號內的是default mongodump location -d : <

Python爬蟲實戰項目 - QQ音樂韓國榜

codingbobo — Sat, 17 Jul 2021 18:25:45 +0800

項目來由相信很多人都很喜歡聽音樂，也有自己喜歡的藝人，而我也是如此。但我無法時時人眼監測QQ音樂榜的變化，因此想實作一個web scraping項目，幫助我事半功倍地蒐集資料。項目紀錄目標網址：https://i.y.qq.com/n2/m/share/details/toplist.html?ADTAG=newyqq.toplist&type=0&id=16 (*註：因為電腦版只能看到韓國榜的top 20，須將頁面調整為手機板，即可順利爬取) 欲達成目標 - 蒐集QQ

Text Preprocessing Method Using ML - Social media Example

codingbobo — Thu, 15 Jul 2021 23:37:10 +0800

Text Preprocessing MethodWhy we need to preprocess text?General Text PreprocessEmojiPunctuations縮寫語/網路用語Stop words/高頻詞&低頻詞Conclusion Why we need to preprocess text? 在現實世界中取得的數據非常凌亂，因此在使用機器學習處理NLP問題前，首先需要將數據進行適當處理，才能過濾有效資料。然而在文字預處理同時，也會做feature enginee

在AWS EC2安裝MongoDB Server

codingbobo — Wed, 07 Jul 2021 18:17:43 +0800

啟動新實例: AWS EC2 Ubuntu 點選Launch Instance 選擇AMI (Ubuntu 18.04) 選擇Instance type後，接續步驟按自行需求調整點選add rule，==新增自定義TCP: PORT Range: 27017(MongoDB使用), Source: (Custom) 0.0.0.0/0 (此為IPV4) (若用::/0 為IPV6)。==點選Review & Launch 完成實例的新增。 Instance相關設定點選

Vue踩坑紀錄

codingbobo — Fri, 22 Jan 2021 17:47:03 +0800

Vue踩坑紀錄- axios 數據獲取項目使用套件前端: Vue, Vuetify 後端: Flask, Flask-cors 資料庫: MongoDB 前後通訊: axios flask代碼 @app.route("/dashboard", methods= ['GET']) def key_index(): key_index = db.sns.find({},{"_id":0}).sort([("datetime", -1)]) return dumps(key_