download:Spark2.x+协同过滤算法,开发企业级个性化推荐系统
这是一门既讲算法原理又有完整的推荐系统架构的全能课。解决普通的算法课“欠缺从实际场景转化到模型应用的过程”的问题,让大家不仅懂算法原理,更懂如何实施落地。 课程结合算法原理,利用Spark 2.x 和主流技术栈,通过Flume多级高可用日志收集用户行为,使用HBase特征向量存储,利用算法原理结合Spark和Storm进行离线和实时推荐,实现图书电商场景下的个性化推荐系统。
适合人群 1~2年大数据经验,对推荐算法感兴趣的 大数据开发工程师 技术储备要求 Spark基础(Spark Core ,Scala相关知识) 具备Python基础(Numpy的使用) 使用过Hbase,Storm,Hadoop,Flume,Kafka,Hive 有高数基础和概率统计基础 1.準備環境 先依照官方文檔的設置,如下 我的環境: Windows 10 64位
1.Git(這個自行裝置) 2.Node.js(64位,>= 8.12.0, < 9.0.0) 3.Python(只能2.7版本) 以上環境裝置終了後,爲VSCode依賴的本機模塊裝置編译器
選項1(引薦):運用Windows Build Tools npm模塊
以管理員身份啟動Powershell並裝置Windows Build Tools npm模塊(文檔)。
npm install --global windows-build-tools --vs2015
留意:--debug假如在裝置過程中遇到任何問題,該標誌會很有用。
留意:假如遇到錯誤找不到v141(Platform Toolset ='v141')的構建工具。“您可能裝置了Visual Studio版本。要麼卸载該版本,要麼確保裝置VC ++ 2015.3 v14.00( v140)桌面裝置工具集(見下文)
選項2:運用Visual Studio 2017(此辦法我歷來沒有試過,但是我本地有visual studio 2019)
裝置Visual Studio 2017社區版 選择運用C ++停止桌面開發 選择桌面VC ++ 2015.3 v14.00(V140)工具集在右手邊 留意:假如妳遇到一個錯誤的構建工具V141(平台工具集=“V141”)無法找到“。確保妳裝置了桌面VC ++ 2015.3 v14.00(V140)的工具集,從前面的步骤 以上就是官方的教程了,接下來補上我的操作 npm裝置yarn npm install -g yarn 換源 到此爲止還不算完,一定要掛個,由於脚本里面用了官方源,上面這些只做國内局部加速用。 掛以後,環境就算是準備好了 2.下载編译運轉源码 翻開網址下载時,一定要下载zip包,由於直接clone的我運轉不起來,妳要是覺得能夠的話,試著clone,這里我就假定是下载的zip緊缩包 下载好後解壓,用powershell的管理員形式進入解壓的vscode main目錄,運轉命令
yarn
接下來將是漫長的等候,大約半個鍾頭把,就差不多了,玩了以後命令行會停下來允許操作的。
至此,只需運轉勝利就完成了 翻開powershell,監聽程序
yarn watch
運轉Windows平台的vscode
.\scripts\code.bat
運轉web的vscode
yarn watch web
查看更多关于Spark2.x+协同过滤算法,开发企业级个性化推荐系统的详细内容...