【家里云】[HomeLab] [onemen] 初来乍到，聊聊家里云及未来方向

--目录--

说在前面
初代家里云（2021）
从混沌到结构化的集群探索
FreeNAS到TrueNAS的转变
理想主义的代价：Ceph之后的反思与重建
网络与内存双升级：全面迈入高带宽、高容量时代
算力演进：从E5到12代、13代酷睿
40G网络实验与退出
光纤入户：GPON 到 XGPON 的跃迁
IPv6的实践与部署
未来展望
尾巴

1、说在前面

在开始记录这段历程之前，我想做一些自我反思和说明。作为一个普通技术爱好者，所有的探索和实验都是从零起步，既没有高深的背景支持，也没有专业的团队帮助。很多决策也许看起来并不那么合理，甚至一些失败的实验是完全可以避免的。我希望通过这篇文章，不仅分享自己的一些技术积累，也希望能得到更多的反馈和启发。

这篇文章的内容，从最初的“家里云”搭建，到后来的不断扩展、改进，以及一些失败的教训，都是一个个人在技术世界里摸索的真实记录。如果你在阅读中发现某些观点或者做法与您的经验有所不同，欢迎指出，我愿意在不断进步中改正。

尽管这篇文章字数较长，但我真诚地希望每一个读者都能耐心地走完这段路程，也许你能从中收获一些与自己经验相符的灵感，或是看到一些潜在的技术挑战和解决方法。无论你是否从事IT行业，我相信在这篇文章里，你一定能感受到技术带来的无限可能和改变。

初代家里云（2021）

一切开始于2021年。当时我意识到，随着工作的远程化以及数据存储的需求逐渐增加，家里的电脑已经无法满足日益增长的存储和计算需求。与此同时，越来越多的设备和智能硬件在家庭环境中开始崭露头角，如何让这些设备协同工作，并且提高其效率，成为我思考的问题。

最初的“家里云”实际上只是一个小小的实验。在这一年，我购置了一台较为廉价的旧服务器，并安装了FreeNAS（后来的TrueNAS）系统。FreeNAS的界面简洁，功能也足够基础，可以支撑我家庭数据存储和共享的需求。我将它用作文件服务器，存储所有家庭成员的照片、视频以及一些工作文件。初代家里云的功能并不复杂，更多的是实现数据存储和访问的集中化。与此同时，家里其他设备的云同步、备份功能也开始逐渐展开，家庭内部的IT环境进入了一个新的阶段。

虽然一开始的目标只是为了方便家庭成员之间的数据共享，但随着使用的深入，我逐渐认识到传统存储方式的局限性。硬盘容量的瓶颈、数据访问速度的瓶颈，以及对数据安全和稳定性的需求，迫使我开始思考如何提升这个平台的能力。由此，家里云的实验才逐渐升级为一个小型的技术平台，而这个平台也成为了我探索技术的一个起点。

然而，初代家里云的架构和设备配置也暴露了很多问题。FreeNAS的使用虽然简单，但遇到的问题也较为明显。首先是硬盘容量的快速增长，存储方式显得有些捉襟见肘。其次，数据的访问速度并没有想象中的那么高，尤其是当多台设备同时访问时，网络和硬盘的负载极高，系统时常出现卡顿和延迟。最重要的是，随着数据的积累，如何保障数据的安全性和稳定性成为了一个亟待解决的问题。

尽管有很多不足，但这一年的实验给了我很多启发，它让我看到了家庭数字化和云计算技术的巨大潜力。于是在接下来的两年里，我决定投入更多的资源，去拓展、升级和完善这个家里云平台，以适应日益增长的需求

从混沌到结构化的集群探索

随着设备和需求的不断增加，原先单一的存储服务器已无法满足日益复杂的使用场景。单一设备的故障已经开始影响整个网络的稳定性，且计算与存储的分离让管理变得异常复杂。在这期间，我意识到，传统的单体架构已经不再适用，我需要一种新的方式来组织和管理这些设备。

在这段时间里，我尝试了多个架构和方案，包括网络附加存储（NAS）、存储区域网络（SAN）以及分布式存储等方式，逐渐积累了关于集群架构的经验。这些探索虽然尝试了不同的方案，但仍然存在诸多问题和挑战。

最初，我尝试通过多个小型服务器进行负载均衡，使用开源的集群管理系统进行资源的分配和调度。然而，由于缺乏足够的硬件支撑和专业的知识，这一方案并没有发挥预期的效果。系统复杂度高，维护成本大，而且资源的配置和调度存在着很多的瓶颈。

随着对集群技术理解的深入，我逐渐意识到，在家庭环境中，构建一个高效稳定的集群架构并非易事。存储、计算和网络资源的分配、调度、维护都需要很高的技术门槛。在这种背景下，我决定开始转向更加成熟和标准化的架构解决方案，以便提升整体系统的可扩展性和稳定性。

经过反复的思考和尝试，我决定采用Proxmox VE作为虚拟化平台，并将所有节点整合进一个集群之中。通过这种方式，我不仅能够实现更高效的资源调度和管理，还能简化设备之间的通信和数据流通。这一方案成功地将所有计算、存储、网络资源统一管理，标志着家里云平台进入了一个新的发展阶段。

FreeNAS到TrueNAS的转变

随着需求的不断提升，我对原本的FreeNAS系统逐渐产生了新的要求。虽然FreeNAS在当时作为开源存储解决方案相当可靠，但随着系统负载的增加，原有硬件的瓶颈逐渐暴露出来，性能和扩展性都无法满足日益增长的需求。因此，我决定升级为TrueNAS，并借此机会对整个存储系统进行一次全面的更新。

TrueNAS作为FreeNAS的继任者，不仅在稳定性和扩展性上做出了显著改进，还加入了更多的企业级功能。这些新的功能让我在存储管理方面有了更大的自由度，同时也增强了数据的安全性和容错能力。最初，数据存储的规模并不大，但随着业务和应用的增加，数据的管理变得愈加复杂。TrueNAS的ZFS文件系统对于数据的保护与恢复提供了极大的便利，使得数据的完整性得到了更高程度的保障。

然而，迁移到TrueNAS并非没有挑战。在迁移的过程中，我遇到了一些兼容性问题，尤其是在硬件支持方面。一些旧有设备不完全支持TrueNAS的最新版本，因此我需要花费大量时间去解决驱动和硬件兼容性的问题。虽然这些问题并没有阻止我最终完成迁移，但无疑耗费了大量的时间和精力。

TrueNAS的部署不仅提升了存储系统的稳定性，也为后来的数据扩展和应用场景的丰富提供了足够的支持。我对存储系统的管理开始更加得心应手，能够更好地掌控家庭数据中心的整体架构，也使得后续的升级工作变得更加顺利。

理想主义的代价：Ceph之后的反思与重建

随着设备增多与结构逐步正规化，我在2023年正式购入了一只标准的42U机柜，并组装了两台全新的服务器：一台搭载i9-13900K，另一台为i5-12400F，均配备128GB内存，所有设备都统一上架，线缆规整，系统一致。此时，我决定采取一个新的步骤，尝试建立高可用的分布式存储环境，以实现更高的数据可靠性。

在此背景下，我选择了Ceph作为分布式存储方案。Ceph提供了较为先进的去中心化存储架构，能够实现数据的高可用性，并具备强大的横向扩展能力。理想主义的驱使下，我希望通过这一架构实现零单点故障的目标，将所有设备的存储资源整合起来，打造一个高可用、高容错的存储平台。

然而，Ceph的实现并不像我预期的那样顺利。由于缺乏对Ceph的深度理解及准备不足，整个部署过程充满了挑战。在一次突如其来的断电事故后，Ceph集群由于缺乏独立心跳通道与电力隔离，触发了脑裂问题，最终导致整套Ceph集群无法重建元数据，所有数据彻底丢失。最令人遗憾的是，网关系统中的端口映射表、访问控制配置、VLAN规则等关键网络参数全部丢失——这些数据此前没有独立备份，灾难程度远超我的预期。

事故之后，我重新审视了整个架构，深刻意识到盲目追求所谓“无单点、全高可用”的架构，在资源有限、专业技术能力不足、环境不稳定的家用场景中，实际上是一种激进的理想主义做法。它不仅提升了系统复杂度，也放大了容错范围，一旦出问题，便是成倍灾难。

因此，我决定彻底放弃Ceph，回归传统的集中式存储架构，以稳定性与易恢复性为首要目标。同时，我购置了5台DELL R720 2U服务器，其中两台作为网关与存储服务器，三台用于PVE计算节点。所有设备均配备独立双电源，并配合新购入的大功率UPS系统确保关键节点断电不断服。通过这样的重构，我能够在确保系统稳定性的基础上，提升整个网络的计算与存储能力，也使得系统的运维变得更加简单易懂。

网络与内存双升级：全面迈入高带宽、高容量时代

随着技术的不断进步，家里云平台对带宽和存储的需求也变得越来越大。为了提升整个系统的数据吞吐能力，我决定进行一次大规模的网络与内存升级。

首先，我购入了一台全新万兆以太网核心交换机，作为业务网络的主干骨架，承载着所有设备之间的高速通信。与此同时，原先存在功耗高、内存瓶颈等问题的RD450服务器被全部售出，替换为一台全新组装的i7-12700K服务器，并搭载128GB DDR4内存，用于承担关键负载。通过这次升级，我显著提高了系统的计算能力和内存容量。

为了实现更清晰的物理网络隔离，我还购入了一台6口软路由作为管理网关设备，并配合原本的24口千兆二层交换机，将管理网络、业务网络、存储网络彻底剥离，确保各个网络的高效运转与安全性。

在存储方面，我售出了RD450服务器所获得的资金，用于购买了24条64GB DDR3 REG ECC服务器内存条，进一步扩展了存储节点的内存容量。所有5台R720节点均搭载了这些内存条，并且配合E5-2690 v2处理器，显著提升了虚拟机的调度性能、缓存能力以及并发能力。

至此，我的家用虚拟化平台终于进入了高容量、高带宽的新时代，架构更趋稳定，资源更加集中，系统的维护成本也得到了更好的控制。

40G网络实验与退出

随着数据需求的日益增加，我开始意识到10G网络已经成为了瓶颈，尤其是在存储网络的表现上，原有的10G网络频繁出现网络拥堵与瓶颈问题。因此，我决定进行一次大规模的网络升级，尝试引入40G网络来满足未来更高带宽的需求。

在一次偶然的机会中，我低价得到了一个进水报废的Mellanox 6036 40/56Gbps VPI交换机。虽然它的价格相当便宜，但显然它并不适合我的环境。在经过一番维修与固件重刷后，这台交换机恢复了正常。我还为所有节点购买了双口40G QSFP网卡，并使用40G DAC线连接所有服务器，心中满怀期待。

然而，40G网络的实验并没有如我所预期那般顺利。尽管网络带宽在理论上足够强大，但实际部署过程中，我发现IB网络的兼容性问题远超我的想象。在Truenas环境下，驱动和ROCE技术的支持问题使得整个网络无法顺畅运行。经过反复尝试和调试，我的40G网络实验最终以失败告终。

由于缺乏RDMA支持，我无法充分发挥40G网络的优势，而且IB网络的配置也非常复杂，导致我最终决定放弃这一方案，回滚至10G网络。虽然40G网络给我带来了不少挑战和困惑，但也让我在实践中学到了很多宝贵的经验。

光纤入户：GPON 到 XGPON 的跃迁

2024年，我的家庭网络迎来了新的升级。随着光纤到户（FTTH）技术的普及，我决定将家中的接入层设备进行一次全面的升级。原本使用的GPON设备逐渐无法满足更高带宽的需求，因此，我决定更换为一台支持XGPON的OLT设备，提升家庭光纤网络的带宽。

为了实现这一目标，我首先将接入层设备更换为运营商淘汰的WiFi6光猫，并将其与XGPON OLT连接，实现了全家WiFi6覆盖。在硬件上，我选择了AX3000光猫并搭配了一些10G光猫，以确保家庭内设备能够得到足够的带宽。

这一升级带来的好处是显而易见的，家庭网络的速度大幅提升，尤其是在视频流媒体、家庭游戏和大规模文件传输时，带宽的提升极大改善了体验。

IPv6的实践与部署

随着互联网的发展，IPv4地址资源逐渐枯竭，IPv6的部署和应用成为了未来网络发展的趋势。尽管我家里云的网络并未完全依赖于公网连接，但随着设备的增加和网络需求的提升，支持IPv6显得愈加重要。为了确保未来网络能够无缝接入更加广泛的网络环境，我决定开始部署IPv6，并将其逐步集成到家庭网络中。

最初，我遇到了许多挑战。尤其是在GPON设备的支持上，原先的设备并没有很好地支持IPv6，导致在启用IPv6时，出现了RA（路由通告）及DHCPv6报文跨VLAN乱发的问题，这种问题在一定程度上导致了网络的不稳定和故障。通过分析，我发现这是由于原OLT设备的兼容性问题，尤其是为了兼容跨VLAN组播功能，导致了RA和DHCP报文的错误广播。

解决这一问题的过程颇为曲折。我尝试过多种方式来修复这些问题，但始终未能完全解决。最终，我决定更换OLT设备，从原来的GPON升级到支持更高带宽的XGPON设备。更换设备后，网络的稳定性大幅提升，且IPv6的支持得到了更好的兼容性。

在设备更新后，我为家中大部分设备配置了IPv6地址，并成功实现了IPv6的异地组网与动态路由。通过与运营商的沟通，我了解到，运营商可以通过指定IPv6前缀的方式，在PPPoE接入线路上实现所谓的“固定IPv6”，这对于我的家庭云平台大规模铺开IPv6奠定了基础。

为了进一步增强内网的安全性与隐私性，我采用了NAT66（IPv6地址转换）技术，并配备了动态出口地址池，这样可以有效保障内网设备的安全性。在公网环境下，开放服务器也可以通过分配公网IPv6地址来实现更便捷的对外访问。

这一系列的部署和调整，让我顺利完成了IPv6的升级与改造，也为后续的网络扩展和新的应用场景打下了坚实的基础。

未来展望

随着技术的不断进步和家庭云平台的日益壮大，未来的需求也变得更加复杂。尽管当前的架构已经可以满足绝大部分家庭业务需求，但面对日益增长的网络带宽和计算能力需求，我认为未来的家庭云系统依然会面临许多挑战。

首先，随着PPPoE接入线路的限制，当前在Ros系统上，PPPoE的优化并不理想，导致高带宽的情况下CPU占用率居高不下。这不仅影响了路由的性能，还加剧了系统的负载。为了解决这个问题，我计划引入硬路由+软路由的混合路由方案。具体来说，我打算使用ATN等硬件路由设备来处理1、2、3层的流量，而将4至7层的流量交由ROS来处理。这种软硬结合的方案能够充分发挥硬件的卸载优势，并提升路由器整体性能。

其次，随着云计算、虚拟化技术和物联网的发展，家庭云平台将逐渐涉及到更多的应用场景。除了原本的存储、计算和网络管理功能，我还计划将家庭云平台的应用拓展至智能家居、视频监控、家庭娱乐等方面。通过虚拟化技术，家庭云平台能够更好地支持各种设备和应用的运行，实现资源的动态调度和优化分配。

在硬件方面，我计划逐步引入更多支持10GbE及以上网络的设备，并实现网络存储的升级。随着更高带宽和更大存储容量的加入，整个家庭云平台将更加高效和灵活。我还希望将硬件逐步升级为更加节能、稳定的服务器设备，并与现有的虚拟化平台进行深度整合。

未来，随着AI、大数据和自动化技术的快速发展，我还将尝试将这些技术引入家庭云平台。通过AI和机器学习算法的支持，我能够更智能地管理和优化家庭云资源，提升系统的自动化程度。通过大数据分析，可以对家庭云平台的运行状况进行实时监控和预测，帮助我在系统出现问题之前进行预防性调整。

总的来说，未来的家庭云系统将更加智能化、自动化，并具备更强的扩展性和兼容性。随着网络、计算、存储技术的不断创新，家庭云的应用场景将不断拓宽，并逐步渗透到更多领域，为家庭生活带来更加便捷和高效的服务。

尾巴

回顾整个家里云的建设历程，我深知这不仅仅是一个简单的技术项目，而是一个充满挫折、成长与启发的旅程。从最初的单纯好奇，到渐渐形成自己的架构理念，再到不断优化与调整，技术上的每一个进步都凝聚着无数次的尝试和反思。一路走来，虽然遇到了不少挑战和失败，但正是这些经历让我更加清晰地认识到自己的优缺点，也让我对未来充满了信心。

说实话，当我第一次接触到家里云的概念时，心中并没有特别清晰的目标。它只是作为一种对技术的探索，一种解决自己需求的尝试。但随着时间的推移，我渐渐意识到，这个过程的意义远超出了最初的设想。家里云不仅是技术上的实践，它也是对自己生活方式的一次革新。从硬件配置、网络建设到存储管理、虚拟化部署，每一个细节的打磨都像是在雕刻一个更完美的生活空间。而在这个过程中，我收获的不仅是技术的进步，更多的是对自己的成长与坚韧的认知。

然而，这个过程也并非一帆风顺。每一次系统的故障、每一次数据的丢失，甚至每一条错误的配置，都给我带来了深刻的教训。尤其是在Ceph实验失败后，我意识到，盲目追求完美的系统设计，只会在极限条件下放大问题。是的，高可用、无单点故障的架构确实很诱人，但现实中的资源有限、技术能力不足和外部环境的不确定性，往往会让这些理想变得遥不可及。通过这次经历，我更加明白，稳定性才是我最需要关注的，而不是过分追求技术的炫酷。

技术的世界总是充满了未知和挑战，而我们每个人都是探索者，走在这条路上，我们无从预见前方会有什么样的障碍，甚至是终点。但正是这种不断推陈出新的探索精神，成就了我们的进步。在这条路上，失败或许常常伴随左右，但每一次的失败背后，都隐藏着无数的宝贵经验和前进的动力。家里云的建设虽然看似一个局部的个人项目，但它背后所体现的其实是一种自我成长的方式。每一个细节的改进，都是对技术理解的加深和生活品质的提升。

展望未来，我的家里云平台仍将不断发展和壮大。随着设备的不断升级，网络带宽的扩展，我的目标是将这个平台建设成一个更为灵活和智能的系统，能够满足日益增长的需求。而在未来，我还希望能够进一步探索人工智能、大数据等新技术，甚至在家庭云的基础上开发出更多应用场景。通过将这些新技术融合进来，提升家庭云的智能化和自动化程度，让它成为我生活的一部分，不仅仅是一个功能性的存在，而是一个真正懂得自己需求的助手。

在技术发展的过程中，我也深知自己的局限性，特别是在某些复杂的技术难题上，依然有很多地方值得我去学习和探索。但正是这些挑战，才让这一过程充满了无限的可能性。在未来，我期许自己能有更多机会去突破技术的边界，去探索更多未知的领域，同时保持一种初心，不忘最初建立家里云的那份热爱和对技术的探索。

从开始到现在，这个项目无疑已经成为了我生活中不可或缺的一部分。它不仅改变了我的网络环境，也让我从中获得了更多关于技术的乐趣与成就感。家里云的建设，也让我对“技术为人服务”的理念有了更加深刻的理解。未来，我将继续走在这条充满未知的道路上，推动这个平台的进化，力求在不断的创新中，做出更多适应个人需求的解决方案。

无论未来多么不可预测，我相信每一次的探索和积累，都将带来更多的启发和成长。希望每个人都能够像我一样，不畏艰难，勇敢尝试，去打造属于自己的理想空间。感谢这段旅程，也期待未来的每一次挑战与收获。

至此，家里云之路，尚在继续